当前位置: 首页 > news >正文

图神经网络前沿技术与应用探索

KDD 2023:图神经网络的新前沿

会议主席兼某机构学者孙怡舟就建模长距离依赖关系、提升效率以及新型因果模型发表见解。

2021年和2022年,当某机构科学部门邀请知识发现与数据挖掘会议(KDD)程序委员会成员讨论其领域现状时,对话始终围绕图神经网络展开。

图学习仍然是KDD 2023最热门的话题,但作为加州大学洛杉矶分校计算机科学副教授、某机构学者兼本次会议主席的孙怡舟解释说,这并不意味着该领域停滞不前。图神经网络(GNN)是生成图节点嵌入或向量表示的机器学习模型,这些表示捕获了节点与其他节点关系的信息。它们可用于图相关任务,如预测边或标注节点,也可用于任意的下游处理任务,这些任务仅利用图结构中所编码的信息。

但在这一通用定义下,“‘图神经网络’的含义可能非常不同,”孙怡舟说。“‘图神经网络’是一个涵盖范围非常广泛的术语。”

例如,孙怡舟解释说,传统的GNN使用消息传递来生成嵌入。图中的每个节点都被嵌入,然后每个节点接收其相邻节点的嵌入(即传递的消息),并将其整合到更新后的嵌入中。通常,此过程会执行两到三次,以便每个节点的嵌入捕获其一到三跳邻域的信息。

“如果我进行消息传递,我只能从直接邻居那里收集信息,”孙怡舟解释道。“我需要经过很多很多层才能建模长距离依赖关系。对于某些特定应用,如软件分析或物理系统模拟,长距离依赖变得至关重要。”

“因此人们问如何改变这种架构。他们受到了Transformer的启发”——Transformer是基于注意力的神经架构,是当今大型语言模型的基础——“因为Transformer可以被视为图神经网络的一个特例,在输入窗口中,每个标记都可以连接到其他每个标记。”

“如果每个节点都可以与图中的其他每个节点通信,你就可以轻松解决这个长距离依赖问题。但会有两个限制。一个是效率。对于某些图,有数百万甚至数十亿个节点。你无法高效地与图中的其他所有人通信。”

孙怡舟解释说,第二个担忧是,过多的长距离连接会削弱图表示的意义。图之所以有用,是因为它们捕获了节点之间有意义的联系——这意味着忽略了无意义的联系。如果图中的每个节点都与其他每个节点通信,则有意义的连接就会被稀释。

为了解决这个问题,“人们试图找到一种方法来模仿文本设置或图像设置中的位置编码,”孙怡舟说。“在文本设置中,我们只是将位置转换为某种编码。后来,在计算机视觉领域,人们说,‘好吧,我们也对图像块这样做。’例如,我们可以将每个图像分解为六乘六的块,这些块的相对位置可以转换为位置编码。”

“所以下一个问题是,在图设置中,我们如何获得那种自然的相对位置?有不同的方法可以做到这一点,比如随机游走——一个非常简单的方法。还有人尝试进行特征分解,我们利用特征向量来编码这些节点的相对位置。但特征分解非常耗时,所以又回到了效率问题。”

效率

孙怡舟解释说,事实上,提高GNN的效率本身就是一个活跃的研究领域——从高层算法设计到芯片设计层面。

“在算法层面,你可能会尝试某种采样技术,只是试图减少操作次数,”她说。“或者也许设计一些更高效的算法来稀疏化图。例如,假设我们想进行某种相似性搜索,为每个目标节点保留最相似的节点。然后人们可以设计一些智能索引技术,使那部分非常快。”

“在推理阶段,我们可以进行知识蒸馏,将一个非常复杂的模型,比如图神经网络,蒸馏成一个非常简单的图神经网络——或者不一定是图神经网络,也许只是一个非常简单的结构,比如多层感知机(MLP)。然后我们可以更快地进行计算。量化也可以在推理阶段应用,以使计算更快。”

“这是在算法层面。但如今人们走得更深。有时,如果你想解决问题,你需要深入到系统层面。所以人们说,让我们看看如何设计这种分布式系统来加速训练,加速推理。”

“例如,在某些情况下,内存成为主要限制。在这种情况下,可能我们能做的唯一事情就是分配工作负载。那么自然的问题是如何协调或同步每个计算节点训练的模型参数。如果我们必须将数据分发到10台机器上,你如何与这10台机器协调,以确保你只有一个最终版本?”

“人们现在甚至走得更深,在硬件端进行加速。所以软件-硬件协同设计也越来越受欢迎。它要求人们真正了解这么多不同的领域。”

“顺便说一下,在KDD,与许多其他机器学习会议相比,现实世界的问题始终是我们的首要关注点。在许多情况下,为了解决现实世界的问题,我们必须与不同背景的人交流,因为我们不能仅仅把它包装成我们在高中时解决的那种理想问题。”

应用

然而,除了这些提高GNN通用性和准确性的普遍努力之外,还有关于GNN技术具体应用的新研究。

“有一些关于如何在图设置中进行因果分析的工作,意味着对象实际上是相互干扰的,”孙怡舟解释道。“这与传统设置截然不同:例如,药物研究中的患者是相互独立的。”

“还有一个新趋势是将深度表示学习与因果推理相结合。例如,我们如何将你尝试的治疗表示为一个连续的向量,而不仅仅是一个二元治疗?我们能否使治疗在时间上是连续的——意味着它不仅仅是一种静态的一次性治疗?如果我在10天后进行治疗,结果与20天后进行治疗相比会如何?时间非常重要;我们如何将时间信息注入其中?”

“图也可以被认为是描述多智能体动态系统的良好数据结构——这些对象在动态网络设置中如何相互交互。然后,我们如何将生成思想融入图中?图生成对于许多领域非常有用,例如制药行业。”

“然后有很多应用我们可以从大型语言模型(LLM)中受益。例如,知识图谱推理。我们知道LLM会产生幻觉,而在知识图谱上的推理非常严谨。这两者有什么好的结合方式?”

“对于GNN,总有新东西。图只是一种非常有用的数据结构,用于模拟我们互联的世界。”
更多精彩内容 请关注我的个人公众号 公众号(办公AI智能小助手)或者 我的个人博客 https://blog.qife122.com/
对网络安全、黑客技术感兴趣的朋友可以关注我的安全公众号(网络安全技术点滴分享)

公众号二维码

公众号二维码

http://www.hskmm.com/?act=detail&tid=32034

相关文章:

  • MVCC、幻读、间隙锁与临键锁(三)
  • MVCC、幻读、间隙锁与临键锁
  • MVCC、幻读、间隙锁与临键锁(二)
  • 读AI赋能01超级能动性
  • 生物聚酯塑料回收技术创新与商业应用
  • 189 轮转数组 - MKT
  • SGD 到 AdamW 优化器的实践选型指南
  • 图文并茂展示CSS li 排版大合集,总有一款是你刚好需要的
  • 10.15 闲话
  • 函数的类型注释器
  • 如何手动构建一个线性回归模型
  • DshanPI-A1 RK3576 gmrender-resurrect B站投屏
  • 组件级异步加载与预加载策略
  • 好记性不如烂笔头之C语言优先级查询
  • SAM系列论文浅析
  • 2023 ICPC Xian
  • 2025-10-15 ?
  • 为什么一部电影,一本书一看就喜欢
  • 20251015打卡
  • 实验一 现代C++编程初体验
  • p66页2
  • 牛客119232 牛客2025秋季算法编程训练联赛1-提升组 游记
  • BroadcastChannel跨页签通信复盘总结
  • 02020510 EF Core高级10-构建动态表达式树、不推荐动态构建表达式树、动态构建IQuerable、动态构建字符串
  • 02020601 Web API01-顶级语句、全局using指令、可空类型、record类型(自动重写ToString、Equals)、init和private属性
  • OI 生涯回忆录
  • libaom 在ubuntu 上用鸿蒙OHOS编译
  • Aexlet-VGG2
  • 《膜拜!适合新手入门的卷积神经网络原理详解教程》读书报告
  • 科学与社会研讨课笔记