当前位置: 首页 > news >正文

PyTorch图神经网络(三)

PyTorch图神经网络(三)

1.图注意力网络(GAT)

​ 之前提到的图卷积网络其实已经包含了图注意力网络的思想,他用节点的度来衡量节点的重要性,这样就会使得邻居较少的节点比其他节点更加重要。图注意力网络解决了这种方法的局限性,他把归一化矩阵拓展成注意力矩阵,得到的公式为(写成单个嵌入的形式,便于后文解释):

\[h_i=∑α_{ij}Wx_j \]

​ 其中,\(α_{ij}\)表示的是节点i和节点j之间的注意力分数,具体数值是根据输入的相互比较隐式计算得到的(自注意力)。

​ 这里的\(α_{ij}\)计算方法为:

​ 1.将节点i和节点j的特征拼接

​ 2.将拼接得到的特征乘上一个共享权重矩阵W(可学习)

​ 3.对第二部的结果应用Leaky ReLU

​ 3.将得到的所有结果归一化作为注意力分数

​ 这一步就和我们所熟知的transformer一样了,通过共享的权重矩阵来计算注意力分数,只不过这里只有一个矩阵。

​ 文中的多头注意力机制和tramsformer中的multi-head机制是类似的,也是拆分成多个相互独立的注意力机制,最终可以通过合适的方法将结果融合起来。文中说的是求平均,应该也可以像multi-head一样设立一个权重矩阵来融合所有结果。

注意:这里可以发现原书在前面写的式子中,都没有提到图的邻接矩阵,实际上在最终实现的时候,还是会用到邻接矩阵的,文中在pytorch实现的时候,也把公式修改为了:

\[H=A^TW_αXW^T \]

http://www.hskmm.com/?act=detail&tid=14687

相关文章:

  • 2025年9月16日纸质证书 - 宋同学PostgreSQL管理员(中级)认证
  • C# 18天 029 依赖注入
  • ruoyi-vue列表显示关联
  • 自定义网关选择后端的微服务实例实现
  • VUE3切换页面时,页面没有加载
  • 河南农担数字化转型:破局农业金融困境的1037亿样本
  • 力扣55题 跳跃游戏
  • 2025年9月16日纸质证书 - 陈同学PostgreSQL管理员(高级)认证
  • MCP Registry 官方发布:Nacos 原生支持,借助 HiMarket 构建企业级私有 MCP 市场
  • 2025年9月16日纸质证书 - 李同学PostgreSQL管理员(高级)认证
  • 深度解析Playwright MCP:功能、优势与挑战,AI如何提升测试效率与覆盖率
  • C#驱动斑马打印机实现包装自动打印
  • AI 绘画增强版:AI 时代风口项目,助力轻松变现
  • 企业工商年报:企业与个体工商户工商年报专业代办服务详解
  • 使用 Playwright MCP 实现小红书全自动发布的完整流程
  • 美团饿了么霸王餐 CPS 系统:外卖流量变现新选择
  • 百家企业案例征集 | 让测试经验成为行业的共同财富
  • CentOS 7下载教程vmware虚拟机安装centos 7保姆级安装步骤(附安装包) - 教程
  • 数字孪生 + 区块链:MyEMS 引领能源管理技术融合新趋势
  • 实战章节:在Linux上部署各类软件
  • 27届春招备战一轮复习--第六期
  • 27届春招备战一轮复习--第七期
  • 备份一个简易队列写法
  • 【SPIE出版】第四届环境遥感与地理信息技术国际学术会议(ERSGIT 2025)
  • PyTorch和cude版本不兼容导致无法检测到GPU
  • 嵌入式系统arm高级系统调试技能-24./proc/slabinfo 记录解读与内存异常分析
  • 2025无人机在低空物流中的应用实践
  • ssh如何打开可视化界面
  • NanoCAD 24.0安装包下载地址与安装教程
  • 改 187 个接口参数:Postman 卡壳时,Apipost 凭什么 5 分钟搞定?