Re22:读论文 HetSANN An Attention-based Graph Neural Network for Heterogeneous Structural Learning

简介: Re22:读论文 HetSANN An Attention-based Graph Neural Network for Heterogeneous Structural Learning

1. Background & Motivation


现存的异质图神经网络往往都是通过meta-paths将异质图做成同质图:

image.png

使用meta-path的方法有2个缺点:

  1. meta-path的scheme需要专家定义,而且很难手工遍历和选择所有有价值的meta-path schemes

image.png

  1. (第二点我没搞懂啊,你这啥意思啊)


2. HetSANN


transformation + attention-based aggregation

image.png


2.1 Type-aware Attention Layer (TAL)

an adaptation layer of GNNs

在局部图邻居上做convolution operation

先在每个节点上加个自环(该节点类别)

image.png

Transformation Operation (C1)

对目标节点所有邻居做线性转换:image.png

Aggregation of Neighborhood (C2)

每条边的注意力系数:image.png

σ 是LeadkyReLU

concat product:image.png

多头机制:image.png

残差机制:image.png


2.2 Model Training and Three Extensions

用节点表征做节点分类任务,交叉熵:

image.png


2.2.1 E1: Multi-task Learning


2.2.2 E2: Voices-sharing Product

大致来说是强制关系和反关系的attention系数相反、机制满足特定要求。


2.2.3 E3: Cycle-consistency Loss

灵感来源于翻译领域的trick back translation and reconciliation

image.png

就是说这个节点它transform一圈转回来还应该是它自己

实现细节略


3. 实验


细节略,待补。


3.1 数据集

image.png


3.2 baseline


3.3 实验设置


3.4 主实验结果和Ablation Study

image.png


3.5 其他模型分析

image.png

image.png


4. 代码复现


等我服务器好了再说。

相关文章
|
SQL 存储 JSON
更快更强,SLS 推出高性能 SPL 日志查询模式
从海量的日志数据中,按照各种灵活的条件进行即时查询搜索,是可观测场景下的基本需求。本文介绍了 SLS 新推出的高性能 SPL 日志查询模式,支持 Unix 风格级联管道式语法,以及各种丰富的 SQL 处理函数。同时通过计算下推、向量化计算等优化,使得 SPL 查询可以在数秒内处理亿级数据,并支持 SPL 过滤结果分布图、随机翻页等特性。
13438 210
|
机器学习/深度学习 测试技术
LeCun赞转!类Sora模型能否理解物理规律?字节豆包大模型团队系统性研究揭秘
近日,字节跳动豆包大模型团队发布论文,探讨视频生成模型(如类Sora模型)在理解物理规律方面的能力,引起广泛关注并获Yann LeCun点赞。研究通过2D模拟平台测试扩散模型,发现其在分布内表现优异,但在分布外和组合泛化上存在不足,揭示了基于案例的泛化和特征优先级机制。这表明,仅靠视觉数据难以学习到真正的物理规律,未来需引入物理先验知识以提升模型性能。
294 16
|
缓存 NoSQL 中间件
redis高并发缓存中间件总结!
本文档详细介绍了高并发缓存中间件Redis的原理、高级操作及其在电商架构中的应用。通过阿里云的角度,分析了Redis与架构的关系,并展示了无Redis和使用Redis缓存的架构图。文档还涵盖了Redis的基本特性、应用场景、安装部署步骤、配置文件详解、启动和关闭方法、systemctl管理脚本的生成以及日志警告处理等内容。适合初学者和有一定经验的技术人员参考学习。
810 7
|
机器学习/深度学习 人工智能 算法
深入解析图神经网络:Graph Transformer的算法基础与工程实践
Graph Transformer是一种结合了Transformer自注意力机制与图神经网络(GNNs)特点的神经网络模型,专为处理图结构数据而设计。它通过改进的数据表示方法、自注意力机制、拉普拉斯位置编码、消息传递与聚合机制等核心技术,实现了对图中节点间关系信息的高效处理及长程依赖关系的捕捉,显著提升了图相关任务的性能。本文详细解析了Graph Transformer的技术原理、实现细节及应用场景,并通过图书推荐系统的实例,展示了其在实际问题解决中的强大能力。
1735 30
|
IDE 前端开发 API
OpenSumi问题之OpenSumi 与 Theia 相比有什么优势
OpenSumi问题之OpenSumi 与 Theia 相比有什么优势
288 6
|
存储 JSON API
HTTP 请求与响应处理:C#中的实践
【10月更文挑战第4天】在现代Web开发中,HTTP协议至关重要,无论构建Web应用还是API开发,都需要熟练掌握HTTP请求与响应处理。本文从C#角度出发,介绍HTTP基础知识,包括请求与响应结构,并通过`HttpClient`库演示如何发送GET请求及处理响应,同时分析常见错误并提供解决方案,助你更高效地完成HTTP相关任务。
490 2
C语言实战项目——学生试卷分数统计
C语言实战项目——学生试卷分数统计
|
存储 Kubernetes API
使用 Kubeadm 部署 Kubernetes(K8S) 安装 -- 持久化存储(PV&PVC)
使用 Kubeadm 部署 Kubernetes(K8S) 安装 -- 持久化存储(PV&PVC)
178 0
|
缓存 算法 应用服务中间件
nginx 反向代理 与缓存功能
nginx 反向代理 与缓存功能
|
存储 网络安全 数据库
【2024最新版】neo4j安装配置
【2024最新版】neo4j安装配置
2858 0

热门文章

最新文章