Re22:读论文 HetSANN An Attention-based Graph Neural Network for Heterogeneous Structural Learning

简介: Re22:读论文 HetSANN An Attention-based Graph Neural Network for Heterogeneous Structural Learning

1. Background & Motivation


现存的异质图神经网络往往都是通过meta-paths将异质图做成同质图:

image.png

使用meta-path的方法有2个缺点:

  1. meta-path的scheme需要专家定义,而且很难手工遍历和选择所有有价值的meta-path schemes

image.png

  1. (第二点我没搞懂啊,你这啥意思啊)


2. HetSANN


transformation + attention-based aggregation

image.png


2.1 Type-aware Attention Layer (TAL)

an adaptation layer of GNNs

在局部图邻居上做convolution operation

先在每个节点上加个自环(该节点类别)

image.png

Transformation Operation (C1)

对目标节点所有邻居做线性转换:image.png

Aggregation of Neighborhood (C2)

每条边的注意力系数:image.png

σ 是LeadkyReLU

concat product:image.png

多头机制:image.png

残差机制:image.png


2.2 Model Training and Three Extensions

用节点表征做节点分类任务,交叉熵:

image.png


2.2.1 E1: Multi-task Learning


2.2.2 E2: Voices-sharing Product

大致来说是强制关系和反关系的attention系数相反、机制满足特定要求。


2.2.3 E3: Cycle-consistency Loss

灵感来源于翻译领域的trick back translation and reconciliation

image.png

就是说这个节点它transform一圈转回来还应该是它自己

实现细节略


3. 实验


细节略,待补。


3.1 数据集

image.png


3.2 baseline


3.3 实验设置


3.4 主实验结果和Ablation Study

image.png


3.5 其他模型分析

image.png

image.png


4. 代码复现


等我服务器好了再说。

相关文章
|
3月前
|
机器学习/深度学习 网络协议 PyTorch
【文献学习】DCCRN: Deep Complex Convolution Recurrent Network for Phase-Aware Speech Enhancement
本文介绍了一种新的深度复数卷积递归网络(DCCRN),用于处理语音增强问题,特别是针对低模型复杂度的实时处理。
96 5
|
6月前
|
Python
[Knowledge Distillation]论文分析:Distilling the Knowledge in a Neural Network
[Knowledge Distillation]论文分析:Distilling the Knowledge in a Neural Network
35 1
|
机器学习/深度学习 自然语言处理 算法
【论文精读】COLING 2022 -Event Detection with Dual Relational Graph Attention Networks
图神经网络(Scarselli et al, 2009)已被广泛用于编码事件检测的依赖树,因为它们可以基于信息聚合方案有效地捕获相关信息(Cao et al, 2021)。
163 0
|
机器学习/深度学习
【论文阅读】(2019)SimGNN:A Neural Network Approach to Fast Graph Similarity Computation
- 图形相似性搜索是最重要的基于图形的应用程序之一,例如查找与查询化合物最相似的化合物。 - 图相似性距离计算,如图编辑距离(GED)和最大公共子图(MCS),是图相似性搜索和许多其他应用程序的核心操作,但实际计算成本很高。 - 受神经网络方法最近成功应用于若干图形应用(如节点或图形分类)的启发,我们提出了一种新的基于神经网络的方法来解决这一经典但具有挑战性的图形问题,**旨在减轻计算负担,同时保持良好的性能**。 - 提出的**方法称为SimGNN**,它结合了两种策略。 - 首先,我们**设计了一个可学习的嵌入函数**,将每个图映射到一个嵌入向量中,从而提供图的全局摘要。**提出了一种新的
260 0
【论文阅读】(2019)SimGNN:A Neural Network Approach to Fast Graph Similarity Computation
《Multi-Task Multi-Network Joint-Learning of Deep Residual Networks and Cycle-Consistency Generative Adversarial Networks for Robust Speech Recognition》电子版地址
Multi-Task Multi-Network Joint-Learning of Deep Residual Networks and Cycle-Consistency Generative Adversarial Networks for Robust Speech Recognition
102 0
《Multi-Task Multi-Network Joint-Learning of Deep Residual Networks and Cycle-Consistency Generative Adversarial Networks for Robust Speech Recognition》电子版地址
|
机器学习/深度学习 人工智能 计算机视觉
Re2:读论文 CS-GNN Measuring and Improving the Use of Graph Information in Graph Neural Networks
Re2:读论文 CS-GNN Measuring and Improving the Use of Graph Information in Graph Neural Networks
Re2:读论文 CS-GNN Measuring and Improving the Use of Graph Information in Graph Neural Networks
|
机器学习/深度学习 搜索推荐
【推荐系统论文精读系列】(十四)--Information Fusion-Based Deep Neural Attentive Matrix Factorization Recommendation
推荐系统的出现,有效地缓解了信息过载的问题。而传统的推荐系统,要么忽略用户和物品的丰富属性信息,如用户的人口统计特征、物品的内容特征等,面对稀疏性问题,要么采用全连接网络连接特征信息,忽略不同属性信息之间的交互。本文提出了基于信息融合的深度神经注意矩阵分解(ifdnamf)推荐模型,该模型引入了用户和物品的特征信息,并采用不同信息域之间的交叉积来学习交叉特征。此外,还利用注意机制来区分不同交叉特征对预测结果的重要性。此外,ifdnamf采用深度神经网络来学习用户与项目之间的高阶交互。同时,作者在电影和图书这两个数据集上进行了广泛的实验,并证明了该模型的可行性和有效性。
294 0
【推荐系统论文精读系列】(十四)--Information Fusion-Based Deep Neural Attentive Matrix Factorization Recommendation
|
机器学习/深度学习 数据挖掘
Paper:《Generating Sequences With Recurrent Neural Networks》的翻译和解读
Paper:《Generating Sequences With Recurrent Neural Networks》的翻译和解读
Paper:《Generating Sequences With Recurrent Neural Networks》的翻译和解读
|
机器学习/深度学习 数据挖掘 计算机视觉
CV:翻译并解读2019《A Survey of the Recent Architectures of Deep Convolutional Neural Networks》第四章(一)
CV:翻译并解读2019《A Survey of the Recent Architectures of Deep Convolutional Neural Networks》第四章
CV:翻译并解读2019《A Survey of the Recent Architectures of Deep Convolutional Neural Networks》第四章(一)
|
机器学习/深度学习 XML 缓存
Paper:《Generating Sequences With Recurrent Neural Networks》的翻译和解读(二)
Paper:《Generating Sequences With Recurrent Neural Networks》的翻译和解读