Re22:读论文 HetSANN An Attention-based Graph Neural Network for Heterogeneous Structural Learning

简介: Re22:读论文 HetSANN An Attention-based Graph Neural Network for Heterogeneous Structural Learning

1. Background & Motivation


现存的异质图神经网络往往都是通过meta-paths将异质图做成同质图:

image.png

使用meta-path的方法有2个缺点:

  1. meta-path的scheme需要专家定义,而且很难手工遍历和选择所有有价值的meta-path schemes

image.png

  1. (第二点我没搞懂啊,你这啥意思啊)


2. HetSANN


transformation + attention-based aggregation

image.png


2.1 Type-aware Attention Layer (TAL)

an adaptation layer of GNNs

在局部图邻居上做convolution operation

先在每个节点上加个自环(该节点类别)

image.png

Transformation Operation (C1)

对目标节点所有邻居做线性转换:image.png

Aggregation of Neighborhood (C2)

每条边的注意力系数:image.png

σ 是LeadkyReLU

concat product:image.png

多头机制:image.png

残差机制:image.png


2.2 Model Training and Three Extensions

用节点表征做节点分类任务,交叉熵:

image.png


2.2.1 E1: Multi-task Learning


2.2.2 E2: Voices-sharing Product

大致来说是强制关系和反关系的attention系数相反、机制满足特定要求。


2.2.3 E3: Cycle-consistency Loss

灵感来源于翻译领域的trick back translation and reconciliation

image.png

就是说这个节点它transform一圈转回来还应该是它自己

实现细节略


3. 实验


细节略,待补。


3.1 数据集

image.png


3.2 baseline


3.3 实验设置


3.4 主实验结果和Ablation Study

image.png


3.5 其他模型分析

image.png

image.png


4. 代码复现


等我服务器好了再说。

相关文章
|
1月前
Simplifying Graph Convolutional Networks论文笔记
Simplifying Graph Convolutional Networks论文笔记
|
8月前
|
机器学习/深度学习 编解码 数据可视化
Speech Emotion Recognition With Local-Global aware Deep Representation Learning论文解读
语音情感识别(SER)通过从语音信号中推断人的情绪和情感状态,在改善人与机器之间的交互方面发挥着至关重要的作用。尽管最近的工作主要集中于从手工制作的特征中挖掘时空信息,但我们探索如何从动态时间尺度中建模语音情绪的时间模式。
80 0
|
8月前
|
机器学习/深度学习 PyTorch 测试技术
SegNeXt: Rethinking Convolutional Attention Design for Semantic Segmentation 论文解读
我们提出了SegNeXt,一种用于语义分割的简单卷积网络架构。最近的基于transformer的模型由于在编码空间信息时self-attention的效率而主导了语义分割领域。在本文中,我们证明卷积注意力是比transformer中的self-attention更有效的编码上下文信息的方法。
203 0
|
Windows
论文阅读:AM-GCN Adaptive Multi-channel Graph Convolutional Networks
论文阅读:AM-GCN Adaptive Multi-channel Graph Convolutional Networks
112 0
论文阅读:AM-GCN Adaptive Multi-channel Graph Convolutional Networks
|
机器学习/深度学习
【论文阅读】(2019)SimGNN:A Neural Network Approach to Fast Graph Similarity Computation
- 图形相似性搜索是最重要的基于图形的应用程序之一,例如查找与查询化合物最相似的化合物。 - 图相似性距离计算,如图编辑距离(GED)和最大公共子图(MCS),是图相似性搜索和许多其他应用程序的核心操作,但实际计算成本很高。 - 受神经网络方法最近成功应用于若干图形应用(如节点或图形分类)的启发,我们提出了一种新的基于神经网络的方法来解决这一经典但具有挑战性的图形问题,**旨在减轻计算负担,同时保持良好的性能**。 - 提出的**方法称为SimGNN**,它结合了两种策略。 - 首先,我们**设计了一个可学习的嵌入函数**,将每个图映射到一个嵌入向量中,从而提供图的全局摘要。**提出了一种新的
176 0
【论文阅读】(2019)SimGNN:A Neural Network Approach to Fast Graph Similarity Computation
《Multi-Task Multi-Network Joint-Learning of Deep Residual Networks and Cycle-Consistency Generative Adversarial Networks for Robust Speech Recognition》电子版地址
Multi-Task Multi-Network Joint-Learning of Deep Residual Networks and Cycle-Consistency Generative Adversarial Networks for Robust Speech Recognition
72 0
《Multi-Task Multi-Network Joint-Learning of Deep Residual Networks and Cycle-Consistency Generative Adversarial Networks for Robust Speech Recognition》电子版地址
|
机器学习/深度学习 算法 数据挖掘
【论文泛读】 Batch Normalization: Accelerating Deep Network Training by Reducing Internal Covariate Shift
【论文泛读】 Batch Normalization: Accelerating Deep Network Training by Reducing Internal Covariate Shift
【论文泛读】 Batch Normalization: Accelerating Deep Network Training by Reducing Internal Covariate Shift
|
机器学习/深度学习 算法 数据挖掘
|
机器学习/深度学习 人工智能 计算机视觉
Re2:读论文 CS-GNN Measuring and Improving the Use of Graph Information in Graph Neural Networks
Re2:读论文 CS-GNN Measuring and Improving the Use of Graph Information in Graph Neural Networks
Re2:读论文 CS-GNN Measuring and Improving the Use of Graph Information in Graph Neural Networks
|
自然语言处理 数据挖掘 知识图谱
Re31:读论文 metapath2vec: Scalable Representation Learning for Heterogeneous Networks
Re31:读论文 metapath2vec: Scalable Representation Learning for Heterogeneous Networks
Re31:读论文 metapath2vec: Scalable Representation Learning for Heterogeneous Networks