Re31:读论文 metapath2vec: Scalable Representation Learning for Heterogeneous Networks

简介: Re31:读论文 metapath2vec: Scalable Representation Learning for Heterogeneous Networks

1. Background & Motivation


很多图表示学习框架,如DeepWalk、LINE、node2vec等,都是参考了NLP中word2vec思路实现的。这免于了设计网络特征,直接学习隐特征。

下游任务:节点分类,聚类,similarity search12

(在介绍相关研究工作的时候,感觉Predictive Text Embedding (PTE)这个模型可能以后也需要去看一下)

image.png

image.png

(related work小节没看)


2. 模型


image.png

(以下负采样等具体细节不赘)

2.1 metapath2vec

DeepWalk和node2vec用随机游走获取上下文信息,用skip-gram模型学习节点表征:

image.png

异质图skip-gram:

image.png

在异质图上直接进行随机游走可能会严重biased,因此使用metapath

metapath定义:

image.png

关于metapath开头和结尾节点是不是必须得是同一种:按这说法应该是

image.png


2.2 metapath2vec++

39ab54e3e0c1473c93b227aa202ed8f4.png


3. 实验


3.1 数据集

AMiner

DBIS


3.2 baseline

DeepWalk/node2vec

LINE

PTE

Spectral Clustering/Graph Factorization:直接就没拿来比了


3.3 实验设置


3.4 multi-class节点分类

image.png

image.pngimage.png


3.5 节点聚类

image.png

image.png


3.6 案例分析:similarity search

image.png

image.png

image.png


3.7 Scalability

image.png


4. Future Work


  1. 中间输出太大
  2. 自动学习metapath
  3. 应用到动态图上
  4. 泛化到其他领域
相关文章
|
4月前
|
存储 算法 计算机视觉
【博士每天一篇文献-模型】Meta-Learning Based Tasks Similarity Representation for Cross Domain Lifelong Learning
本文提出了一种基于元学习的跨域终身学习框架,通过跨域三元组网络(CDTN)学习任务间的相似性表示,并结合自注意模块与软注意网络(SAN)来增强特征提取和任务权重分配,以提高学习效率并减少对先前知识的遗忘。
52 1
【博士每天一篇文献-模型】Meta-Learning Based Tasks Similarity Representation for Cross Domain Lifelong Learning
|
4月前
|
机器学习/深度学习 算法
【文献学习】RoemNet: Robust Meta Learning based Channel Estimation in OFDM Systems
本文提出了一种基于元学习的鲁棒信道估计算法RoemNet,旨在解决OFDM系统中由于训练和部署信道模型不一致导致的问题,并展示了其在不同信道环境下优越的性能。
43 5
|
4月前
|
机器学习/深度学习 算法 测试技术
|
机器学习/深度学习 算法 数据处理
Stanford 机器学习练习 Part 3 Neural Networks: Representation
从神经网络开始,感觉自己慢慢跟不上课程的节奏了,一些代码好多参考了别人的代码,而且,让我现在单独写也不一定写的出来了。学习就是一件慢慢积累的过程,两年前我学算法的时候,好多算法都完全看不懂,但后来,看的多了,做的多了,有一天就茅塞顿开。所有的困难都是一时的,只要坚持下去,一切问题都会解决的。没忍住发了点鸡汤文。
39 0
|
机器学习/深度学习 自然语言处理 算法
【论文精读】COLING 2022 -Event Detection with Dual Relational Graph Attention Networks
图神经网络(Scarselli et al, 2009)已被广泛用于编码事件检测的依赖树,因为它们可以基于信息聚合方案有效地捕获相关信息(Cao et al, 2021)。
190 0
|
机器学习/深度学习 自然语言处理 算法
SS-AGA:Multilingual Knowledge Graph Completion with Self-Supervised Adaptive Graph Alignment 论文解读
预测知识图(KG)中缺失的事实是至关重要的,因为现代知识图远未补全。由于劳动密集型的人类标签,当处理以各种语言表示的知识时,这种现象会恶化。
112 0
|
机器学习/深度学习 编解码 自然语言处理
SegFormer: Simple and Efficient Design for Semantic Segmentation with Transformers论文解读
我们提出了SegFormer,一个简单,高效而强大的语义分割框架,它将transformer与轻量级多层感知器(MLP)解码器统一起来。
841 0
|
机器学习/深度学习 编解码 数据可视化
Speech Emotion Recognition With Local-Global aware Deep Representation Learning论文解读
语音情感识别(SER)通过从语音信号中推断人的情绪和情感状态,在改善人与机器之间的交互方面发挥着至关重要的作用。尽管最近的工作主要集中于从手工制作的特征中挖掘时空信息,但我们探索如何从动态时间尺度中建模语音情绪的时间模式。
155 0
|
机器学习/深度学习 PyTorch 测试技术
SegNeXt: Rethinking Convolutional Attention Design for Semantic Segmentation 论文解读
我们提出了SegNeXt,一种用于语义分割的简单卷积网络架构。最近的基于transformer的模型由于在编码空间信息时self-attention的效率而主导了语义分割领域。在本文中,我们证明卷积注意力是比transformer中的self-attention更有效的编码上下文信息的方法。
418 0
|
机器学习/深度学习
【论文阅读】(2019)SimGNN:A Neural Network Approach to Fast Graph Similarity Computation
- 图形相似性搜索是最重要的基于图形的应用程序之一,例如查找与查询化合物最相似的化合物。 - 图相似性距离计算,如图编辑距离(GED)和最大公共子图(MCS),是图相似性搜索和许多其他应用程序的核心操作,但实际计算成本很高。 - 受神经网络方法最近成功应用于若干图形应用(如节点或图形分类)的启发,我们提出了一种新的基于神经网络的方法来解决这一经典但具有挑战性的图形问题,**旨在减轻计算负担,同时保持良好的性能**。 - 提出的**方法称为SimGNN**,它结合了两种策略。 - 首先,我们**设计了一个可学习的嵌入函数**,将每个图映射到一个嵌入向量中,从而提供图的全局摘要。**提出了一种新的
278 0
【论文阅读】(2019)SimGNN:A Neural Network Approach to Fast Graph Similarity Computation