Re9:读论文 DEAL Inductive Link Prediction for Nodes Having Only Attribute Information

简介: Re9:读论文 DEAL Inductive Link Prediction for Nodes Having Only Attribute Information

1. Background & Motivation


image.png

早期链路预测任务关注节点相似性的度量,近年来往往通过图嵌入方法来实现链路预测。有些图嵌入方法只能捕获图结构信息,能捕获attributes信息的大多关注transductive范式(两个节点都在训练时就存在于图中)。

可以做inductive链路预测,但是需要边的模型:SDNE3(只能捕获图结构信息)和GraphSAGE4。

G2G5:可以对没有局部结构的新节点做inductive链路预测,但无法区分特征相似的节点,因为它无法很好地捕获节点表征中体现的结构信息。


2. DEAL模型


image.png

在视频中的画法,换了个方向:

image.png


2.1 Attribute-oriented Encoder

输入是节点attributes,输出节点嵌入:image.png

可以选择各种神经网络,本文直接用了MLP(激活函数是ELU):image.png

(这里论文对没用GCN的解释是:经实验观察,聚合太多邻居信息会影响attributes表征效果。我的迷惑点在于,这他妈的在inductive场景下不是不能用GCN吗!)


2.2 Structure-oriented Encoder

用节点独热编码作为输入,得到节点嵌入:image.pngimage.png

就是说这个本来也可以用GCN(以邻接矩阵为输入),但是实验证明效果不如本文提出的方法。


2.3 对齐机制和模型训练

模型训练时2个encoder一起更新参数,在向量空间对齐表征。


2.3.1 损失函数

ranking-motivated loss(证明其效果的参考文献:5和Content-based citation recommendation)

本文提出了一个新的mini-batch learning method with a personalized ranking-motivated loss

contrastive loss6:

image.png

(公式中p-q是成对样本,共有k对)

直接使用contrastive loss的问题是:1. 负样本对距离不同,因此用同一个margin(τ )不合适。2. 损失函数中没有考虑regularization。

image.png

image.png


2.3.2 对齐机制

最小化2个encoder的上述损失函数,然后加上对齐机制。

  1. Tight Alignment (T-align):最小化节点的2种表征(太严格了)image.png
  2. Loose Alignment (L-align):最大化相连节点的不同表征(就是一个结构、一个attributes)的相似性(用和2.3.1部分介绍的一样的损失函数来做)image.png

最后就是两个链路预测的损失,加对齐的损失:

image.png


2.3.3 训练算法和预测过程

image.png

测试时:

image.png


3. 实验


3.1 数据集

image.png

细节略


3.2 baseline

MLP

SEAL

G2G5

GAE

细节略


3.3 实验设置

略。


3.4 主实验结果

image.png

论文里也没说这个Cite.是啥模型。

image.png


3.5 模型分析

image.png

image.png

image.png

细节略,待补。


4. 代码复现


等我服务器好了再说。

相关文章
|
数据采集 自然语言处理 算法
如何使用Python的Gensim库进行自然语言处理和主题建模?
使用Gensim库进行Python自然语言处理和主题建模,包括:1) 安装Gensim;2) 导入`corpora`, `models`, `nltk`等相关模块;3) 对文本数据进行预处理,如分词和去除停用词;4) 创建字典和语料库;5) 使用LDA算法训练模型;6) 查看每个主题的主要关键词。代码示例展示了从数据预处理到主题提取的完整流程。
271 3
|
前端开发 容器
面试官:请使用 CSS 实现自适应正方形
面试官:请使用 CSS 实现自适应正方形
553 0
面试官:请使用 CSS 实现自适应正方形
|
2月前
|
JSON 数据格式
利用HTTP POST协议实现简单的RPC协议,并使用WireShark进行抓包分析
通过这种方式,我们可以利用HTTP POST实现简单的RPC协议,并使用WireShark进行抓包分析。这种方式简单易懂,实用性强,可以应用于各种网络编程场景。
104 16
|
4月前
|
机器学习/深度学习 数据采集 人工智能
《揭秘AI与元应用:优化模型训练,解锁无限潜能》
在数字化浪潮中,AI与元应用开发正以前所未有的速度重塑生活与工作方式。优化AI模型的训练效率与准确性是关键,涵盖五个方面:精选适配模型架构(如CNN、RNN、Transformer),雕琢数据质量(清洗、增强、归一化),优化训练算法(如SGD、Adam),借助硬件加速(GPU、TPU、FPGA),以及模型压缩与优化(量化、剪枝、知识蒸馏)。这些环节共同提升AI模型性能,推动元应用发展,创造更多创新体验。
102 0
|
8月前
|
JavaScript Docker Python
下个时代的开发工具-Nix:声明式的运行环境构建器、简单场景下的docker替身
Nix 是一个独特的包管理工具和构建系统,采用声明式方法管理软件包和运行环境。它通过精确控制依赖关系和环境配置,确保软件的可重复性、隔离性和可追溯性。Nix 支持多语言开发环境,提供声明式配置、环境隔离、回滚与版本控制等核心功能,适用于复杂开发场景,有效解决依赖冲突和环境不一致问题。
811 3
|
8月前
|
存储 关系型数据库 MySQL
MySQL性能优化指南
【10月更文挑战第16天】MySQL性能优化指南
925 0
|
8月前
|
Kubernetes 负载均衡 安全
Istio在微服务中释放服务网格的力量
Istio在微服务中释放服务网格的力量
168 4
|
10月前
|
Ubuntu jenkins 持续交付
Docker:docker安装部署jenkins
Docker:docker安装部署jenkins
124 0
|
11月前
|
算法
STM32CubeMX PID差速循迹小车
STM32CubeMX PID差速循迹小车
315 1
STM32CubeMX PID差速循迹小车
|
分布式计算 大数据 专有云
MaxCompute产品使用合集之需要将多个字段concat起来,有时候遇到null值,该怎么做
MaxCompute作为一款全面的大数据处理平台,广泛应用于各类大数据分析、数据挖掘、BI及机器学习场景。掌握其核心功能、熟练操作流程、遵循最佳实践,可以帮助用户高效、安全地管理和利用海量数据。以下是一个关于MaxCompute产品使用的合集,涵盖了其核心功能、应用场景、操作流程以及最佳实践等内容。