relational learning关系学习

简介: 本文介绍relational learning关系学习。目前的介绍比较简略,会持续更新的。

1. 场景


学习样本之间存在关系,或样本内部存在结构(样本由多个components组成,components之间存在关系)。

关注面对现实世界数据的不确定性和复杂结构时,建模关系数据的联合分布。

(出自R-former,相关参考资料)


1.1 样本之间存在关系的情况(external relationships)

如网页之间以超链接连接。

或者attribute-value format,如电影的关联实体(Studio, Director, Producer, and Actor)本身还具有不同的attributes。任务可以是预测电影周末票房。

样本之间并非独立或同样本分布(i.i.d)。

在分类样本时考虑相关案例标签的方法:collective classification


1.2 样本内部存在结构的情况(internal structure)

常用individual-centered representations,如logical interpretations或strongly typed terms

如药物可能的组成分子(一个图)的数据库。任务可以是根据分子结构区分组成分子是否active

我总感觉这样说来,RNN/Transformer这种模型面对的序列数据也算这种类型


2. 解决方案


2.1 Inductive Logic Programming


2.2 Learning from Graphs


2.3 Multi-relational Data Mining

image.png


2.4 Statistical Relational Learning/Probabilistic Logic Learning

用于关系数据分类的统计关系学习方法主要用概率图模型建模标签依赖性。直接在概率图模型上推理posterior label distribution很难(因为关系结构复杂),因此常使用估算推理方法,如mean field methods或belief propagation。

CRF等很多方法会应用马尔科夫网络,包括关系马尔科夫网络3和马尔科夫逻辑网络。


probabilistic relational models (PRMs)

Bayesian logic programs (BLPs)

Naïve Bayes

Hidden Markov Models

Stochastic logic programs (SLPs)


强调表征学习的SOTA方法:

Neural Markov Logic Networks

Graph Markov Neural Network:GMNN: Graph Markov Neural Networks(用标签依赖性帮助实现inference/prediction model)


2.5 Relational Reinforcement Learning


2.6 时序数据处理

(注意:我并不确定这种算不算关系学习)

Transformer的自注意力机制将输入序列token之间的关系从RNN上的序列依赖拓展为了全局依赖。

目录
打赏
0
0
0
0
20
分享
相关文章
知识图谱(Knowledge Graph)根本概念
知识图谱(Knowledge Graph)根本概念
169 0
知识图谱(Knowledge Graph)- Neo4j 5.10.0 使用 - CQL - 太极拳传承谱系表
知识图谱(Knowledge Graph)- Neo4j 5.10.0 使用 - CQL - 太极拳传承谱系表
76 0
关系模式(Relational Model)
关系模式(Relational Model)是一种在数据库中组织和表示数据的方式。它基于关系理论,使用表格(也称为关系)来存储和表示数据。在关系模型中,数据被组织为行(记录)和列(字段)的二维表格。
1500 0
【论文精读】COLING 2022 -Event Detection with Dual Relational Graph Attention Networks
图神经网络(Scarselli et al, 2009)已被广泛用于编码事件检测的依赖树,因为它们可以基于信息聚合方案有效地捕获相关信息(Cao et al, 2021)。
214 0
在没有技术术语的情况下介绍Adaptive、GBDT、XGboosting等提升算法的原理简介
在没有技术术语的情况下介绍Adaptive、GBDT、XGboosting等提升算法的原理简介
181 0
在没有技术术语的情况下介绍Adaptive、GBDT、XGboosting等提升算法的原理简介
周志华《Machine Learning》学习笔记(2)--性能度量
本篇主要是对第二章剩余知识的理解,包括:性能度量、比较检验和偏差与方差。
144 0
周志华《Machine Learning》学习笔记(2)--性能度量
周志华《Machine Learning》学习笔记(13)--特征选择与稀疏学习
在机器学习中特征选择是一个重要的“数据预处理”(data preprocessing)过程,即试图从数据集的所有特征中挑选出与当前学习任务相关的特征子集,接着再利用数据子集来训练学习器
256 0
周志华《Machine Learning》学习笔记(13)--特征选择与稀疏学习
周志华《Machine Learning》学习笔记(14)--计算学习理论
计算学习理论(computational learning theory)是通过“计算”来研究机器学习的理论
269 0
周志华《Machine Learning》学习笔记(14)--计算学习理论
Machine Learning-L9-贝叶斯分类器(涉及贝叶斯的全在这了)(下)
Machine Learning-L9-贝叶斯分类器(涉及贝叶斯的全在这了)(下)
Machine Learning-L9-贝叶斯分类器(涉及贝叶斯的全在这了)(下)