1. 场景

学习样本之间存在关系，或样本内部存在结构（样本由多个components组成，components之间存在关系）。

关注面对现实世界数据的不确定性和复杂结构时，建模关系数据的联合分布。

（出自R-former，相关参考资料）

1.1 样本之间存在关系的情况（external relationships）

如网页之间以超链接连接。

或者attribute-value format，如电影的关联实体（Studio, Director, Producer, and Actor）本身还具有不同的attributes。任务可以是预测电影周末票房。

样本之间并非独立或同样本分布（i.i.d）。

在分类样本时考虑相关案例标签的方法：collective classification

1.2 样本内部存在结构的情况（internal structure）

常用individual-centered representations，如logical interpretations或strongly typed terms

如药物可能的组成分子（一个图）的数据库。任务可以是根据分子结构区分组成分子是否active

我总感觉这样说来，RNN/Transformer这种模型面对的序列数据也算这种类型

2. 解决方案

2.1 Inductive Logic Programming

2.2 Learning from Graphs

2.3 Multi-relational Data Mining

2.4 Statistical Relational Learning/Probabilistic Logic Learning

用于关系数据分类的统计关系学习方法主要用概率图模型建模标签依赖性。直接在概率图模型上推理posterior label distribution很难（因为关系结构复杂），因此常使用估算推理方法，如mean field methods或belief propagation。

CRF等很多方法会应用马尔科夫网络，包括关系马尔科夫网络3和马尔科夫逻辑网络。

probabilistic relational models (PRMs)

Bayesian logic programs (BLPs)

Naïve Bayes

Hidden Markov Models

Stochastic logic programs (SLPs)

强调表征学习的SOTA方法：

Neural Markov Logic Networks

Graph Markov Neural Network：GMNN: Graph Markov Neural Networks（用标签依赖性帮助实现inference/prediction model）

2.5 Relational Reinforcement Learning

2.6 时序数据处理

（注意：我并不确定这种算不算关系学习）

Transformer的自注意力机制将输入序列token之间的关系从RNN上的序列依赖拓展为了全局依赖。