05进阶模型
ERNIESage
背景：Text Graph
就是节点与边带有文本的特殊图
如何对Text Graph建模？
原有的方法：
只关注结构信息：GraphSage
退化成文本理解：ERNIE
但是！
ERNIE
ERNIE1.0核心思想：知识增强
ERNIE2.0核心思想：持续学习
总之：
ERNIE是百度推出的语义理解技术
世界领先的性能
广泛的应用前景
• 我们只需黑盒使用即可，像这样：
from models.ernie_model.ernie import ErnieModel ernie = ErnieModel(src_ids=text_ids...)
ERNIESage Node
ERNIE 作用于Text Graph的Node（节点）上
ERNIESage Edge
ERNIE聚合Text Graph的Edge（边）上信息
ERNIESage 1-Neighbor
将中心节点的文本与所有一阶邻居节点文本进行单塔拼接，再利用ERNIE 做消息聚合。
问题：
1.如何确保在输入时邻居不带有顺序？
针对问题1：独立的位置编码
2.如果邻居数量过多，如何建模？
针对问题2：对邻居进行采样
UniMP
融合标签传递和图神经网络的统一模型
模型结构
-orrvPkcr-1664194691728)]
ERNIESage 1-Neighbor
将中心节点的文本与所有一阶邻居节点文本进行单塔拼接，再利用ERNIE 做消息聚合。
[外链图片转存中…(img-fNs5LI5H-1664194691729)]
问题：
1.如何确保在输入时邻居不带有顺序？
针对问题1：独立的位置编码
2.如果邻居数量过多，如何建模？
针对问题2：对邻居进行采样
