Re4:读论文 CGSum: Enhancing Scientific Papers Summarization with Citation Graph

简介: Re4:读论文 CGSum: Enhancing Scientific Papers Summarization with Citation Graph

1. 模型构造思路


本文的两大贡献在于:第一,发表了一个公开的文献引用数据集SSN,这个事情以后再说;第二,提出了一个结合引用与文本信息的文献摘要生成模型CGSum (citation graph-based summarization model),本文仅简单介绍一下这个。

传统document summarization方法往往将任务构建为sequence-to-sequence problem,即通过文本生成摘要。

但实际上,文献之间的引用关系也对摘要生成任务有价值:文献的相关research community能帮助我们理解文献中的domain-specific terms。如下图举例,在原论文中只出现了专业术语,但在其引用的文献中出现了对术语的解释和类似语句的不同表示方式:

image.png

这个research community可以通过抽样出一个有source paper的subgraph得到。

模型将source paper的内容和subgraph的information分别encode,通过decoder得到abstract。神经网络模型使用的是BiLSTM和GNN。

评估指标用的是ROUGE credit method。


在本文中分别试验了transductive和inductive两种实验模式:

image.png


注意实验是将引用关系视为无向图进行的,但是抽取子图的时候是有边方向的(见模型介绍部分)。


2. Notation与模型介绍


2.1 Notation

略,待补。


2.2 CGSum

在理论上讲,作者要写摘要的时候,他肯定只能参考他引用的文章而非引用他的文章,所以在生成摘要任务中,要使用文献引用关系,也只能使用其reference而非citation。

所以在首先我们通过抽取子图生成一篇文献的research community(citation graph)时,对于某一节点(文献),我们生成一个它引用文献、引用文献再引用文献的图出来(这个图我一开始以为是树,后来想了一下,每一篇文献可能不只被research community中的一篇文献引用,所以不一定是树,反正就是一张有向图)。

建立citation graph的算法:

image.png

对每一个节点,我们利用其body text和citation graph中文献(不包括它自己)的abstract生成节点的abstract。


模型示意图如下:

image.png


source paper的body text和reference paper的abstract传入document encoder(BiLSTM),通过池化隐藏层表示向量初始化节点特征,根据节点之间的salience score对邻居进行抽样

image.png


由于什么直接抽样会打断 f ff 中参数的训练的原因(为啥?因为没梯度可算了吗?)所以参考 Knowledge Graph-Augmented Abstractive Summarization with Semantic-Driven Cloze Reward.,将 s ss 视为information gate):

image.png

将图输入graph encoder(2层GAT,并在层间添加residual connections)。


将encoder得到的表示向量通过decoder(single-layer unidirectional LSTM)得到结果,两个encoder都对decoder有attention机制。

模型结果用ROUGE credit method进行评估。


其他略,有缘补。


3. 详细的数学推导和证明


略,待补。


4. 实验结果


4.1 baseline

略,待补。


4.2 数据集

略,待补。


4.3 实验设置

略,待补。


4.4 实验结果

略,待补。


5. 代码实现和复现


5.1 论文官方实现

虽然使用的DGL和FastNLP等包我没用过,但是看起来还是意外比较清晰的一个代码结构。学了之后应该可以过来看一下。


5.2 我自己写的复现

还没写,待补。


相关文章
|
6月前
|
机器学习/深度学习 自然语言处理 算法
【论文精读】ACL 2022:Graph Pre-training for AMR Parsing and Generation
【论文精读】ACL 2022:Graph Pre-training for AMR Parsing and Generation
|
2月前
|
算法 数据挖掘
文献解读-Genome-wide imputation using the practical haplotype graph in the heterozygous crop cassava
PHG是一种将基因组简化为一组单倍型的方法。这种方法可用于从稀疏的基因分型信息中预测杂合子物种中的全基因组单倍型。它的高精度,特别是在稀有等位基因中,在非常低的测序深度下,使其成为一种潜在的强大插补工具。
34 4
|
3月前
|
存储 机器学习/深度学习 算法
【博士每天一篇文献-算法】A biologically inspired dual-network memory model for reduction of catastrophic
本文介绍了一种受生物学启发的双网络记忆模型,由海马网络和新皮层网络组成,通过模拟海马CA3区的混沌行为和齿状回区的神经元更替,以及新皮层网络中的伪模式学习,有效减少了神经网络在学习新任务时的灾难性遗忘问题。
31 4
|
6月前
|
算法 TensorFlow 算法框架/工具
[FastText in Word Representations]论文实现:Enriching Word Vectors with Subword Information*
[FastText in Word Representations]论文实现:Enriching Word Vectors with Subword Information*
38 2
|
机器学习/深度学习 人工智能 自然语言处理
【论文精读】AAAI 2022 - Unified Named Entity Recognition as Word-Word Relation Classification
到目前为止,命名实体识别(NER)已经涉及三种主要类型,包括扁平、重叠(又名嵌套)和不连续NER,它们大多是单独研究的。
240 0
【论文精读】AAAI 2022 - Unified Named Entity Recognition as Word-Word Relation Classification
|
机器学习/深度学习 自然语言处理 算法
SS-AGA:Multilingual Knowledge Graph Completion with Self-Supervised Adaptive Graph Alignment 论文解读
预测知识图(KG)中缺失的事实是至关重要的,因为现代知识图远未补全。由于劳动密集型的人类标签,当处理以各种语言表示的知识时,这种现象会恶化。
102 0
|
机器学习/深度学习 自然语言处理
【论文精读】COLING 2022 - DESED: Dialogue-based Explanation for Sentence-level Event Detection
最近许多句子级事件检测的工作都集中在丰富句子语义上,例如通过多任务或基于提示的学习。尽管效果非常好,但这些方法通常依赖于标签广泛的人工标注
95 0
|
人工智能 自然语言处理 算法
【论文精读】AAAI 2022 - OneRel Joint Entity and Relation Extraction with One Module in One Step
联合实体和关系提取是自然语言处理和知识图构建中的一项重要任务。现有的方法通常将联合提取任务分解为几个基本模块或处理步骤,以使其易于执行
209 0
|
机器学习/深度学习 自然语言处理 数据可视化
EventGraph:Event Extraction as Semantic Graph Parsing 论文解读
事件抽取涉及到事件触发词和相应事件论元的检测和抽取。现有系统经常将事件抽取分解为多个子任务,而不考虑它们之间可能的交互。
82 0
|
算法
Single TPR论文解读
Single TPR是2015年提出来的,是基于TPR的进一步改进,TPR论文解读可以参考Topical PageRank(TPR)论文解读_Trouble…的博客-CSDN博客。
96 0