Re4:读论文 CGSum: Enhancing Scientific Papers Summarization with Citation Graph

简介: Re4:读论文 CGSum: Enhancing Scientific Papers Summarization with Citation Graph

1. 模型构造思路


本文的两大贡献在于:第一,发表了一个公开的文献引用数据集SSN,这个事情以后再说;第二,提出了一个结合引用与文本信息的文献摘要生成模型CGSum (citation graph-based summarization model),本文仅简单介绍一下这个。

传统document summarization方法往往将任务构建为sequence-to-sequence problem,即通过文本生成摘要。

但实际上,文献之间的引用关系也对摘要生成任务有价值:文献的相关research community能帮助我们理解文献中的domain-specific terms。如下图举例,在原论文中只出现了专业术语,但在其引用的文献中出现了对术语的解释和类似语句的不同表示方式:

image.png

这个research community可以通过抽样出一个有source paper的subgraph得到。

模型将source paper的内容和subgraph的information分别encode,通过decoder得到abstract。神经网络模型使用的是BiLSTM和GNN。

评估指标用的是ROUGE credit method。


在本文中分别试验了transductive和inductive两种实验模式:

image.png


注意实验是将引用关系视为无向图进行的,但是抽取子图的时候是有边方向的(见模型介绍部分)。


2. Notation与模型介绍


2.1 Notation

略,待补。


2.2 CGSum

在理论上讲,作者要写摘要的时候,他肯定只能参考他引用的文章而非引用他的文章,所以在生成摘要任务中,要使用文献引用关系,也只能使用其reference而非citation。

所以在首先我们通过抽取子图生成一篇文献的research community(citation graph)时,对于某一节点(文献),我们生成一个它引用文献、引用文献再引用文献的图出来(这个图我一开始以为是树,后来想了一下,每一篇文献可能不只被research community中的一篇文献引用,所以不一定是树,反正就是一张有向图)。

建立citation graph的算法:

image.png

对每一个节点,我们利用其body text和citation graph中文献(不包括它自己)的abstract生成节点的abstract。


模型示意图如下:

image.png


source paper的body text和reference paper的abstract传入document encoder(BiLSTM),通过池化隐藏层表示向量初始化节点特征,根据节点之间的salience score对邻居进行抽样

image.png


由于什么直接抽样会打断 f ff 中参数的训练的原因(为啥?因为没梯度可算了吗?)所以参考 Knowledge Graph-Augmented Abstractive Summarization with Semantic-Driven Cloze Reward.,将 s ss 视为information gate):

image.png

将图输入graph encoder(2层GAT,并在层间添加residual connections)。


将encoder得到的表示向量通过decoder(single-layer unidirectional LSTM)得到结果,两个encoder都对decoder有attention机制。

模型结果用ROUGE credit method进行评估。


其他略,有缘补。


3. 详细的数学推导和证明


略,待补。


4. 实验结果


4.1 baseline

略,待补。


4.2 数据集

略,待补。


4.3 实验设置

略,待补。


4.4 实验结果

略,待补。


5. 代码实现和复现


5.1 论文官方实现

虽然使用的DGL和FastNLP等包我没用过,但是看起来还是意外比较清晰的一个代码结构。学了之后应该可以过来看一下。


5.2 我自己写的复现

还没写,待补。


相关文章
|
6月前
|
机器学习/深度学习 自然语言处理 算法
【论文精读】ACL 2022:Graph Pre-training for AMR Parsing and Generation
【论文精读】ACL 2022:Graph Pre-training for AMR Parsing and Generation
|
2月前
|
算法 数据挖掘
文献解读-Genome-wide imputation using the practical haplotype graph in the heterozygous crop cassava
PHG是一种将基因组简化为一组单倍型的方法。这种方法可用于从稀疏的基因分型信息中预测杂合子物种中的全基因组单倍型。它的高精度,特别是在稀有等位基因中,在非常低的测序深度下,使其成为一种潜在的强大插补工具。
34 4
|
机器学习/深度学习 人工智能 自然语言处理
【论文精读】AAAI 2022 - Unified Named Entity Recognition as Word-Word Relation Classification
到目前为止,命名实体识别(NER)已经涉及三种主要类型,包括扁平、重叠(又名嵌套)和不连续NER,它们大多是单独研究的。
239 0
【论文精读】AAAI 2022 - Unified Named Entity Recognition as Word-Word Relation Classification
|
机器学习/深度学习 自然语言处理 算法
SS-AGA:Multilingual Knowledge Graph Completion with Self-Supervised Adaptive Graph Alignment 论文解读
预测知识图(KG)中缺失的事实是至关重要的,因为现代知识图远未补全。由于劳动密集型的人类标签,当处理以各种语言表示的知识时,这种现象会恶化。
102 0
|
机器学习/深度学习 自然语言处理 算法
Multimedia Event Extraction From News With a Unified Contrastive Learning Framework论文解读
从新闻中提取事件在下游应用程序中有很多好处。然而,今天的事件提取(EE)系统通常专注于单一的模态——无论是文本还是图像
181 0
|
人工智能 自然语言处理 算法
【论文精读】AAAI 2022 - OneRel Joint Entity and Relation Extraction with One Module in One Step
联合实体和关系提取是自然语言处理和知识图构建中的一项重要任务。现有的方法通常将联合提取任务分解为几个基本模块或处理步骤,以使其易于执行
207 0
带你读《2022技术人的百宝黑皮书》——A Contrastive Framework for Learning Sentence Representations from Pairwise and Triple- wise Perspective in Angular Space(2)
带你读《2022技术人的百宝黑皮书》——A Contrastive Framework for Learning Sentence Representations from Pairwise and Triple- wise Perspective in Angular Space(2)
带你读《2022技术人的百宝黑皮书》——A Contrastive Framework for  Learning Sentence Representations  from Pairwise and Triple- wise  Perspective in Angular Space(2)
PointNet++:Deep Hierarchical Feature Learning on Points Sets in a Metrci Space 学习笔记
PointNet++:Deep Hierarchical Feature Learning on Points Sets in a Metrci Space 学习笔记
80 0
带你读《2022技术人的百宝黑皮书》——A Contrastive Framework for Learning Sentence Representations from Pairwise and Triple- wise Perspective in Angular Space(8)
带你读《2022技术人的百宝黑皮书》——A Contrastive Framework for Learning Sentence Representations from Pairwise and Triple- wise Perspective in Angular Space(8)
带你读《2022技术人的百宝黑皮书》——A Contrastive Framework for Learning Sentence Representations from Pairwise and Triple- wise Perspective in Angular Space(6)
带你读《2022技术人的百宝黑皮书》——A Contrastive Framework for Learning Sentence Representations from Pairwise and Triple- wise Perspective in Angular Space(6)