1. Background & Motivation
法律文本的重要问题在于外行看不懂,本文关注提取文中的重点(即实现文本摘要任务)。
现有的文本摘要工作关注于短文本和生成式摘要。
本文提出基于transformers的模型,实现抽取式摘要,效果超过了TextRank。超过TextRank是什么值得写出来的事情吗?结合TextRank以预先过滤候选句子,然后再使用基于transformer的模型,效果可能会更好。(先抽取,然后再抽取?)
2. EUR-LexSum数据集
3. 基于transformer的抽取式摘要模型
本文基于类似Bert的结构,生成句子表征,对每个句子用二元分类的范式,决定最终选出哪些句子。
(本文提及了一下,具体的通过生成式摘要结果来抽取oracle抽取式摘要标签的方法也是值得探索的。我也觉得!!!!!)
3.1 数据爬取和清洗
数据来源:https://eur-lex.europa.eu/browse/summaries.html
具体细节略。
3.2 微调基于transformer的模型
贪心搜索选择32句(生成式摘要的平均长度)。
最小化选出句子之间的相似性:trigram blocking1
4. 实验
对数据集的介绍见本文第二节。
4.1 baseline
TextRank
直接预测VS先抽取再预测
4.2 实验设置
使用TransformerSum包。本文介绍该包及其优越性的内容不赘。
具体的设置比较简单,略。
4.3 主实验结果
评估指标是ROUGE-1、2、L的P、R和F1
4.4 模型分析
摘要长度对ROUGE值的影响: