Re32:读论文 Summarizing Legal Regulatory Documents using Transformers

简介: 这篇文章提出了一个英文法律规范文件摘要数据集。模型就是很简单地把抽取式摘要建模成每一句的二分类任务,还测试了在此之前用TextRank先抽取一遍的效果。(这个指标甚至没有做人工的)看起来非常简单,这样就能发SIGIR吗,那我怎么不行……所以可能本文的贡献重点在数据集上吧!

1. Background & Motivation


法律文本的重要问题在于外行看不懂,本文关注提取文中的重点(即实现文本摘要任务)。


现有的文本摘要工作关注于短文本和生成式摘要。

本文提出基于transformers的模型,实现抽取式摘要,效果超过了TextRank。超过TextRank是什么值得写出来的事情吗?结合TextRank以预先过滤候选句子,然后再使用基于transformer的模型,效果可能会更好。(先抽取,然后再抽取?)


2. EUR-LexSum数据集


e125b64f8e634731a31422aa19732eda.png

image.png

image.png


3. 基于transformer的抽取式摘要模型


本文基于类似Bert的结构,生成句子表征,对每个句子用二元分类的范式,决定最终选出哪些句子。

image.png


(本文提及了一下,具体的通过生成式摘要结果来抽取oracle抽取式摘要标签的方法也是值得探索的。我也觉得!!!!!)


3.1 数据爬取和清洗

数据来源:https://eur-lex.europa.eu/browse/summaries.html

具体细节略。


3.2 微调基于transformer的模型

贪心搜索选择32句(生成式摘要的平均长度)。

最小化选出句子之间的相似性:trigram blocking1


4. 实验


对数据集的介绍见本文第二节。


4.1 baseline

TextRank

直接预测VS先抽取再预测


4.2 实验设置

使用TransformerSum包。本文介绍该包及其优越性的内容不赘。

具体的设置比较简单,略。


4.3 主实验结果

评估指标是ROUGE-1、2、L的P、R和F1

image.png


4.4 模型分析

摘要长度对ROUGE值的影响:

image.png

image.png

image.png




相关文章
|
数据采集 测试技术 API
python爬虫之Appium 的使用
搭建appium环境,appium基本使用,API操作等等
668 0
|
4月前
|
BI API 开发工具
拼多多商品推广链接生成API:社交裂变的转化追踪利器
拼多多推广链接生成API助力商家实现社交裂变与精准转化,支持动态生成带追踪参数的推广链接,结合树形追踪模型,实时统计传播路径中的点击、下单与转化数据。API具备高并发、低延迟、智能风控等技术优势,可广泛应用于KOC营销、节日活动等场景,助力商家提升营销效率,实现流量价值最大化。
303 0
|
网络协议 算法 Linux
【Linux】深入探索:Linux网络调试、追踪与优化
【Linux】深入探索:Linux网络调试、追踪与优化
|
机器学习/深度学习 存储 人工智能
【AI系统】计算之比特位宽
本文详细介绍了计算机中整数和浮点数的比特位宽概念及其在AI模型中的应用。通过对比特位宽的定义、整数与浮点数的表示方法、AI中常用的数据类型(如FP32、TF32、FP16、BF16、FP8和Int8)及其在模型训练和推理中的作用进行了阐述。特别关注了FP8数据类型在提高计算性能和减少内存占用方面的新进展,以及降低比特位宽对AI芯片性能的影响,强调了低比特位宽在AI领域的重要性。
428 0
|
11月前
|
Unix 虚拟化 Windows
Windows Server 2025 中文版、英文版下载 (2025 年 2 月更新)
Windows Server 2025 中文版、英文版下载 (2025 年 2 月更新)
1985 7
Windows Server 2025 中文版、英文版下载 (2025 年 2 月更新)
可控细节的长文档摘要,探索开源LLM工具与实践
本文通过将文档分为几部分来解决这个问题,然后分段生成摘要。在对大语言模型进行多次查询后,可以重建完整的摘要。通过控制文本块的数量及其大小,我们最终可以控制输出中的细节级别。
|
安全 大数据 Go
介绍一下Go语言的并发模型
【10月更文挑战第21】介绍一下Go语言的并发模型
196 14
|
安全 Go 开发者
代码之美:Go语言并发编程的优雅实现与案例分析
【10月更文挑战第28天】Go语言自2009年发布以来,凭借简洁的语法、高效的性能和原生的并发支持,赢得了众多开发者的青睐。本文通过两个案例,分别展示了如何使用goroutine和channel实现并发下载网页和构建并发Web服务器,深入探讨了Go语言并发编程的优雅实现。
258 2
|
机器学习/深度学习 计算机视觉 网络架构
【YOLOv8改进-卷积Conv】DualConv( Dual Convolutional):用于轻量级深度神经网络的双卷积核
**摘要:** 我们提出DualConv,一种融合$3\times3$和$1\times1$卷积的轻量级DNN技术,适用于资源有限的系统。它通过组卷积结合两种卷积核,减少计算和参数量,同时增强准确性。在MobileNetV2上,参数减少54%,CIFAR-100精度仅降0.68%。在YOLOv3中,DualConv提升检测速度并增4.4%的PASCAL VOC准确性。论文及代码已开源。
|
Java Android开发
android 长按power键的触发时间
android 长按power键的触发时间
590 0

热门文章

最新文章