Re19:读论文 Paragraph-level Rationale Extraction through Regularization: A case study on European Court

简介: Re19:读论文 Paragraph-level Rationale Extraction through Regularization: A case study on European Court

1. Background


  1. rationalization by construction方法论:直接用constraint来正则化模型,对模型决策基于正确rationales的情况给与reward,而非事后根据模型决策结果推理可解释性

the model is regularized to satisfy additional constraints that reward the model, if its decisions are based on concise rationales it selects, as opposed to inferring explanations from the model’s decisions in a post-hoc manner

  1. 可解释性的意义:right to explanation
  2. 执法过程:

image.png


2. 模型


2.1 Novelty

  1. previous work on word-level rationales for binary classification→paragraph-level rationales
  2. 第一个在端到端微调预训练Transformer模型中应用rationale extraction的工作
  3. 不需要人工标注的rationales


2.2 模型

constraint:以前就有的sparsity, continuity(实验证明无效), and comprehensiveness(需要根据multi-label范式进行修正),本文新提出的singularity(能提升效果,而且鲁棒)

baseline HIERBERT-HA:text encoder→rationale extraction→prediction

image.png


在视频中放的图是:

image.png


词级别的正则器

①分别编码每个段落:context-unaware paragraph representations

②用2层transformer编码contextualized paragraph embeddings

③全连接层(激活函数selu)

K→用于分类

Q→用于rationale extraction→每个段落分别过全连接层+sigmoid,得到soft attention

scores→binarize,得到hard attention scores

④得到hardmasked document representation(hard mask+max pooling)(不可微,所以有一个训练trick)

⑤全连接层+sigmoid

baseline HIERBERT-ALL:不mask事实

constraint:

①Sparsity:限制选择出的事实的数目

②Continuity:于本文模型无用,但还是实验了

③Comprehensiveness:留下的段落生成的结果比扔掉的要好多少,或者比较两种段落的余弦相似度

④Singularity:选出的mask比随机的要好

Rationales supervision:noisy rationale supervision

image.png

image.png


3. 实验


3.1 数据集

提出ECtHR数据集,英语案例文本,silver/gold rationales,事件有时间顺序,决策包括违背的法条和援引的先例


3.2 实验设置

超参数:

image.png

网格搜索,Adam,学习率2e-5

贪心调参

LEGAL-BERT-SMALL:

50 paragraphs of 256 words


3.3 实验结果

指标:

micro-F1

Faithfulness: sufficiency and comprehensiveness

Rationale quality: Objective / subjective (mean R-Precision (mRP) Precision@k)

image.png

image.png

image.png

image.png


4. 代码复现


等我服务器好了再说。

目录
打赏
0
0
0
0
20
分享
相关文章
文献解读-Prediction of axillary lymph node metastasis in triple-negative breast cancer by multi-omics analysis and an integrated model
研究旨在为三阴性乳腺癌患者提供更准确的腋窝淋巴结转移风险评估工具。研究者综合分析了临床病理信息、基因组和转录组数据,构建了一个多组学预测模型。
73 4
文献解读-Bioinformatic Methods and Bridging of Assay Results for Reliable Tumor Mutational Burden Assessment in Non-Small-Cell Lung Cancer
文章讨论了肿瘤突变负荷(TMB)作为免疫治疗生物标志物的重要性及其测定方法的标准化问题。强调了不同TMB测定方法间存在的差异,以及统一这些方法的必要性。尽管存在差异,研究发现不同方法的结果具有良好相关性。研究组呼吁建立准确、可重复的TMB评估标准,以促进其在临床实践中的应用。
47 0
文献解读-Consistency and reproducibility of large panel next-generation sequencing: Multi-laboratory assessment of somatic mutation detection on reference materials with mismatch repair and proofreading deficiency
Consistency and reproducibility of large panel next-generation sequencing: Multi-laboratory assessment of somatic mutation detection on reference materials with mismatch repair and proofreading deficiency,大panel二代测序的一致性和重复性:对具有错配修复和校对缺陷的参考物质进行体细胞突变检测的多实验室评估
70 6
文献解读-Consistency and reproducibility of large panel next-generation sequencing: Multi-laboratory assessment of somatic mutation detection on reference materials with mismatch repair and proofreading deficiency
【博士每天一篇文献-算法】A pseudo-inverse decomposition-based self-organizing modular echo
本文提出了一种基于伪逆分解的自组织模块化回声状态网络(PDSM-ESN),通过增长-修剪方法和伪逆分解提高学习速度,有效解决了ESN中的不适定问题,并在多个数据集上展示了其优越的预测性能和鲁棒性。
48 1
[UIM]论文解读:subword Regularization: Multiple Subword Candidates
[UIM]论文解读:subword Regularization: Multiple Subword Candidates
89 0
DEPPN:Document-level Event Extraction via Parallel Prediction Networks 论文解读
当在整个文档中描述事件时,文档级事件抽取(DEE)是必不可少的。我们认为,句子级抽取器不适合DEE任务,其中事件论元总是分散在句子中
199 0
DEPPN:Document-level Event Extraction via Parallel Prediction Networks 论文解读
【论文精读】AAAI 2022 - OneRel Joint Entity and Relation Extraction with One Module in One Step
联合实体和关系提取是自然语言处理和知识图构建中的一项重要任务。现有的方法通常将联合提取任务分解为几个基本模块或处理步骤,以使其易于执行
309 0
【计算机视觉】MDETR - Modulated Detection for End-to-End Multi-Modal Understanding
对于图像模型,MDETR采用的是一个CNN backbone来提取视觉特征,然后加上二维的位置编码;对于语言模态,作者采用了一个预训练好的Transformer语言模型来生成与输入值相同大小的hidden state。然后作者采用了一个模态相关的Linear Projection将图像和文本特征映射到一个共享的embedding空间。 接着,将图像embedding和语言embedding进行concat,生成一个样本的图像和文本特征序列。这个序列特征首先被送入到一个Cross Encoder进行处理,后面的步骤就和DETR一样,设置Object Query用于预测目标框。
《Towards A Fault-Tolerant Speaker Verification System A Regularization Approach To Reduce The Condition Number》电子版地址
Towards A Fault-Tolerant Speaker Verification System: A Regularization Approach To Reduce The Condition Number
106 0
《Towards A Fault-Tolerant Speaker Verification System A Regularization Approach To Reduce The Condition Number》电子版地址
AI助理

你好,我是AI助理

可以解答问题、推荐解决方案等