1. Background
- rationalization by construction方法论：直接用constraint来正则化模型，对模型决策基于正确rationales的情况给与reward，而非事后根据模型决策结果推理可解释性
the model is regularized to satisfy additional constraints that reward the model, if its decisions are based on concise rationales it selects, as opposed to inferring explanations from the model’s decisions in a post-hoc manner
- 可解释性的意义：right to explanation
- 执法过程：
2. 模型
2.1 Novelty
- previous work on word-level rationales for binary classification→paragraph-level rationales
- 第一个在端到端微调预训练Transformer模型中应用rationale extraction的工作
- 不需要人工标注的rationales
2.2 模型
constraint：以前就有的sparsity, continuity（实验证明无效）, and comprehensiveness（需要根据multi-label范式进行修正），本文新提出的singularity（能提升效果，而且鲁棒）
baseline HIERBERT-HA：text encoder→rationale extraction→prediction
在视频中放的图是：
词级别的正则器
①分别编码每个段落：context-unaware paragraph representations
②用2层transformer编码contextualized paragraph embeddings
③全连接层（激活函数selu）
K→用于分类
Q→用于rationale extraction→每个段落分别过全连接层+sigmoid，得到soft attention
scores→binarize，得到hard attention scores
④得到hardmasked document representation（hard mask+max pooling）（不可微，所以有一个训练trick）
⑤全连接层+sigmoid
baseline HIERBERT-ALL：不mask事实
constraint：
①Sparsity：限制选择出的事实的数目
②Continuity：于本文模型无用，但还是实验了
③Comprehensiveness：留下的段落生成的结果比扔掉的要好多少，或者比较两种段落的余弦相似度
④Singularity：选出的mask比随机的要好
Rationales supervision：noisy rationale supervision
3. 实验
3.1 数据集
提出ECtHR数据集，英语案例文本，silver/gold rationales，事件有时间顺序，决策包括违背的法条和援引的先例
3.2 实验设置
超参数：
网格搜索，Adam，学习率2e-5
贪心调参
LEGAL-BERT-SMALL：
50 paragraphs of 256 words
3.3 实验结果
指标：
micro-F1
Faithfulness: sufficiency and comprehensiveness
Rationale quality: Objective / subjective (mean R-Precision (mRP) Precision@k)
4. 代码复现
等我服务器好了再说。
