Re27:读论文 LADAN Distinguish Confusing Law Articles for Legal Judgment Prediction

简介: Re27:读论文 LADAN Distinguish Confusing Law Articles for Legal Judgment Prediction

1. Background & Motivation


LJP任务图示:

image.png

LJP任务中,由于相似法条对应的案例很容易被误判,所以易混淆罪名很常见。

易混淆罪名示例:

image.png


以前解决这一问题的方法往往依赖领域知识(如Few-shot1定义discriminative attributes以作区分),这使其对不同法系的泛化能力变弱。

本文希望能提出自动抽取法条文本特征的模型来辅助LJP任务,如FLA2用对法条的注意力机制从事实描述中抽取特征。如下图a所示,其缺点在于独立学习每个法条的注意力向量,这样语义上相似的法条可能就会学到相似的注意力向量,这对易混淆罪名的预测很低效。

如果想要解决相似案例的问题,直觉想法是删除法条之间的重复内容,仅使用剩余的不同内容,来做注意力机制。但这样就会导致不相似法条出现相似的剩余内容,如上图所示。(除此以外还有个问题,就是这个过程不可微分,因此无法直接插入端到端神经网络)

image.png

信息传播GNN会出现过平滑问题,使节点表征靠近,这与我们所期待的区分相似GNN的目标正好相悖,因此本文提出distillation operation,蒸馏而非聚合,来抽取相似法条之间的可区分特征。


2. LADAN模型


image.png

image.png


2.1 law distillation module

  1. graph construction layer (GCL):划分法条到社区中

先构建法条的全连接图,边权是TF-IDF向量的余弦相似度→根据阈值τ 移边

得到一个由disconnected subgraphs组成的图,每个subgraph是一个由易混淆法条构成的社区

image.png


2.2 fact re-encoder module

  1. 预测案例属于哪个社区:

image.png

image.png

image.png


2.3 预测和训练

得到了concat后的事实描述表征:

image.png

损失函数-多任务:

image.png

损失函数-预测法条属于的社区:

image.png


3. 实验


3.1 数据集

CAIL

预处理工作:

  1. 删除多法条和多罪名场景
  2. 仅保留超过100个案例样本的法条和罪名(在训练集和验证集中计算得到)
  3. 删除二审样本(在论文中没提,但在代码中有,后续直接使用LADAN预处理数据的论文会提及)
  4. 将刑期改为分类标签

image.png


3.2 baseline

细节略。

  1. CNN
  2. HARNN
  3. FLA4
  4. Few-Shot1
  5. TOPJUDGE
  6. MPBFN-WCA


3.3 实验设置

细节略。


3.4 主实验结果

细节略。

image.png

image.png


3.5 实验分析

3.5.1 消融实验

image.png


3.5.2 案例分析

LADAN encoder的注意力可视化:

image.png


4. 代码复现


4.1 官方TensorFlow实现

环境配置可以参考官方GitHub项目中的issue:file not found · Issue #4 · prometheusXN/LADAN:

image.png

安装可以参考我之前写的博文:TensorFlow安装教程

首先预处理CAIL数据,然后下载其他数据、Python包……等,然后运行训练代码。我现在跑出来了,细节略,以后补。


4.2 PyTorch复现

我需要写LJP主流方法用PyTorch实现的包,先把坑放在这里,以后写。

相关文章
|
10月前
|
机器学习/深度学习 存储 自然语言处理
《a gift from knowledge distillation》
翻译:《a gift from knowledge distillation》
|
1月前
|
机器学习/深度学习
大模型中的Scaling Law是什么?
【2月更文挑战第9天】大模型中的Scaling Law是什么?
3773 2
大模型中的Scaling Law是什么?
|
10月前
|
机器学习/深度学习 人工智能 自然语言处理
OneIE:A Joint Neural Model for Information Extraction with Global Features论文解读
大多数现有的用于信息抽取(IE)的联合神经网络模型使用局部任务特定的分类器来预测单个实例(例如,触发词,关系)的标签,而不管它们之间的交互。
126 0
|
机器学习/深度学习 移动开发 编解码
【论文阅读】A Three-Stage Self-Training Framework for Semi-Supervised Semantic Segmentation
【论文阅读】A Three-Stage Self-Training Framework for Semi-Supervised Semantic Segmentation
168 0
【论文阅读】A Three-Stage Self-Training Framework for Semi-Supervised Semantic Segmentation
|
机器学习/深度学习 自然语言处理 数据挖掘
Re7:读论文 FLA/MLAC/FactLaw Learning to Predict Charges for Criminal Cases with Legal Basis
Re7:读论文 FLA/MLAC/FactLaw Learning to Predict Charges for Criminal Cases with Legal Basis
Re7:读论文 FLA/MLAC/FactLaw Learning to Predict Charges for Criminal Cases with Legal Basis
|
机器学习/深度学习
Re16:读论文 ILDC for CJPE: Indian Legal Documents Corpus for Court Judgment Prediction and Explanation
Re16:读论文 ILDC for CJPE: Indian Legal Documents Corpus for Court Judgment Prediction and Explanation
Re16:读论文 ILDC for CJPE: Indian Legal Documents Corpus for Court Judgment Prediction and Explanation
|
机器学习/深度学习 算法 数据挖掘
Re17:读论文 Challenges for Information Extraction from Dialogue in Criminal Law
Re17:读论文 Challenges for Information Extraction from Dialogue in Criminal Law
Re17:读论文 Challenges for Information Extraction from Dialogue in Criminal Law
|
机器学习/深度学习 算法 数据挖掘
Re18:读论文 GCI Everything Has a Cause: Leveraging Causal Inference in Legal Text Analysis
Re18:读论文 GCI Everything Has a Cause: Leveraging Causal Inference in Legal Text Analysis
Re18:读论文 GCI Everything Has a Cause: Leveraging Causal Inference in Legal Text Analysis
|
自然语言处理
Re13:读论文 Gender and Racial Stereotype Detection in Legal Opinion Word Embeddings
Re13:读论文 Gender and Racial Stereotype Detection in Legal Opinion Word Embeddings
Re13:读论文 Gender and Racial Stereotype Detection in Legal Opinion Word Embeddings
|
机器学习/深度学习 自然语言处理 PyTorch
Re6:读论文 LeSICiN: A Heterogeneous Graph-based Approach for Automatic Legal Statute Identification fro
Re6:读论文 LeSICiN: A Heterogeneous Graph-based Approach for Automatic Legal Statute Identification fro
Re6:读论文 LeSICiN: A Heterogeneous Graph-based Approach for Automatic Legal Statute Identification fro