Re21:读论文 MSJudge Legal Judgment Prediction with Multi-Stage Case Representation Learning in the Real

简介: Re21:读论文 MSJudge Legal Judgment Prediction with Multi-Stage Case Representation Learning in the Real

1. Background


case life-cycle information

image.png

image.png

难点:

  1. 不同角色的词汇空间可能都不一样,传统NLP算法很难整(consume)这个。
  2. 当事人陈述与最后判决识别的事实之间的gap。


2. 模型MSJudge


多任务

MSJudge:同时从court debate中识别legal facts和预测每个claim的judgment result

image.png

(这里面的抽取的事实部分我是有点好奇,可以用最后判决书里的事实描述文本来做teacher forcing吗?)


可视化components( “debate and fact”, “fact and claim” and “across claims”)之间的互相影响


Multi-Stage Context Encoding:模仿法官理解court debate和pre-trial claims

Debate Utterance Encoder:word embedding + role embedding(随机初始化,联合训练)→Bi-LSTM+attention→utterance embedding

Debate Dialogue encoder:Bi-LSTM,建模得到utterance的全局表征

Pre-trial Claim Encoder:Bi-LSTM+attention(debate和claim共享词嵌入矩阵)

Multi-Stage Content Interaction:建模debates和claims、facts和claims、claims之间的关联,加强claim表征

     Debate-to-Claim

     Debate-to-Fact

     Fact-to-Claim

     Fusion

     Across-Claim

Fact Recognition and Judgment Prediction


3. 实验


  1. word embeddings (skip-gram) and role embeddings维度:300

Bi-LSTM隐藏层维度:256

Adam 学习率0.001

batch size 16

dropout rate 0.8

  1. grid search tuning method and cross-validation
  2. 把每个claim加上所有debate然后做预测


其他略,待补。

相关文章
|
数据挖掘
【提示学习】Automatic Multi-Label Prompting: Simple and Interpretable Few-Shot Classification
文章提出了一种简单确高效地构建verbalization的方法:
|
数据挖掘
【提示学习】Prompt Tuning for Multi-Label Text Classification: How to Link Exercises to Knowledge Concept
文章这里使用的是BCEWithLogitsLoss,它适用于多标签分类。即:把[MASK]位置预测到的词表的值进行sigmoid,取指定阈值以上的标签,然后算损失。
|
机器学习/深度学习 自然语言处理 数据挖掘
UnifiedEAE: A Multi-Format Transfer Learning Model for Event Argument Extraction via Variational论文解读
事件论元抽取(Event argument extraction, EAE)旨在从文本中抽取具有特定角色的论元,在自然语言处理中已被广泛研究。
88 0
|
数据挖掘
MUSIED: A Benchmark for Event Detection from Multi-Source Heterogeneous Informal Texts 论文解读
事件检测(ED)从非结构化文本中识别和分类事件触发词,作为信息抽取的基本任务。尽管在过去几年中取得了显著进展
66 0
|
机器学习/深度学习 自然语言处理 算法
Joint Information Extraction with Cross-Task and Cross-Instance High-Order Modeling 论文解读
先前的信息抽取(IE)工作通常独立地预测不同的任务和实例(例如,事件触发词、实体、角色、关系),而忽略了它们的相互作用,导致模型效率低下。
95 0
|
机器学习/深度学习 存储 数据挖掘
Global Constraints with Prompting for Zero-Shot Event Argument Classification 论文解读
确定事件论元的角色是事件抽取的关键子任务。大多数以前的监督模型都利用了昂贵的标注,这对于开放域应用程序是不实际的。
72 0
|
机器学习/深度学习 自然语言处理 算法
TPLinker: Single-stage Joint Extraction of Entities and Relations Through Token Pair Linking 论文解读
近年来,从非结构化文本中提取实体和关系引起了越来越多的关注,但由于识别共享实体的重叠关系存在内在困难,因此仍然具有挑战性。先前的研究表明,联合学习可以显著提高性能。然而,它们通常涉及连续的相互关联的步骤,并存在暴露偏差的问题。
216 0
|
自然语言处理 算法 知识图谱
DEGREE: A Data-Efficient Generation-Based Event Extraction Model论文解读
事件抽取需要专家进行高质量的人工标注,这通常很昂贵。因此,学习一个仅用少数标记示例就能训练的数据高效事件抽取模型已成为一个至关重要的挑战。
152 0
|
机器学习/深度学习 算法 数据挖掘
【多标签文本分类】Improved Neural Network-based Multi-label Classification with Better Initialization ……
【多标签文本分类】Improved Neural Network-based Multi-label Classification with Better Initialization ……
127 0
【多标签文本分类】Improved Neural Network-based Multi-label Classification with Better Initialization ……
《Investigation of Transformer based Spelling Correction Model for CTC-based End-to-End Mandarin Speech Recognition》电子版地址
Investigation of Transformer based Spelling Correction Model for CTC-based End-to-End Mandarin Speech Recognition
95 0
《Investigation of Transformer based Spelling Correction Model for CTC-based End-to-End Mandarin Speech Recognition》电子版地址