Re21:读论文 MSJudge Legal Judgment Prediction with Multi-Stage Case Representation Learning in the Real

简介: Re21:读论文 MSJudge Legal Judgment Prediction with Multi-Stage Case Representation Learning in the Real

1. Background


case life-cycle information

image.png

image.png

难点:

  1. 不同角色的词汇空间可能都不一样,传统NLP算法很难整(consume)这个。
  2. 当事人陈述与最后判决识别的事实之间的gap。


2. 模型MSJudge


多任务

MSJudge:同时从court debate中识别legal facts和预测每个claim的judgment result

image.png

(这里面的抽取的事实部分我是有点好奇,可以用最后判决书里的事实描述文本来做teacher forcing吗?)


可视化components( “debate and fact”, “fact and claim” and “across claims”)之间的互相影响


Multi-Stage Context Encoding:模仿法官理解court debate和pre-trial claims

Debate Utterance Encoder:word embedding + role embedding(随机初始化,联合训练)→Bi-LSTM+attention→utterance embedding

Debate Dialogue encoder:Bi-LSTM,建模得到utterance的全局表征

Pre-trial Claim Encoder:Bi-LSTM+attention(debate和claim共享词嵌入矩阵)

Multi-Stage Content Interaction:建模debates和claims、facts和claims、claims之间的关联,加强claim表征

     Debate-to-Claim

     Debate-to-Fact

     Fact-to-Claim

     Fusion

     Across-Claim

Fact Recognition and Judgment Prediction


3. 实验


  1. word embeddings (skip-gram) and role embeddings维度:300

Bi-LSTM隐藏层维度:256

Adam 学习率0.001

batch size 16

dropout rate 0.8

  1. grid search tuning method and cross-validation
  2. 把每个claim加上所有debate然后做预测


其他略,待补。

相关文章
|
8月前
|
数据挖掘
【提示学习】Automatic Multi-Label Prompting: Simple and Interpretable Few-Shot Classification
文章提出了一种简单确高效地构建verbalization的方法:
|
8月前
|
数据挖掘
【提示学习】Prompt Tuning for Multi-Label Text Classification: How to Link Exercises to Knowledge Concept
文章这里使用的是BCEWithLogitsLoss,它适用于多标签分类。即:把[MASK]位置预测到的词表的值进行sigmoid,取指定阈值以上的标签,然后算损失。
|
10月前
|
机器学习/深度学习 自然语言处理 数据挖掘
UnifiedEAE: A Multi-Format Transfer Learning Model for Event Argument Extraction via Variational论文解读
事件论元抽取(Event argument extraction, EAE)旨在从文本中抽取具有特定角色的论元,在自然语言处理中已被广泛研究。
56 0
|
10月前
|
机器学习/深度学习 自然语言处理 算法
Joint Information Extraction with Cross-Task and Cross-Instance High-Order Modeling 论文解读
先前的信息抽取(IE)工作通常独立地预测不同的任务和实例(例如,事件触发词、实体、角色、关系),而忽略了它们的相互作用,导致模型效率低下。
65 0
|
10月前
|
自然语言处理 算法 知识图谱
DEGREE: A Data-Efficient Generation-Based Event Extraction Model论文解读
事件抽取需要专家进行高质量的人工标注,这通常很昂贵。因此,学习一个仅用少数标记示例就能训练的数据高效事件抽取模型已成为一个至关重要的挑战。
81 0
|
10月前
|
数据挖掘
MUSIED: A Benchmark for Event Detection from Multi-Source Heterogeneous Informal Texts 论文解读
事件检测(ED)从非结构化文本中识别和分类事件触发词,作为信息抽取的基本任务。尽管在过去几年中取得了显著进展
47 0
|
10月前
|
机器学习/深度学习 自然语言处理 算法
TPLinker: Single-stage Joint Extraction of Entities and Relations Through Token Pair Linking 论文解读
近年来,从非结构化文本中提取实体和关系引起了越来越多的关注,但由于识别共享实体的重叠关系存在内在困难,因此仍然具有挑战性。先前的研究表明,联合学习可以显著提高性能。然而,它们通常涉及连续的相互关联的步骤,并存在暴露偏差的问题。
137 0
|
10月前
|
机器学习/深度学习 自然语言处理 算法
SS-AGA:Multilingual Knowledge Graph Completion with Self-Supervised Adaptive Graph Alignment 论文解读
预测知识图(KG)中缺失的事实是至关重要的,因为现代知识图远未补全。由于劳动密集型的人类标签,当处理以各种语言表示的知识时,这种现象会恶化。
67 0
|
机器学习/深度学习 算法 数据挖掘
【多标签文本分类】Improved Neural Network-based Multi-label Classification with Better Initialization ……
【多标签文本分类】Improved Neural Network-based Multi-label Classification with Better Initialization ……
【多标签文本分类】Improved Neural Network-based Multi-label Classification with Better Initialization ……
|
机器学习/深度学习 编解码 固态存储
Single Shot MultiBox Detector论文翻译【修改】
Single Shot MultiBox Detector论文翻译【修改】
84 0
Single Shot MultiBox Detector论文翻译【修改】