1. Background & Motivation

截断任务是为了平衡检索模型的表现力和效率。

案例检索任务查看排序列表中的内容比一般检索任务更费力，因为1. 用户倾向于检查更多搜索引擎返回的结果，以获取充分信息，统计信息见下图。2. 法律文书更长、更难读。

因此在案例检索任务中做截断是有意义的。

以前的截断模型主要关注传统ad-hoc检索任务traditional ad-hoc retrieval tasks1，仅使用排序分数和简单的文档特征（如文档长度、术语频率）为输入，忽略了建模过程中的高级文档语义。

LeCut则利用了检索任务中的隐藏层特征作为额外信息，用平行框架处理检索特征，以识别文档和排序列表级别的query-文档相似性。然后用RNN+Transformer层+positional embeddings捕获排序列表的序列依赖。

LeCut是第一个利用检索模型中语义特征和上下文信息的截断模型。

检索任务和截断任务都关注识别相似文档，因此彼此收集到的信息互有裨益。因此本文提出了JOTR框架联合优化这两个模型，分别用输出作为对方任务的新特征。为了将LeCut信息应用到法律检索模型上，用映射函数将LeCut原始输出转换为合理的截断特征，以加强检索任务。

本文通过改进已有指标构建了新的评估指标。

2. 模型介绍

c _i 表示在位置 i 截断排序列表的概率。

2.1 LeCut

2.1.1 Feature Preparation

从query-文档对中抽取输入特征。

以前的方法大多用相似度和文档统计特征。

而LeCut抽取：相似度得分，文档统计特征（文档长度+相邻文档的TFIDF相似度），检索任务中句子级别的嵌入。

这个TFIDF是用所有candidates作为语料，然后计算每个candidate的相似度（二维向量）：

（第一个和最后一个的开头和结尾都是1，感觉有哪里怪怪的）

除固定的文档统计信息外，queries-candidates对之间的动态信息也可能有效。

用在检索数据集上用NSP任务微调过的Transformer，喂query-candidate对，用最后一层隐藏层表征作为句子级别的嵌入。

2.1.2 Truncation Model

1. Input Layer

• 输入：相似度得分 r _i ，文档统计特征 d _i  ，句子级别的嵌入 s _i
• 为了利用排序列表中的 list-wise relations

• 排行更高的文档应该有更多attention。

2. Encoding Layer：利用序列依赖

（d _i 有3维）

3. Attention Layer

用Transformer encoder表示排序列表中的文档嵌入。用其多头注意力机制捕获文档间的长距上下文信息。

用可学习的additional positional embeddings p pp（用于区分不同位置的文档） 替换原始的sinusoidal positional values

4. Decision Layer

DCG是一种搜索引擎算法的衡量指标可以直接参考百度百科：DCG_百度百科

在损失函数里怎么加这种离散指标我也很震惊

（y _i 是文档i 的相似度标签）

2.2 JOTR

先纯排序，然后结合截断信息重新检索。

直接结合c 进来可能会导致效果变差，因为c 和r 分布不一致。因此本文提出映射函数ξ ，对齐c _i 和r _i ：

3种映射函数：

（原理没仔细看，略）

迭代到指标稳定。

3. 实验

3.1 数据集

1. LeCaRD
2. CAIL2021-LCR
3. COIEE2021-T1

3.2 baseline

1. Fixed-k
2. Greedy
3. BiCut
4. Choppy
5. AttnCut2
6. Oracle

3.3 实验设置

用于生成排序列表的神经网络检索模型：

1. BERT
2. RoBERTa
3. Lawformer LFM
4. BERT-Crime

其他配置细节略。

3.4 实验结果

指标：

检索任务：NDCG@k

截断任务：F1, DCG, and Negative Cumulative Impact (NCI)

（理由略）

3.5 模型分析

4. 代码复现

待补。