用大模型做法律条文检索,怎么避免张冠李戴:一套可落地的校验流程
把法律条文、案例、规范性文件放进向量库,再用大模型做检索问答,是很多法律科技产品的常见做法。这套方案上手快,但也有一个绕不开的问题:模型会"一本正经地说错"。它可能把某个条款的适用范围说错,或者把已经失效的旧条文当成现行规定。本文讲一套工程上可落地的校验流程,把这类错误挡在用户看到之前。
一、先认清错误从哪里来
法律检索场景里的模型错误,通常有三类来源。
第一类是检索召回不准。用户问的是甲问题,向量检索召回的是乙条款的片段,模型基于错误材料回答,自然出错。这一环节的问题出在检索,不在生成。
第二类是模型生成时的自由发挥。即使召回正确,模型在组织语言时也可能添油加醋,把没查到的内容补上,或者把两个条款揉在一起。这就是常说的幻觉。
第三类是语料本身过期。法律条文会修订、会被新规替代。如果库里存的是旧版本,检索再准、生成再稳,答案依然是错的。这一类最隐蔽,因为它看起来毫无破绽。
二、语料层:给每条数据打上时间和状态
很多团队把全文丢进向量库就完事,这是后续所有错误的源头。入库时至少要为每条语料记录几个结构化字段:文件名称、条文编号、发布机关、生效日期、时效状态(现行、已废止、已修订)、来源链接。
有了这些字段,检索之后就能先做一道过滤:只保留当前有效、且与问题所处法律辖区相符的条文。废止的旧条文即使向量相似度很高,也应该在进入生成环节前被剔除。
语料更新也要有机制。法规修订后,及时把旧版本下架、新版本入库,并在版本号上做区分。别让两个版本的同一条文同时躺在库里。
三、检索层:让模型看到出处,而不是裸片段
检索返回的结果,不要只把正文片段塞给模型。应当把结构化的元信息一起送进去,让模型知道这段话出自哪部法律、第几条、什么时候生效。
一个实用的做法是要求检索阶段返回 top N 个候选片段,并记录每个片段的相似度得分。如果排第一的片段和排第二的得分非常接近,说明模型自己也"没把握",这种情况应当触发人工复核或换一种提问方式,而不是直接生成答案。
四、生成层:用提示词约束,把引用钉死
提示词层面可以加几道约束,显著降低自由发挥的概率。
第一,明确要求只能依据提供的参考材料回答,材料里没有的内容不许补充。第二,要求每个结论后面标注引用的文件名和条文编号,形如"依据某某法第几条"。第三,如果参考材料不足以回答,直接输出"现有材料无法回答该问题",不要猜。第四,禁止对条文的适用范围做扩展解释,只做原文转述。
这套提示词的关键,是把"引用出处"变成硬性输出格式。这样即使模型想自由发挥,也会在格式约束下露出破绽,便于后续校验。
五、校验层:拿到答案后再过一遍
生成之后不要直接返回给用户,再加一道程序化校验。
检查一:答案里引用的文件名和条文编号,是否存在于检索返回的参考材料里。引用了不存在的条文,直接拦截。
检查二:把答案里引用的条文编号,回查语料库中的时效状态。引用了已废止条文的,标注提示或拦截。
检查三:对比答案中的关键表述与原文片段。如果答案出现了原文里完全没有的数字、期限、主体,视为高风险输出,转人工。
这三步都不需要模型参与,用规则就能实现,成本很低,却能拦住大部分硬伤。
六、留一条人工复核的通道
再完善的流程也做不到零错误。对法律这类高风险领域,产品上应当保留人工复核的通道:在答案旁标注"由大模型生成,仅供参考",提供参考原文的链接让用户自行核对,对复杂问题提供转人工的入口。
把校验流程做成工程闭环,而不是寄希望于模型更聪明,这才是法律检索产品靠谱的做法。模型负责提效,规则负责兜底,两者配合才能既快又稳。
本文仅供技术同行参考,不构成针对具体情形的法律意见。
配图:由AI生成