RAG - 拒识模块

简介: 在RAG(Retrieval-Augmented Generation)模型中,拒识模块(或称为拒绝模块,Reject Module)是一个重要的组成部分,旨在提高生成模型在面对不相关查询或信息时的鲁棒性。RAG模型结合了检索和生成两种能力,通过在生成过程中引入外部文档来增强生成的质量和准确性。

官话

在RAG(Retrieval-Augmented Generation)模型中,拒识模块(或称为拒绝模块,Reject Module)是一个重要的组成部分,旨在提高生成模型在面对不相关查询或信息时的鲁棒性。RAG模型结合了检索和生成两种能力,通过在生成过程中引入外部文档来增强生成的质量和准确性。

人话

一个简单的case:你做一个客户AI,问你一些反动问题,性别歧视问题,我们是应该拒绝的。

主要作用和功能

  1. 过滤无关信息:拒识模块的一个主要功能是判别检索到的信息是否相关。当接收到查询时,模型首先检索相关的外部文档。如果找到的信息与查询无关或不合适,拒识模块会将这些信息排除,确保只有相关信息用于后续的生成步骤。
  2. 提高生成质量:通过排除不相关或低质量的信息,拒识模块帮助生成模型更专注于确切和相关的知识,从而提升生成内容的准确性和有用性。
  3. 降低生成错误的信息:拒识模块能够减少错误生成(hallucination)现象的发生。错误生成是指模型基于不准确或不相关的信息生成结果,拒识模块通过过滤来控制这一问题。

简单实现

假设你【xx茶叶】的检索助手,需要你帮助用户回答一些茶叶的售前和售后中的问题,需要你从用户的对话中提取出用户的检索 query 进行搜索。如果用户的问题和【茶叶】无关,你可以不进行提取;如何和【茶叶】相关,search 为 true;如果用户的问题为打招呼或者咨询茶叶相关的问题,chat 为 true;如果为闲聊,但是和茶叶无关,chat 为 false。只对用户的最后一句话进行判断,下面是一个案例:

user:你好
assistant:你好,有什么可以帮助你
user:铁观音多少钱一斤

提取结果为 {"query":"铁观音价格","search":true,"chat":true}
目录
相关文章
|
11月前
|
缓存 自然语言处理 算法
大模型意图识别工程化实践
本文重点介绍大模型意图识别能力在智能电视核心链路中的落地过程和思考,对比了基础模型、RAG 、以及7b模型微调三种方案的优缺点。
5037 122
|
11月前
|
存储 缓存 自然语言处理
浏览量超 10w 的热图,描述 RAG 的主流架构
大模型性能的持续提升,进一步挖掘了 RAG 的潜力,RAG 将检索系统与生成模型相结合,带来诸多优势,如实时更新知识、降低成本等。点击本文,为您梳理 RAG 的基本信息,并介绍提升大模型生成结果的方法,快一起看看吧~
1423 104
|
存储 人工智能 自然语言处理
AI 工程学习 - 三张图说明白什么是 RAG
RAG(检索增强生成)是一种结合信息检索和生成模型的自然语言处理框架,通过引入外部知识库(如文档库、数据库等),增强生成模型的回答准确性与相关性。其核心在于避免模型仅依赖训练数据产生不准确或“幻觉”内容,而是通过实时检索外部资料,确保回答更精准、丰富且上下文相关。RAG的实现包括建立索引(清洗、分割、嵌入存储)和检索生成(计算相似度、选择最优片段、整合提示词模板提交给大模型)。
2492 0
|
6月前
|
存储 人工智能 机器人
让大语言模型在不知道答案时拒绝回答:KnowOrNot框架防止AI幻觉
在政府AI服务中,如何让系统在知识不足时恰当拒绝回答而非生成错误信息是一大挑战。KnowOrNot框架通过构建“知识库外”测试场景,评估AI是否能识别知识边界并合理拒答,从而提升AI服务的可靠性与安全性。
445 0
让大语言模型在不知道答案时拒绝回答:KnowOrNot框架防止AI幻觉
|
8月前
|
测试技术 API 人机交互
如何让 Agent 规划调用工具
本文主要从规划的重要性、工具设计的作用、优化实践、适用场景几个方面讲述在构建多工具智能体(Agent)系统时,通过引入结构化的“思考与规划”工具和合理的提示工程,能够显著提升模型解决问题的效率和效果。
1318 26
如何让 Agent 规划调用工具
|
人工智能 JSON API
阿里云文档智能 & RAG解决方案:提升AI大模型业务理解与应用
阿里云推出的文档智能 & RAG解决方案,旨在通过先进的文档解析技术和检索增强生成(RAG)方法,显著提升人工智能大模型在业务场景中的应用效果。该方案通过文档智能(Document Mind)技术将非结构化文档内容转换为结构化数据,提取文档的层级树、样式和版面信息,并输出为Markdown和Json格式,为RAG提供语义分块策略。这一过程不仅解决了文档内容解析错误和切块丢失语义信息的问题,还优化了输出LLM友好的Markdown信息。方案的优势在于其多格式支持能力,能够处理包括Office文档、PDF、Html、图片在内的主流文件类型,返回文档的样式、版面信息和层级树结构。
651 2
|
11月前
|
人工智能 自然语言处理 搜索推荐
浙大通义联手推出慢思考长文本生成框架OmniThink,让AI写作突破知识边界
随着大模型(LLMs)的发展,AI 写作取得了较大进展。然而,现有的方法大多依赖检索知识增强生成(RAG)和角色扮演等技术,其在信息的深度挖掘方面仍存在不足,较难突破已有知识边界,导致生成的内容缺乏深度和原创性。
598 46
|
关系型数据库 OLAP API
非“典型”向量数据库AnalyticDB PostgreSQL及RAG服务实践
本文介绍了非“典型”向量数据库AnalyticDB PostgreSQL及其RAG(检索增强生成)服务的实践应用。 AnalyticDB PostgreSQL不仅具备强大的数据分析能力,还支持向量查询、全文检索和结构化查询的融合,帮助企业高效构建和管理知识库。
730 19
|
10月前
|
自然语言处理 搜索推荐 数据挖掘
阿里通义等提出Chronos:慢思考RAG技术助力新闻时间线总结
阿里通义等提出Chronos:慢思考RAG技术助力新闻时间线总结
514 0