AI 工程学习 - 三张图说明白什么是 RAG

简介: RAG(检索增强生成)是一种结合信息检索和生成模型的自然语言处理框架,通过引入外部知识库(如文档库、数据库等),增强生成模型的回答准确性与相关性。其核心在于避免模型仅依赖训练数据产生不准确或“幻觉”内容,而是通过实时检索外部资料,确保回答更精准、丰富且上下文相关。RAG的实现包括建立索引(清洗、分割、嵌入存储)和检索生成(计算相似度、选择最优片段、整合提示词模板提交给大模型)。

什么是 RAG

这篇文章循序渐进讲得很清楚,建议学习阿里云大模型工程师ACA认证免费课程 - 什么是RAG 摘取其中几张图片,作简要说明。

官话

RAG(Retrieval-Augmented Generation,检索增强生成)是一种结合了信息检索和生成模型的自然语言处理框架。它通过引入外部知识库(如文档库、数据库等)来增强生成模型,从而提高回答的准确性和相关性。

RAG 的核心思想是,单纯依靠生成模型进行语言生成时,模型只能基于其训练时获得的知识进行回答,可能会出现不准确或“幻觉”的生成。通过引入检索机制,RAG 模型能够在生成的过程中访问外部信息,从而生成更加准确、丰富且上下文相关的回答。

大白话

大模型,好比通过预制的资料搜索,回答
image.png
RAG,根据用户特定问题的特定资料,优先使用它的资料,大模型内置的资料可能 out 了,或者不准确。
image.png

第一种方案的知识库,可以理解是公司统一配置的知识库;第二种方案中,每个团队或者用户还可以根据自己的需要来增加私域定制化知识库。显然,第二种系统更灵活,不需要复杂的操作就能补充了业务知识。但总体来看,这两个系统都是通过知识库来增强导游助理的能力,减少“幻觉”回答的情况(即导游助理不是编造一个像模像样的地址,而是按照已有知识来回答)。这就是我们即将介绍的检索增强生成(Retrieval Augmented Generation)。
检索增强生成包括三个步骤,建立索引、检索、生成。如果说大模型导游助理是一位志愿者,那么我们给志愿者们准备“志愿者手册”的过程就是建立知识库索引,志愿者查看资料就是系统在检索知识库,志愿者基于检索到的资料充分思考并回答用户的问题就是生成答案。

RAG的实现原理

image.png

如图所示,RAG主要由两个部分构成:
建立索引:首先要清洗和提取原始数据,将 PDF、Docx等不同格式的文件解析为纯文本数据;然后将文本数据分割成更小的片段(chunk);最后将这些片段经过嵌入模型转换成向量数据(此过程叫做embedding),并将原始语料块和嵌入向量以键值对形式存储到向量数据库中,以便进行后续快速且频繁的搜索。这就是建立索引的过程。
检索生成:系统会获取到用户输入,随后计算出用户的问题与向量数据库中的文档块之间的相似度,选择相似度最高的K个文档块(K值可以自己设置)作为回答当前问题的知识。知识与问题会合并到提示词模板中提交给大模型,大模型给出回复。这就是检索生成的过程。

如何持续改进RAG应用效果

BERT文本分割-中文-通用领域

这个话题有点大,我慢慢消化

目录
相关文章
|
5月前
|
存储 人工智能 NoSQL
AI大模型应用实践 八:如何通过RAG数据库实现大模型的私有化定制与优化
RAG技术通过融合外部知识库与大模型,实现知识动态更新与私有化定制,解决大模型知识固化、幻觉及数据安全难题。本文详解RAG原理、数据库选型(向量库、图库、知识图谱、混合架构)及应用场景,助力企业高效构建安全、可解释的智能系统。
|
5月前
|
存储 人工智能 Java
AI 超级智能体全栈项目阶段四:学术分析 AI 项目 RAG 落地指南:基于 Spring AI 的本地与阿里云知识库实践
本文介绍RAG(检索增强生成)技术,结合Spring AI与本地及云知识库实现学术分析AI应用,利用阿里云Qwen-Plus模型提升回答准确性与可信度。
1701 90
AI 超级智能体全栈项目阶段四:学术分析 AI 项目 RAG 落地指南:基于 Spring AI 的本地与阿里云知识库实践
|
5月前
|
人工智能 自然语言处理 数据挖掘
从幻觉到精准:RAG如何重塑AI对话的可靠性
从幻觉到精准:RAG如何重塑AI对话的可靠性
440 111
|
5月前
|
人工智能 量子技术
超越炒作:提示工程——与AI对话的艺术
超越炒作:提示工程——与AI对话的艺术
325 96
|
5月前
|
人工智能 架构师 数据挖掘
提示工程:与你AI对话的“超能力”
提示工程:与你AI对话的“超能力”
339 93
|
6月前
|
人工智能 自然语言处理 数据库
超越传统搜索:RAG如何让AI更懂你
超越传统搜索:RAG如何让AI更懂你
654 109
|
6月前
|
人工智能 自然语言处理 数据库
超越关键词搜索:RAG如何让AI真正“理解”你的问题
超越关键词搜索:RAG如何让AI真正“理解”你的问题
327 102
|
6月前
|
人工智能 JSON 机器人
超越简单指令:解锁AI潜力的提示工程艺术
超越简单指令:解锁AI潜力的提示工程艺术
343 106
|
6月前
|
人工智能 自然语言处理 搜索推荐
超越幻觉:RAG如何为AI大模型注入“真实”的灵魂
超越幻觉:RAG如何为AI大模型注入“真实”的灵魂
337 81