AI大模型企业应用实战-“消灭”LLM幻觉的利器 - RAG介绍

本文涉及的产品
多模态交互后付费免费试用,全链路、全Agent
简介: 【8月更文挑战第12天】

大模型一定程度改变了我们生活工作的思考方式,越来越多的个人和企业在思考如何将大模型应用到更加实际的生产生活。

1 LLM的问题

1.1 幻觉

LLM因为是一个预训练模型,它已有一些知识储备,我们提的问题跟他的知识储备不相符时,会产生一些幻觉问题,看上去正确的回答。

1.2 新鲜度

LLM预训练出来之后,不能感知到我们实时更新的工业数据,还有企业内部的一些私域数据。

1.3 数据安全

LLM训练依赖很多训练数据集,然后为了保证大语言模型的效果更好,训练集的质量及数据量越多,对LLM的训练最终效果更好,但又期望LLM帮解决一些垂类问题,又希望在数据安全有些防范,如企业内部敏感数据不能暴露出去,让公有的LLM去进行训练。

2 RAG是啥?

为解决LLM刚提到问题,提出RAG,将企业内部私域数据及实时更新的一些公域数据,通过一些处理后,变成可进行相似性搜索的向量数据,然后存储到向量数据库。

和LLM交互时,用户提问。先在我们的相同数据库中进行相似性检索,检索与提问相关的知识内容,检索后交给LLM,连同用户的提问一起让 LLM 去生成回复。

RAG帮助我们个人及用户去把企业内部的一些知识数据,很快构建出一个庞大知识库,然后结合目前已有LLM能力,可快速制作智能问答机器人应用。

小结

为LLM提供来自外部知识源的额外信息的概念。这允许它们生成更准确和有上下文的答案,同时减少幻觉

  • 检索:外部相似搜索
  • 增强:提示词更新
  • 生成:更详细的提示词输入LLM

2 RAG应用咋构建?

使用到RAG的这条链路之后,用户先去构建好的知识库,即向量数据库里进行相似性检索,再带出一部分的知识知识文档。这部分知识文档会跟用户的query结合。

然后通过prompt技术组装成一个最终完成的一个输入给到LLM,让LLM回复。

最关键就是知识库生成这步,因为主要涉及把我们的知识文档去做内容提取及拆分。还要进行量化,入库。

2.1 RAG步骤

  1. 知识切片成Chunk

  2. 向量化Chunk入库

    前两步都是去知识库生成。

  3. Query检索知识Chunk

  4. 构建Prompts

  5. 调用LLM生成回答

    后三步都是知识库生成后,在检索方面需要做的。

2.2 基于Langchain构建 RAG 应用

Langchain中RAG的实现:

各种文档 - 各种 loader - 文本切片 - 嵌入向量化 - 向量存储 - 各种检索链。

设计思想

把那五步拆成不同组件,然后由不同节点做相应处理。让用户去编写自己的业务逻辑的代码,然后把这整个过程串起。

优势

  • 可快速构建一个demo,帮助开发者去理解RAG应用
  • 庞大社区支持,如一些插件或它的一个版本更新迭代都很快

痛点

本质上通用性很强。为保证强通用性,效果层面不一定做到最好,需企业或个人投入较大精力,把整体的RAG在召回层的效果提升到最佳。

3 bad case

构建整个RAG应用过程中会遇到的一些问题和解决方案。

3.1 拒答

用户提问:请问A产品分析报告多久分析一次?

召回的相关知识:A产品的分析报告信息近30天的数据分析结果。

原因是我们用户的问题,在相关知识中没明确提到,只是有一定相似度。但跟我们用户问题不直接相关。这样的相关知识以及用户的问题。组装后交给LLM回答,本质上是人为制造干扰。

对此,有个工程化实践叫拒答。

3.2 消歧

提问:A课程适合多大年龄小孩。

知识库召回两条数据,其中一条是期望的一个知识,就在A课程文档。会有一段话跟提问相关,但还会召回其他的一个干扰知识。如其他文档里一些内容,像该课程适合3到7岁的小孩,适合6到8岁的女孩。这种知识内容也会被召回。

期望的召回内容携带一部分干扰信息,这干扰信息没有A课程这个关键字,然后也不会召回。在这两个知识内容交给大源模型处理,他也无法理解哪个字内容正确。

更希望在召回层,就有较好手段处理。工程化实践里,会对用户进行改写,增强query的一个效果。

也用到类似BM25这种倒排索引,提升关键字的权重。如干扰知识里没生成这个关键字,其相似度分数较低,就不会召回。

3.3 分类

可能有用户的提问类似:服务器连接不上,应当如何解决?

现在给知识库里面注入的文档,都是类似连接服务器应该有哪些步骤。

将这些知识内容召回,交给LLM也能引导用户。但不能直切要害,用户更希望,我现在连接不上,有啥排查手段。更好的还是通过提供一些专门QA文档,增强整个知识召回内容准确性。

用户可能问一些跟他实例相关的问题。如CPU占用变高或内存变高,实际响应可能是技术支持文档里的一些处理方案,就是我现在内存变更咋处理。但用户想知道为啥变高。有一个意图识别模型,判断用户他想要的问题具体是一个什么类的,需不需要用到RAG,也会判断他是否需要用到诊断引擎。类似问题2,需要用到诊断引擎,那我们会调用其他RAG无关的诊断相关技术为用户排查问题,并且给用户反馈一个结果。

4 咋提升RAG应用效果?

$$ 整体效果 = 文档处理效果 * Embedding效果 * Retrieval效果 * LLM效果 $$
demo易,但上手难,主要因为LangChain、LLamIndex框架盛行。很快接入就是初级的一个状态,可能只做到35%。

想提高整体一个准确率,在拆分那儿会拆更合理、提取内容时,把整个内容提取更好。做向量化时,去选择我们的向量,更好的一个embedding模型。

最终跟LLM交流时,选择效果更好的LLM,然后把这效果给提升到更高。

但60%的准确率还是达不到生产期望。希望准确率90%,在RAG应用构建各阶段,都有很多工程化手段。

目前RAG整体应用在界内的比较关注的一个地方就是在召回。因为涉及知识文档,思考方向:

  • 优先保护保证这个召回率
  • 优先保证这个精度

RAG召回是希望获得更多和用户提问相关的知识内容,还是说我只需要更关键的知识内容排在最顶。某云厂商相关数据库AI套件选择前路,期望召回更多跟用户相关的提问的内容。

精度尽量保证召回内容在top3、top5位置出现,因为召回的一些内容确实有一部分干扰信息。但目前LLM能力尚可,对这种干扰性信息的排除能力较好。

相关实践学习
AnalyticDB PostgreSQL 企业智能数据中台:一站式管理数据服务资产
企业在数据仓库之上可构建丰富的数据服务用以支持数据应用及业务场景;ADB PG推出全新企业智能数据平台,用以帮助用户一站式的管理企业数据服务资产,包括创建, 管理,探索, 监控等; 助力企业在现有平台之上快速构建起数据服务资产体系
目录
相关文章
|
3天前
|
人工智能 数据库 索引
超越幻觉:检索增强生成如何为AI大模型“装上”事实核查系统
超越幻觉:检索增强生成如何为AI大模型“装上”事实核查系统
156 107
|
3天前
|
人工智能 自然语言处理 NoSQL
超越基础提示:用RAG为你的大模型注入“新鲜记忆”
超越基础提示:用RAG为你的大模型注入“新鲜记忆”
164 101
|
10天前
|
人工智能 自然语言处理 API
快速集成GPT-4o:下一代多模态AI实战指南
快速集成GPT-4o:下一代多模态AI实战指南
194 101
|
10天前
|
存储 人工智能 自然语言处理
RAG:增强大模型知识库的新范式
RAG:增强大模型知识库的新范式
314 99
|
2天前
|
人工智能 Java API
AI 超级智能体全栈项目阶段一:AI大模型概述、选型、项目初始化以及基于阿里云灵积模型 Qwen-Plus实现模型接入四种方式(SDK/HTTP/SpringAI/langchain4j)
本文介绍AI大模型的核心概念、分类及开发者学习路径,重点讲解如何选择与接入大模型。项目基于Spring Boot,使用阿里云灵积模型(Qwen-Plus),对比SDK、HTTP、Spring AI和LangChain4j四种接入方式,助力开发者高效构建AI应用。
74 4
AI 超级智能体全栈项目阶段一:AI大模型概述、选型、项目初始化以及基于阿里云灵积模型 Qwen-Plus实现模型接入四种方式(SDK/HTTP/SpringAI/langchain4j)
|
2天前
|
数据采集 人工智能 文字识别
从CLIP到GPT-4V:多模态RAG背后的技术架构全揭秘
本文深入解析多模态RAG技术,涵盖其基本原理、核心组件与实践路径。通过整合文本、图像、音频等多源信息,实现跨模态检索与生成,拓展AI应用边界。内容详实,建议收藏学习。
35 2
从CLIP到GPT-4V:多模态RAG背后的技术架构全揭秘
|
7天前
|
人工智能 Java API
Java与大模型集成实战:构建智能Java应用的新范式
随着大型语言模型(LLM)的API化,将其强大的自然语言处理能力集成到现有Java应用中已成为提升应用智能水平的关键路径。本文旨在为Java开发者提供一份实用的集成指南。我们将深入探讨如何使用Spring Boot 3框架,通过HTTP客户端与OpenAI GPT(或兼容API)进行高效、安全的交互。内容涵盖项目依赖配置、异步非阻塞的API调用、请求与响应的结构化处理、异常管理以及一些面向生产环境的最佳实践,并附带完整的代码示例,助您快速将AI能力融入Java生态。
102 12
|
3天前
|
设计模式 人工智能 API
AI智能体开发实战:17种核心架构模式详解与Python代码实现
本文系统解析17种智能体架构设计模式,涵盖多智能体协作、思维树、反思优化与工具调用等核心范式,结合LangChain与LangGraph实现代码工作流,并通过真实案例验证效果,助力构建高效AI系统。
72 7
|
3天前
|
人工智能 自然语言处理 搜索推荐
超越幻觉:RAG如何为AI大模型注入“真实”的灵魂
超越幻觉:RAG如何为AI大模型注入“真实”的灵魂
|
6天前
|
人工智能 搜索推荐 开发工具
私域知识工程实战:如何让AI一次性写出高质量代码?
AI编程的瓶颈不在于模型不够聪明,而在于信息不对称。通过简单、快速构建私域知识工程体系 ,让AI从 "临时工" 变成真正懂业务的 "老司机" 。