基于文档智能&RAG搭建更懂业务的AI大模型

简介: 本文介绍了一种结合文档智能和检索增强生成(RAG)技术,构建强大LLM知识库的方法。通过清洗文档内容、向量化处理和特定Prompt,提供足够的上下文信息,实现对企业级文档的智能问答。文档智能(Document Mind)能够高效解析多种文档格式,确保语义的连贯性和准确性。整个部署过程简单快捷,适合处理复杂的企业文档,提升信息提取和利用效率。

业务背景

本文主要是讲述基于文档智能和检索增强生成(RAG)结合起来构建强大的LLM知识库,包括清洗文档内容、文档内容向量化、问答内容召回后通过特定的Prompt,提供给LLM足够的上下文信息,以此来满足对于企业级文档类型知识库的问答处理。

简单的理解一句话就是让你的AI大模型更懂你的业务。下面我们在搭建操作之前先来了解当前方案的实践原理。

实践原理

整体来说就是当前方案结合文档智能(Document Mind)将文档解析为结构化数据,结合语义理解,提取出文档层级树、样式信息以及版面信息,下游将解析的结果数据处理成文档切片,生成切块(Chunk)数据,从而为RAG输入高精准度、高连贯语义的切块(Chunk),保障RAG的方案效果。那么为什么要选择文档智能,而不是其他的呢?比如文字识别OCR等。

是因为文档智能相比于传统文档解析,Document Mind提供含层级的段落信息、表格及表格单元信息、图片信息,并包含丰富的标题、段落、页码、注解等版面类型信息。并且文档智能基于最新自研的技术GeoLayoutLM 来研发层级树模型,可以面向各种长度和类型的文档,高效地提取其内部版面的层级关系,经过文档解析切分的文档内容保证了语义的不丢失,可直接输入至RAG的下游链路。整个方案的原理图如下

部署操作

下面再来讲一下整个基于基于文档智能&RAG搭建更懂业务的AI大模型的部署操作,我们直接来参考部署文档进行操作。整个部署方案操作大约需要30分钟,主要是通过文档智能解析(大模型版)将文件处理为包含多个版面块单元的Json对象,过滤非正文内容后切分成多个切块存入知识库中。当接收到提问时,服务将问题转换为内容向量,在知识库中召回相关信息,并结合问题和召回内容,通过语言模型进行智能问答,提供准确回答。点击【立即部署】进入部署方案操作页

image.png

在正式进行部署方案操作之前,文档先对方案进行了一个详细的介绍,包括方案会经过3个阶段,每个阶段有不同的作用,以及详细方案架构图,介绍说明文字配合架构图,可以让开发者可以快速理解方案,熟悉方案部署的各个阶段,为后续快速部署提供基础储备


了解完基础部署方案机构之后,可以直接进入一键部署部署操作,这里是基于阿里云资源编排服务ROS(Resource Orchestration Service)实现,ROS模板已定义好脚本,可自动化地完成云资源的创建和配置,提高资源的创建和部署效率。对于开发者来说基本不需要什么操作,只需要点击【一键部署】等待资源准备完成以及部署结束就可以完成部署操作,没有任何难度

image.png


部署完成之后在ROS控制台【输出】tab下点击访问域名,输入用户名密码后登录系统上传文档,创建知识库后就可以通过设置知识库并输入针对该知识库的提问,即可获得精准的回答



总的来说,通过该方案,企业用户可以高效地处理各类复杂文档,构建强大的知识库,并通过增强检索生成(RAG)技术实现智能问答服务,显著提升文档处理和信息获取的效率。对于企业存积文档有效信息的提取以及检索回答,都会有很大的帮助。

清理资源

测评建议

关于实践原理的理解

对于实践原理的理解,部署文档中详细介绍了文档智能结合RAG的优势,以及为什么会选择文档智能来保障RAG的方案效果,关于这一块的介绍和说明也比较详细,方便读者的理解。这里个人觉得如果可以加入选择其他文档识别方案结合RAG后的方案效果与当前方案效果对比后,对于实际操作者可能更容易理解为什么会选择文档智能。最好的情况就是可以加入一段效果视频,在视频中充分展示文档智能结合RAG搭建AI大模型的效果以及对比展示其他文档识别结合RAG的效果。

部署过程的文档引导

其实对于整个基于文档智能&RAG搭建更懂业务的AI大模型,部署文档以及部署引导和过去一样,都比较清晰,这次最大的特点就是在部署操作页面通过一键ROS资源配置,大大降低了开发者对于逐个创建资源的步骤耗时,从而降低了部署出错的可能性。文档步骤清晰,引导简单有效,希望后续关于部署操作的场景搭建都可以是尽可能的让开发者或者说让用户少操作,而要将大部分的操作都隐藏在已经创建好的模版或者资源文件中,从而提高开发者搭建资源的效率,降低出错的概率。

本方案的优势

本方案从上到下来说,最大的优势就是操作简单了,功能强大了。反向分析就更能理解当前方案的优势,从目的入手,如果想要搭建强大的LLM知识库,那么你就需要通过特定的Prompt,提供给LLM足够的上下文信息,而如何获取特定的Prompt,关键就是是如何清洗文档内容、文档内容向量化、问答内容等。而文档智能(Document Mind)可以精准识别并解析包括企业日常办公中常见的Office文档(Word/Excel/PPT )、PDF、Html、图片等在内的主流文件类型,返回文档的样式、版面信息和层级树结构,经过文档智能处理后的信息,可以为RAG输入高精准度、高连贯语义的切块(Chunk),保障了整个RAG方案的基础效果。这就是通过文档智能和检索增强生成结合起来构建的LLM知识库的优势。

本方案适用场景

对于企业在发展过程中,会遇到各种各样的文档格式内容,比如PDF格式下,多种合同、试卷、论文、财报、简历、报告场景等,而如何从这些文档内容中快速提炼出有效信息来为企业创造更多价值,那就需要对这种包括表格内容、公式文本、图片内容处理,无关内容的过滤,这就正好符合了本方案的适用场景。对于不同格式的文档输入,将文档智能和检索增强生成(RAG)结合起来构建强大的LLM知识库,通过特定的Prompt,提供给LLM足够的上下文信息,来满足对于企业级文档类型知识库的问答处理,从而提高企业级文档的利用率以及创造出更多价值。

相关实践学习
使用ROS创建VPC和VSwitch
本场景主要介绍如何利用阿里云资源编排服务,定义资源编排模板,实现自动化创建阿里云专有网络和交换机。
ROS入门实践
本课程将基于基础设施即代码 IaC 的理念,介绍阿里云自动化编排服务ROS的概念、功能和使用方式,并通过实际应用场景介绍如何借助ROS实现云资源的自动化部署,使得云上资源部署和运维工作更为高效。
相关文章
|
1月前
|
机器学习/深度学习 人工智能 人机交互
当AI学会“看”和“听”:多模态大模型如何重塑人机交互
当AI学会“看”和“听”:多模态大模型如何重塑人机交互
354 121
|
1月前
|
人工智能 自然语言处理 数据库
RAG:打破大模型的知识壁垒
RAG:打破大模型的知识壁垒
287 113
|
1月前
|
人工智能 人机交互 知识图谱
当AI学会“融会贯通”:多模态大模型如何重塑未来
当AI学会“融会贯通”:多模态大模型如何重塑未来
273 114
|
1月前
|
人工智能 自然语言处理 数据挖掘
从幻觉到精准:RAG如何重塑AI对话的可靠性
从幻觉到精准:RAG如何重塑AI对话的可靠性
236 111
|
1月前
|
人工智能 API 开发工具
构建AI智能体:一、初识AI大模型与API调用
本文介绍大模型基础知识及API调用方法,涵盖阿里云百炼平台密钥申请、DashScope SDK使用、Python调用示例(如文本情感分析、图像文字识别),助力开发者快速上手大模型应用开发。
1007 16
构建AI智能体:一、初识AI大模型与API调用
|
1月前
|
人工智能 安全 开发工具
C3仓库AI代码门禁通用实践:基于Qwen3-Coder+RAG的代码评审
本文介绍基于Qwen3-Coder、RAG与Iflow在C3级代码仓库落地LLM代码评审的实践,实现AI辅助人工评审。通过CI流水线自动触发,结合私域知识库与生产代码同仓管理,已成功拦截数十次高危缺陷,显著提升评审效率与质量,具备向各类代码门禁平台复用推广的价值。(239字)
388 24
|
1月前
|
人工智能 自然语言处理 搜索推荐
RAG:让AI的回答不再“凭空想象
RAG:让AI的回答不再“凭空想象
|
1月前
|
人工智能 运维 Kubernetes
Serverless 应用引擎 SAE:为传统应用托底,为 AI 创新加速
在容器技术持续演进与 AI 全面爆发的当下,企业既要稳健托管传统业务,又要高效落地 AI 创新,如何在复杂的基础设施与频繁的版本变化中保持敏捷、稳定与低成本,成了所有技术团队的共同挑战。阿里云 Serverless 应用引擎(SAE)正是为应对这一时代挑战而生的破局者,SAE 以“免运维、强稳定、极致降本”为核心,通过一站式的应用级托管能力,同时支撑传统应用与 AI 应用,让企业把更多精力投入到业务创新。
413 29
|
1月前
|
消息中间件 人工智能 安全
云原生进化论:加速构建 AI 应用
本文将和大家分享过去一年在支持企业构建 AI 应用过程的一些实践和思考。
468 28