面向金融场景的大模型 RAG 检索增强解决方案

本文涉及的产品
交互式建模 PAI-DSW,每月250计算时 3个月
模型在线服务 PAI-EAS,A10/V100等 500元 1个月
模型训练 PAI-DLC,100CU*H 3个月
简介: 本方案为您介绍,如何使用人工智能平台 PAI 构建面向金融场景的大模型 RAG 检索增强解决方案。

一、概述

在现代信息检索领域,检索增强生成(Retrieval-Augmented Generation, RAG)模型结合了信息检索与生成式人工智能的优点,从而在特定场景下提供更为精准和相关的答案。在特定场景下,例如金融等领域,用户通常需要精确且相关的信息来支持决策。传统生成模型虽然在自然语言理解和生成方面表现良好,但在专业知识的准确性上可能有所不足。RAG 模型通过将检索与生成相结合,能有效提升回答的准确性和上下文相关性。本方案为您介绍,如何使用人工智能平台 PAI 构建面向金融场景的大模型 RAG 检索增强解决方案。
1. 使用 PAI-Designer 构建知识库
您可以参照数据格式要求准备,使用 PAI-Designer 构建相应的检索知识库。
2. 使用 PAI-LangStudio 进行模版构建
您在 LangStudio 中使用预置的 RAG 模版进行定制化,创建适合具体应用的模板。
3. 使用 PAI-Langstudio 构建在线应用
LangStudio 提供了用户友好的界面,使用户能够轻松提交查询并获取答案。您可以使用创建好的模板构建符合业务需求的在线应用。

二、前置准备

在开始执行操作前,请确认您已完成以下准备工作:

  • 已开通 PAI 后付费,并创建默认工作空间,详情请参见开通PAI并创建默认工作空间。【https://x.sm.cn/6h97sdG】
  • 已创建 OSS 存储空间(Bucket),用于存储训练数据。关于如何创建存储空间,详情请参见控制台创建存储空间。【https://x.sm.cn/F7x7u9x】
  • 已开通 Milvus 数据库,用于构建指数库的向量存储,详情请参见快速创建milvus实例【https://x.sm.cn/k2ozRD】

1.准备数据集

在使用 PAI-Designer 构建知识库的过程中,您首先需要根据金融领域的需求,准备并整理好适合的数据集。这些数据往往涉及到该领域的专业内容,需确保数据的准确性和完整性。PAI-Designer 提供了一套便捷的工具和接口,帮助用户轻松导入和管理这些数据。在本解决方案中,我们以金融为例,展示使用 PDF 作为原始数据,使用 PAI-Designer 构建知识库的的步骤。
您需要确保数据格式符合 PAI-Designer 的要求,例如 PDF 格式。可以通过对领域文档进行预处理和格式化,提取其中的关键信息。
数据示例
以下给出金融领域的数据的示例,格式为 pdf,主要内容为公开新闻网站上的新闻报道,用户可以根据需要准备自己的数据:
image.png
image.png

该示例数据集已经放置于公开的 oss bucket 中,可以使用 wget 下载,下载后请用户将数据上传到自己的 oss bucket 中,以供下一步使用:

wget https://atp-modelzoo-sh.oss-cn-shanghai.aliyuncs.com/release/solutions/rag/data/%E9%87%91%E8%9E%8D%E6%96%B0%E9%97%BBpdf.zip

2. 部署 LLM 和 Embedding 模型

  1. 前往快速开始 > ModelGallery,【https://x.sm.cn/17lBfMA】分别按场景选择**大语言模型**及 Embedding 分类,并部署指定的模型。本文以通义千问2.5-7B-Instructbge-large-zh-v1.5 通用向量模型为例进行部署。请务必选择使用指令微调的大语言模型(名称中包含“Chat”或是“Instruct”的模型),Base 模型无法正确遵循用户指令回答问题。
    image.png
    image.png

  2. 前往任务管理,单击已部署的服务名称,在服务详情页签下单击查看调用信息,分别获取前面部署的 LLM 和 Embedding 模型服务的 VPC 访问地址和 Token,供后续创建连接时使用。
    image.png
    image.png

3.创建 LLM 链接

  1. 进入LangStudio,选择工作空间后,在连接管理页签下单击新建连接,进入应用流创建页面。
  2. 创建通用 LLM 模型服务连接。其中 base_url 和 api_key 分别对应【1. 部署LLM和Embedding模型中】 LLM 的 VPC 访问地址和 Token。
    image.png

4.创建 Embedding 模型服务连接

【3. 创建 LLM 链接】,创建通用 Embedding 模型服务连接。其中 base_url 和 api_key 分别对应【2. 部署 LLM 和 Embedding 模型】中 Embedding 模型的 VPC 访问地址和 Token。
image.png

5. 创建向量数据库连接

【3. 创建 LLM 链接】,创建 Milvus 数据库连接。
image.png

关键参数说明:

  • uri:Milvus 实例的访问地址,即http://,Milvus 内网访问地址如下:
    image.png

则 uri 为http://c-b1c5222fba****-internal.milvus.aliyuncs.com。

  • token:登录 Milvus 实例的用户名和密码,即:。
  • database:数据库名称,本文使用默认数据库default。

三、使用 PAI-Designer 构建知识库

使用 PAI-Designer 构建知识库索引工作流主要包含以下几个步骤:

  1. 使用数据源读取组件,读取 OSS 中的数据。
  2. 使用文本解析分块组件,对文本进行分块。
  3. 使用向量生成组件,对分块后的文本进行向量化。
  4. 使用索引存储组件,将向量化后的文本存储到向量数据库。
    image.png

PAI-Designer 工作流串联示例

您可以打开 PAI-Designer,选择 LLM 大语言模型中的检索增强生成构建自己的知识库。
image.png

进入工作流后,您会看到下面的工作流,接下来依次介绍各个模块的作用以及需要填写的参数。

RAG 读取 OSS 数据

选择存储数据的 OSS Bucket,确保 Bucket 中已经保存好相关的文档数据(可以为 pdf/csv 格式)。
image.png

image.png

RAG 文本解析分块

对输入的文件进行分块处理,填入块大小和块重叠大小的参数,并选择 OSS Bucket 保存分块完成的数据。
image.png

RAG 文本向量生成

使用 embedding 模型,对分块完成的数据进行向量化并存储,便于后续的检索操作。
image.png

RAG 索引构建

使用先前创建的 milvus 数据库,存储已经生成的文档向量。其中向量数据库选择自己创建的数据库,为存储的文档向量取一个名称,填入集合/表名称中;相似度度量可以选择点积、余弦、欧几里得的方式;并选择一个 OSS Bucket 保存 RAG 的索引。
image.png

image.png

四、使用 PAI-LangStudio 进行模版构建

PAI-LangStudio 是一个人工智能应用的开发平台,采用直观的交互式环境,简化了企业级大模型应用的开发流程。在开发和设计大模型应用时,可以使用 PAI-LangStudio 进行模版构建。此外,PAI-LangStudio 配合一键部署EAS,使得高质量应用得以迅速、无缝地部署至生产环境。以下介绍使用 PAI-LangStudio 进行模版构建的过程

新建应用流

  1. 进入 LangStudio,选择工作空间后,在应用流页签下单击新建应用流,进入应用流创建页面。
  2. 选择从模板新建,并在选择 RAG 模板后填入应用流名称,在 OSS Bucket 中选择存储应用流的路径。
    image.png

配置应用流

创建应用流后会进入应用流详情界面,左图中有四个节点,分别对应了不同的功能。

  1. rewrite_question 节点通过对用户问题的重写以提升问题质量,其中需要用户在基础配置中选择 connection 为【前置准备3. 创建 LLM 连接】中创建好的连接。
    image.png

  2. retrieve 节点通过向量数据库召回和问题相关的文档内容,Vector Store 需要用户选择【前置准备5. 创建向量数据库】中创建好的数据库以及在 index_name 中填入使用 【PAI-Designer 构建知识库-RAG 索引构建】中填入的集合/表名;Embedding Model 中需要用户选择【前置准备4. 创建Embedding模型服务连接】中创建的连接。
    image.png

  3. threshold_filter 节点对 retrieve 节点召回的文档进行过滤,填入的 threshold 值是对召回文档和查询问题相似度过滤的条件,threshold 越大,则过滤掉越多召回的相似度低的文档。
    image.png

  4. generate_answer 节点根据召回和过滤后的文档,回答问题。用户需要在基础配置中选择【前置准备3. 创建LLM连接】中创建好的 LLM 连接。
    image.png

五、使用 PAI-LangStudio 构建在线应用

  1. 配置完上述流程后,点击启动运行时,并选择机型,配置专有网络链接,部署 RAG 应用。
    image.png

image.png

  1. 运行时启动后,点击对话按钮,在左侧对话框中输入想问的问题,与大语言模型开始交流对话。
    image.png

    六、案例对比

    以下给出金融和医疗两个领域,使用和不使用 RAG 解决特定任务的案例对比。红色部分表示大模型回答有事实性错误,或者不够具体精确,绿色部分表示使用 RAG 得到的对应正确回复。

    任务一:投资风险分析

    问题:请根据最新的新闻报道,分析美国科技行业目前投资风险性如何,是否存在泡沫,给出是或否的具体回答。
    image.png
    image.png

任务二:行业趋势分析

问题:请根据最新的新闻报道,给出房地产相关行业是否乐观的判断。

image.png
image.png

任务三:贸易情况分析

问题:我国近10个月来货物贸易进出口情况如何?
image.png

相关实践学习
使用PAI+LLaMA Factory微调Qwen2-VL模型,搭建文旅领域知识问答机器人
使用PAI和LLaMA Factory框架,基于全参方法微调 Qwen2-VL模型,使其能够进行文旅领域知识问答,同时通过人工测试验证了微调的效果。
机器学习概览及常见算法
机器学习(Machine Learning, ML)是人工智能的核心,专门研究计算机怎样模拟或实现人类的学习行为,以获取新的知识或技能,重新组织已有的知识结构使之不断改善自身的性能,它是使计算机具有智能的根本途径,其应用遍及人工智能的各个领域。 本课程将带你入门机器学习,掌握机器学习的概念和常用的算法。
相关文章
|
人工智能 运维 数据处理
创新场景丨大模型初创公司出海,云计算护航
开启全球化征程的企业需要的不仅是优秀的技术产品,还有成熟的服务体系,让企业更专注业务突围,无后顾之忧。
|
8天前
|
存储 人工智能 自然语言处理
RAG:增强大模型知识库的新范式
RAG:增强大模型知识库的新范式
306 99
|
3月前
|
传感器 人工智能 自然语言处理
比亚迪座舱接入通义大模型,未来将联合打造更多AI智能座舱场景
比亚迪与阿里云深度合作,将通义大模型应用于智能座舱和营销服务。通过通义万相,腾势推出“AI壁纸”功能;借助通义星尘,实现“心理伴聊”等情感陪伴场景。阿里云Mobile-Agent智能体落地比亚迪座舱,支持复杂语音操作,如查询淘宝物流、订火车票等。该方案基于全视觉解决技术,具有强泛化能力,未来双方将持续拓展更多AI应用。
447 8
|
8天前
|
存储 人工智能 监控
如何用RAG增强的动态能力与大模型结合打造企业AI产品?
客户的问题往往涉及最新的政策变化、复杂的业务规则,数据量越来越多,而大模型对这些私有知识和上下文信息的理解总是差强人意。
39 2
|
10天前
|
敏捷开发 人工智能 自动驾驶
AI大模型入门第四篇:借助RAG实现精准用例自动生成!
测试开发是否总被用例维护、漏测风险和文档滞后困扰?RAG技术让AI实时解读最新需求,自动生成精准测试用例,动态对齐线上数据,节省70%维护成本,助你告别手工“填坑”,高效应对需求变化。
|
12天前
|
机器学习/深度学习 人工智能 搜索推荐
解锁RAG高阶密码:自适应、多模态、个性化技术深度剖析
别让你的AI系统还停留在'只会查字典'的阶段!本文用轻松幽默的方式揭秘高级RAG技术如何让AI变得更聪明:自适应检索像读心术一样精准,多模态RAG让AI能'看图识字',个性化RAG则让AI记住你的每一个小习惯。想打造真正智能的AI应用?这三项技能缺一不可!
|
12天前
|
机器学习/深度学习 数据采集 安全
万字解析从根本解决大模型幻觉问题,附企业级实践解决方案
本文深入探讨大语言模型中的幻觉(Hallucination)问题,分析其成因、分类及企业级解决方案。内容涵盖幻觉的定义、典型表现与业务风险,解析其在预训练、微调、对齐与推理阶段的成因,并介绍RAG、幻觉检测技术及多模态验证工具。最后分享在客服、广告等场景的落地实践与效果,助力构建更可靠的大模型应用。
154 0
|
4月前
|
存储 人工智能 安全
自媒体创作场景实践|通义千问3 + MCP=一切皆有可能
本文介绍了通过MCP(Model Context Protocol)结合通义千问大模型实现跨平台、跨服务的自动化任务处理方案。使用Qwen3-235B-A22B模型,配合ComfyUI生成图像,并通过小红书等社交媒体发布内容,展示了如何打破AI云服务的数据孤岛。具体实践包括接入FileSystem、ComfyUI和第三方媒体Server,完成从本地文件读取到生成图像再到发布的全流程。 方案优势在于高可扩展性和易用性,但也存在大模型智能化不足、MCP Server开发难度较大及安全风险等问题。未来需进一步提升模型能力、丰富应用场景并解决安全挑战,推动MCP在更多领域落地。
1161 27
自媒体创作场景实践|通义千问3 + MCP=一切皆有可能
|
4月前
|
人工智能 数据挖掘 API
基于neo4j数据库和dify大模型框架的rag模型搭建——后续补充
基于neo4j数据库和dify大模型框架的rag模型搭建——后续补充
539 21
基于neo4j数据库和dify大模型框架的rag模型搭建——后续补充

热门文章

最新文章