解读阿里云搜索开发工作台如何快速搭建AI语义搜索及RAG链路

本文涉及的产品
智能开放搜索 OpenSearch行业算法版,1GB 20LCU 1个月
OpenSearch LLM智能问答版免费试用套餐,存储1GB首月+计算资源100CU
简介: 本文介绍阿里云搜索开发工作台如何通过内置数据处理、查询分析、排序、效果测评、大模型等服务,结合阿里云搜索引擎及开源引擎,灵活打造AI语义搜索及RAG链路。

阿里云搜索开发工作台面向企业及开发者提供先进的AI搜索开发平台,内置实践打磨的多模态数据解析、文档切分、文本向量、查询分析、大模型文本生成、效果测评等丰富的组件化服务以及开发模版,同时,可选多种引擎能力,用户可灵活调用,实现智能搜索、检索增强生成(RAG)、多模态搜索等搜索相关场景的搭建。


首次免费开通搜索开发工作台,每个账号可获赠100次服务免费调用额度 >>


产品简介

随着AIGC技术的快速发展,用户获取信息的方式也随之改变,AI+搜索的融合也为企业带来更多的机遇。阿里云搜索开发工作台围绕智能搜索及RAG领域,为企业及开发者提供优质的组件化模型及搜索服务,可灵活搭建AI搜索业务。

阿里云搜索开发工作台内置数据处理、查询分析、排序、效果测评、大模型等服务,结合阿里云搜索引擎及开源引擎,可灵活打造AI语义搜索及RAG链路。

image.png

产品优势

  • 丰富的AI搜索能力:依托领先的模型底座训练AI搜索专属模型,内置搜索及RAG场景全链路组件化服务。
  • 灵活的调用方式:通过API、SDK调用服务,方便开发者、企业客户及ISV技术人员将部分或全链路AI搜索服务集成到自身业务链路中。
  • 开箱即用:开通后即可灵活调用全量服务。
  • 最佳实践:基于OpenSearch多年在智能搜索、RAG领域的沉淀,内置多种AI搜索最佳实践,可快速搭建更加适配业务需求的搜索链路。

产品能力

阿里云搜索开发工作台通过提供离线数据处理模型,以及在线查询理解、重排、大模型等服务,帮助搜索业务提升场景化效果。

1. 文档图片解析服务

面对纷杂的文档数据,如何准确解析不同格式的文档,是搜索业务的前提,也是影响搜索效果的核心因素。

image.png

阿里云搜索开发工作台提供文档解析服务,支持分钟级解析,同时能够区分多种版式,可从非结构化文档中提取出标题、分段等逻辑层级结构,以及文本、表格、图片、代码等信息,去除页眉、页脚、识别上标、下标等信息,并以结构化的格式输出。

针对架构图、分析图表等图片数据,提供图片内容理解服务,可基于多模态大模型对图片内容进行解析理解以及文字识别,也可基于OCR能力对图片文字进行识别,将文字信息提取出来,用于图片检索及问答等场景。

2. 文档切片服务

构建AI语义搜索及RAG链路时,需要依赖于LLM大语言模型或向量表示等模型,目前模型对于数据的处理均有一定的长度要求,如何在有限长度内保障文档的质量也是重要的课题。

image.png

阿里云搜索开发工作台提供文档切片服务,可基于文档的结构构建宏观粒度的语义切片树,切分时,会确保切片内容的语义完整性。在此基础上,还可以进一步使用单句进行更细粒度的切分。切片内容可用于retrieval阶段,召回切片后,还可使用切片树的信息进行上下文补全,在RAG链路中实现更高的回答准确率。

将两种切片策略组合起来进行检索,可进一步提升后续的效果,在典型场景下结果准确率可提升5%,搜索召回率提升7%。

3. 多语言向量模型服务

完成文档解析及切分后,可使用向量模型得到向量表示进行后续的检索,使用向量检索时向量化模型流量会远高于其他模型服务,如何在参数量更少的模型基础上,达到参数量更高一级模型的效果,实现性价比更高的向量模型服务同样重要。

image.png

阿里云搜索开发工作台提供多语言文本向量模型以及文本稀疏向量模型,可将文本数据转化为稠密向量形式表达,以及可表示关键词和词频信息的稀疏向量形式表达,用于信息检索、文本分类、相似性比较等场景。

4. 查询分析服务

当用户进行搜索查询时,能否理解用户查询意图,检索到更相关的内容是在线查询阶段的关键。

image.png

阿里云搜索开发工作台提供查询分析服务,可基于模型对用户输入的Query进行意图理解,若用户问题为短文本,理解用户意图就会比较困难。此时,可以对短文本进行语义扩充,做指代消解、省略补全等。

5. 召回排序服务

理解用户查询内容后,将进行精准的检索,如何提升检索效果,将直接影响搜索业务整体的效果。经实践研究发现,混合检索的方式可以进一步提升搜索效果,使用稠密向量(Dense Vector)来解决模糊语义匹配的问题,使用稀疏向量来解决精准关键词匹配的问题。

image.png

使用稠密向量+稀疏向量进行混合检索,将召回的内容使用搜索开发工作台提供的排序服务进行重排,增加rerank模型后,在典型场景下,召回率提升20%,回答准确率提升12.5%。

6. 大模型服务

使用检索增强后的信息组成Prompt并调用大模型,可有效提升大模型生成的效果。

image.png

阿里云搜索开发工作台提供通义千问系列大模型,以及微调后的RAG大模型,在通义千问13B模型上,用典型场景的数据测试,能做到10%以下的幻觉率。

同时,系统内置的模型均对接绿网,针对输入端及输出端敏感信息进行过滤,保障隐私及安全性。

场景实践效果

基于搜索开发平台的组件化服务,可快速搭建语义搜索及RAG链路。

以客户知识库问答RAG场景实践为例,客户全链路效果随着使用能力的增加而快速提升,最终问题解决率可达到87%。

image.png

产品使用

  • 开通阿里云搜索开发工作台服务,详情请参开通服务
  • 通过API/SDK调用服务时,需要获取API鉴权密钥信息,详情请参见管理API-KEY
  • 调用API/SDK服务体验,详情请参见服务详情,如需使用OpenAI SDK调用,可参见兼容OpenAI SDK服务


更多产品详情,请参考阿里云搜索开发工作台产品页 https://www.aliyun.com/activity/bigdata/opensearch/platform

相关文章
|
29天前
|
人工智能 文字识别 监控
|
26天前
|
云安全 人工智能 安全
Dify平台集成阿里云AI安全护栏,构建AI Runtime安全防线
阿里云 AI 安全护栏加入Dify平台,打造可信赖的 AI
|
28天前
|
人工智能 vr&ar UED
获奖公布|第十九届"挑战杯"竞赛2025年度中国青年科技创新"揭榜挂帅"擂台赛阿里云“AI技术助力乡村振兴”专题赛拟授奖名单公示
获奖公布|第十九届"挑战杯"竞赛2025年度中国青年科技创新"揭榜挂帅"擂台赛阿里云“AI技术助力乡村振兴”专题赛拟授奖名单公示
|
28天前
|
人工智能 安全 API
20 万奖金池就位!Higress AI 网关开发挑战赛参赛指南
本次赛事共设三大赛题方向,参赛者可以任选一个方向参赛。本文是对每个赛题方向的参赛指南。
205 10
|
25天前
|
人工智能 自然语言处理 算法
【2025云栖大会】AI 搜索智能探索:揭秘如何让搜索“有大脑”
2025云栖大会上,阿里云高级技术专家徐光伟在云栖大会揭秘 Agentic Search 技术,涵盖低维向量模型、多模态检索、NL2SQL及DeepSearch/Research智能体系统。未来,“AI搜索已从‘信息匹配’迈向‘智能决策’,阿里云将持续通过技术创新与产品化能力,为企业构建下一代智能信息获取系统。”
240 9
|
25天前
|
机器学习/深度学习 人工智能 Serverless
吉利汽车携手阿里云函数计算,打造新一代 AI 座舱推理引擎
当前吉利汽车研究院人工智能团队承担了吉利汽车座舱 AI 智能化的方案建设,在和阿里云的合作中,基于星睿智算中心 2.0 的 23.5EFLOPS 强大算力,构建 AI 混合云架构,面向百万级用户的实时推理计算引入阿里云函数计算的 Serverless GPU 算力集群,共同为智能座舱的交互和娱乐功能提供大模型推理业务服务,涵盖的场景如针对模糊指令的复杂意图解析、文生图、情感 TTS 等。
|
27天前
|
人工智能 运维 安全
加速智能体开发:从 Serverless 运行时到 Serverless AI 运行时
在云计算与人工智能深度融合的背景下,Serverless 技术作为云原生架构的集大成者,正加速向 AI 原生架构演进。阿里云函数计算(FC)率先提出并实践“Serverless AI 运行时”概念,通过技术创新与生态联动,为智能体(Agent)开发提供高效、安全、低成本的基础设施支持。本文从技术演进路径、核心能力及未来展望三方面解析 Serverless AI 的突破性价值。
|
28天前
|
存储 人工智能 OLAP
AI Agent越用越笨?阿里云AnalyticDB「AI上下文工程」一招破解!
AI 上下文工程是管理大模型输入信息的系统化框架,解决提示工程中的幻觉、上下文溢出与信息冲突等问题。通过上下文的采集、存储、加工与调度,提升AI推理准确性与交互体验。AnalyticDB PostgreSQL 版提供增强 RAG、长记忆、Supabase 等能力,助力企业构建高效、稳定的 AI 应用。
|
30天前
|
人工智能 自然语言处理 数据挖掘
从幻觉到精准:RAG如何重塑AI对话的可靠性
从幻觉到精准:RAG如何重塑AI对话的可靠性
224 111
|
29天前
|
人工智能 运维 Java
Spring AI Alibaba Admin 开源!以数据为中心的 Agent 开发平台
Spring AI Alibaba Admin 正式发布!一站式实现 Prompt 管理、动态热更新、评测集构建、自动化评估与全链路可观测,助力企业高效构建可信赖的 AI Agent 应用。开源共建,现已上线!
2510 40