解读阿里云搜索开发工作台如何快速搭建AI语义搜索及RAG链路

本文涉及的产品
智能开放搜索 OpenSearch行业算法版,1GB 20LCU 1个月
推荐全链路深度定制开发平台,高级版 1个月
智能开放搜索 OpenSearch向量检索版,4核32GB 1个月
简介: 本文介绍阿里云搜索开发工作台如何通过内置数据处理、查询分析、排序、效果测评、大模型等服务,结合阿里云搜索引擎及开源引擎,灵活打造AI语义搜索及RAG链路。

阿里云搜索开发工作台面向企业及开发者提供先进的AI搜索开发平台,内置实践打磨的多模态数据解析、文档切分、文本向量、查询分析、大模型文本生成、效果测评等丰富的组件化服务以及开发模版,同时,可选多种引擎能力,用户可灵活调用,实现智能搜索、检索增强生成(RAG)、多模态搜索等搜索相关场景的搭建。


首次免费开通搜索开发工作台,每个账号可获赠100次服务免费调用额度 >>


产品简介

随着AIGC技术的快速发展,用户获取信息的方式也随之改变,AI+搜索的融合也为企业带来更多的机遇。阿里云搜索开发工作台围绕智能搜索及RAG领域,为企业及开发者提供优质的组件化模型及搜索服务,可灵活搭建AI搜索业务。

阿里云搜索开发工作台内置数据处理、查询分析、排序、效果测评、大模型等服务,结合阿里云搜索引擎及开源引擎,可灵活打造AI语义搜索及RAG链路。

image.png

产品优势

  • 丰富的AI搜索能力:依托领先的模型底座训练AI搜索专属模型,内置搜索及RAG场景全链路组件化服务。
  • 灵活的调用方式:通过API、SDK调用服务,方便开发者、企业客户及ISV技术人员将部分或全链路AI搜索服务集成到自身业务链路中。
  • 开箱即用:开通后即可灵活调用全量服务。
  • 最佳实践:基于OpenSearch多年在智能搜索、RAG领域的沉淀,内置多种AI搜索最佳实践,可快速搭建更加适配业务需求的搜索链路。

产品能力

阿里云搜索开发工作台通过提供离线数据处理模型,以及在线查询理解、重排、大模型等服务,帮助搜索业务提升场景化效果。

1. 文档图片解析服务

面对纷杂的文档数据,如何准确解析不同格式的文档,是搜索业务的前提,也是影响搜索效果的核心因素。

image.png

阿里云搜索开发工作台提供文档解析服务,支持分钟级解析,同时能够区分多种版式,可从非结构化文档中提取出标题、分段等逻辑层级结构,以及文本、表格、图片、代码等信息,去除页眉、页脚、识别上标、下标等信息,并以结构化的格式输出。

针对架构图、分析图表等图片数据,提供图片内容理解服务,可基于多模态大模型对图片内容进行解析理解以及文字识别,也可基于OCR能力对图片文字进行识别,将文字信息提取出来,用于图片检索及问答等场景。

2. 文档切片服务

构建AI语义搜索及RAG链路时,需要依赖于LLM大语言模型或向量表示等模型,目前模型对于数据的处理均有一定的长度要求,如何在有限长度内保障文档的质量也是重要的课题。

image.png

阿里云搜索开发工作台提供文档切片服务,可基于文档的结构构建宏观粒度的语义切片树,切分时,会确保切片内容的语义完整性。在此基础上,还可以进一步使用单句进行更细粒度的切分。切片内容可用于retrieval阶段,召回切片后,还可使用切片树的信息进行上下文补全,在RAG链路中实现更高的回答准确率。

将两种切片策略组合起来进行检索,可进一步提升后续的效果,在典型场景下结果准确率可提升5%,搜索召回率提升7%。

3. 多语言向量模型服务

完成文档解析及切分后,可使用向量模型得到向量表示进行后续的检索,使用向量检索时向量化模型流量会远高于其他模型服务,如何在参数量更少的模型基础上,达到参数量更高一级模型的效果,实现性价比更高的向量模型服务同样重要。

image.png

阿里云搜索开发工作台提供多语言文本向量模型以及文本稀疏向量模型,可将文本数据转化为稠密向量形式表达,以及可表示关键词和词频信息的稀疏向量形式表达,用于信息检索、文本分类、相似性比较等场景。

4. 查询分析服务

当用户进行搜索查询时,能否理解用户查询意图,检索到更相关的内容是在线查询阶段的关键。

image.png

阿里云搜索开发工作台提供查询分析服务,可基于模型对用户输入的Query进行意图理解,若用户问题为短文本,理解用户意图就会比较困难。此时,可以对短文本进行语义扩充,做指代消解、省略补全等。

5. 召回排序服务

理解用户查询内容后,将进行精准的检索,如何提升检索效果,将直接影响搜索业务整体的效果。经实践研究发现,混合检索的方式可以进一步提升搜索效果,使用稠密向量(Dense Vector)来解决模糊语义匹配的问题,使用稀疏向量来解决精准关键词匹配的问题。

image.png

使用稠密向量+稀疏向量进行混合检索,将召回的内容使用搜索开发工作台提供的排序服务进行重排,增加rerank模型后,在典型场景下,召回率提升20%,回答准确率提升12.5%。

6. 大模型服务

使用检索增强后的信息组成Prompt并调用大模型,可有效提升大模型生成的效果。

image.png

阿里云搜索开发工作台提供通义千问系列大模型,以及微调后的RAG大模型,在通义千问13B模型上,用典型场景的数据测试,能做到10%以下的幻觉率。

同时,系统内置的模型均对接绿网,针对输入端及输出端敏感信息进行过滤,保障隐私及安全性。

场景实践效果

基于搜索开发平台的组件化服务,可快速搭建语义搜索及RAG链路。

以客户知识库问答RAG场景实践为例,客户全链路效果随着使用能力的增加而快速提升,最终问题解决率可达到87%。

image.png

产品使用

  • 开通阿里云搜索开发工作台服务,详情请参开通服务
  • 通过API/SDK调用服务时,需要获取API鉴权密钥信息,详情请参见管理API-KEY
  • 调用API/SDK服务体验,详情请参见服务详情,如需使用OpenAI SDK调用,可参见兼容OpenAI SDK服务


更多产品详情,请参考阿里云搜索开发工作台产品页 https://www.aliyun.com/activity/bigdata/opensearch/platform

相关文章
|
1天前
|
人工智能 自然语言处理 数据挖掘
文档智能 & RAG让AI大模型更懂业务
《文档智能 & RAG让AI大模型更懂业务》解决方案基于阿里云的文档智能解析与检索增强生成技术,实现非结构化文档向结构化信息的转化,提升AI在特定领域问答的能力。方案提供了详尽的部署指南,包括文档处理、知识库构建等步骤,确保新手也能轻松上手。部署体验良好,未遇重大问题,但建议增加故障排除指南。体验中,LLM知识库展现出高准确率和响应速度,尤其适合处理专业查询。该方案适用于客户服务、知识管理和数据分析等场景,满足生产环境需求,但对于小型企业需考虑成本效益。建议阿里云提供多规模解决方案及定制化选项,以适应不同需求。
22 10
|
1天前
|
人工智能 JSON 安全
在阿里云快速启动LibreChat轻松玩转AI对话
阿里云计算巢提供了LibreChat快速部署能力,使用者不需要自己下载代码,不需要自己安装复杂的依赖,不需要了解底层技术,只需要在控制台图形界面点击几下鼠标就可以快速部署并启动LibreChat,非技术同学也能轻松搞定。
|
2天前
|
机器学习/深度学习 人工智能 监控
利用AI进行代码审查:提升代码质量和开发效率
【10月更文挑战第12天】本文探讨了AI在代码审查中的应用及其优势,介绍了AI辅助代码审查工具如何通过自动化和持续学习提升代码质量和开发效率。文章还提供了实施AI辅助代码审查的具体步骤和实战技巧,帮助团队更好地利用这些工具。
|
2天前
|
机器学习/深度学习 数据采集 人工智能
文档智能 & RAG让AI大模型更懂业务
本次体验活动聚焦于文档智能与检索增强生成(RAG)技术结合构建的LLM知识库,重点测试了文档内容清洗、向量化、问答召回及Prompt上下文提供等环节。系统在自动化处理、处理效率和准确性方面表现出色,但在特定行业术语识别、自定义向量化选项、复杂问题处理及Prompt模板丰富度等方面仍有提升空间。
20 4
|
1天前
|
机器学习/深度学习 数据采集 人工智能
文档智能 & RAG 让AI大模型更懂业务 —— 阿里云LLM知识库解决方案评测
随着数字化转型的深入,企业对文档管理和知识提取的需求日益增长。阿里云推出的文档智能 & RAG(Retrieval-Augmented Generation)解决方案,通过高效的内容清洗、向量化处理、精准的问答召回和灵活的Prompt设计,帮助企业构建强大的LLM知识库,显著提升企业级文档管理的效率和准确性。
|
1天前
|
人工智能 自然语言处理 数据可视化
阿里云AI大模型助力客户对话分析——全方位提升服务与体验
随着数字化转型的推进,企业愈发重视客户互动数据的价值。阿里云推出了一套基于AI大模型的客户对话分析解决方案,通过自动化手段分析大量客户对话数据,提取有价值信息,优化服务流程,提升客户体验。本文将结合技术文档和实际体验,全面评测这一解决方案。
7 2
|
2天前
|
人工智能
添加一个Stable Difussion图像生成应用,通过向AI助手简单的提问,即可快速搭建Stable Diffusion应用至自己的网站中,大幅提升开发效率。
添加一个Stable Difussion图像生成应用,通过向AI助手简单的提问,即可快速搭建Stable Diffusion应用至自己的网站中,大幅提升开发效率。
|
2天前
|
存储 人工智能 NoSQL
使用 MongoDB 构建 AI:Gradient Accelerator Block 如何在几秒钟内让您从零开发 AI
借助 MongoDB,开发者可以存储任何结构的数据,然后使用单一查询 API 和驱动程序将这些数据用于 OLTP、文本搜索和向量搜索处理。
|
4天前
|
人工智能 Serverless
AI助理精准匹配------助力快速搭建Stable Difussion图像生成应用
【10月更文挑战第7天】过去在阿里云社区搭建Stable Diffusion图像生成应用需查阅在线实验室或官方文档,耗时且不便。现阿里云AI助理提供精准匹配服务,直接在首页询问AI助理即可获取详细部署步骤,简化了操作流程,提高了效率。用户可按AI助理提供的步骤快速完成应用创建、参数设置、应用部署及资源释放等操作,轻松体验Stable Diffusion图像生成功能。
|
5天前
|
传感器 机器学习/深度学习 人工智能
AI在智能制造中的革新应用与未来展望
【10月更文挑战第10天】AI在智能制造中的革新应用与未来展望