解读阿里云搜索开发工作台如何快速搭建AI语义搜索及RAG链路

本文涉及的产品
智能开放搜索 OpenSearch行业算法版,1GB 20LCU 1个月
智能开放搜索 OpenSearch向量检索版,4核32GB 1个月
推荐全链路深度定制开发平台,高级版 1个月
简介: 本文介绍阿里云搜索开发工作台如何通过内置数据处理、查询分析、排序、效果测评、大模型等服务,结合阿里云搜索引擎及开源引擎,灵活打造AI语义搜索及RAG链路。

阿里云搜索开发工作台面向企业及开发者提供先进的AI搜索开发平台,内置实践打磨的多模态数据解析、文档切分、文本向量、查询分析、大模型文本生成、效果测评等丰富的组件化服务以及开发模版,同时,可选多种引擎能力,用户可灵活调用,实现智能搜索、检索增强生成(RAG)、多模态搜索等搜索相关场景的搭建。


首次免费开通搜索开发工作台,每个账号可获赠100次服务免费调用额度 >>


产品简介

随着AIGC技术的快速发展,用户获取信息的方式也随之改变,AI+搜索的融合也为企业带来更多的机遇。阿里云搜索开发工作台围绕智能搜索及RAG领域,为企业及开发者提供优质的组件化模型及搜索服务,可灵活搭建AI搜索业务。

阿里云搜索开发工作台内置数据处理、查询分析、排序、效果测评、大模型等服务,结合阿里云搜索引擎及开源引擎,可灵活打造AI语义搜索及RAG链路。

image.png

产品优势

  • 丰富的AI搜索能力:依托领先的模型底座训练AI搜索专属模型,内置搜索及RAG场景全链路组件化服务。
  • 灵活的调用方式:通过API、SDK调用服务,方便开发者、企业客户及ISV技术人员将部分或全链路AI搜索服务集成到自身业务链路中。
  • 开箱即用:开通后即可灵活调用全量服务。
  • 最佳实践:基于OpenSearch多年在智能搜索、RAG领域的沉淀,内置多种AI搜索最佳实践,可快速搭建更加适配业务需求的搜索链路。

产品能力

阿里云搜索开发工作台通过提供离线数据处理模型,以及在线查询理解、重排、大模型等服务,帮助搜索业务提升场景化效果。

1. 文档图片解析服务

面对纷杂的文档数据,如何准确解析不同格式的文档,是搜索业务的前提,也是影响搜索效果的核心因素。

image.png

阿里云搜索开发工作台提供文档解析服务,支持分钟级解析,同时能够区分多种版式,可从非结构化文档中提取出标题、分段等逻辑层级结构,以及文本、表格、图片、代码等信息,去除页眉、页脚、识别上标、下标等信息,并以结构化的格式输出。

针对架构图、分析图表等图片数据,提供图片内容理解服务,可基于多模态大模型对图片内容进行解析理解以及文字识别,也可基于OCR能力对图片文字进行识别,将文字信息提取出来,用于图片检索及问答等场景。

2. 文档切片服务

构建AI语义搜索及RAG链路时,需要依赖于LLM大语言模型或向量表示等模型,目前模型对于数据的处理均有一定的长度要求,如何在有限长度内保障文档的质量也是重要的课题。

image.png

阿里云搜索开发工作台提供文档切片服务,可基于文档的结构构建宏观粒度的语义切片树,切分时,会确保切片内容的语义完整性。在此基础上,还可以进一步使用单句进行更细粒度的切分。切片内容可用于retrieval阶段,召回切片后,还可使用切片树的信息进行上下文补全,在RAG链路中实现更高的回答准确率。

将两种切片策略组合起来进行检索,可进一步提升后续的效果,在典型场景下结果准确率可提升5%,搜索召回率提升7%。

3. 多语言向量模型服务

完成文档解析及切分后,可使用向量模型得到向量表示进行后续的检索,使用向量检索时向量化模型流量会远高于其他模型服务,如何在参数量更少的模型基础上,达到参数量更高一级模型的效果,实现性价比更高的向量模型服务同样重要。

image.png

阿里云搜索开发工作台提供多语言文本向量模型以及文本稀疏向量模型,可将文本数据转化为稠密向量形式表达,以及可表示关键词和词频信息的稀疏向量形式表达,用于信息检索、文本分类、相似性比较等场景。

4. 查询分析服务

当用户进行搜索查询时,能否理解用户查询意图,检索到更相关的内容是在线查询阶段的关键。

image.png

阿里云搜索开发工作台提供查询分析服务,可基于模型对用户输入的Query进行意图理解,若用户问题为短文本,理解用户意图就会比较困难。此时,可以对短文本进行语义扩充,做指代消解、省略补全等。

5. 召回排序服务

理解用户查询内容后,将进行精准的检索,如何提升检索效果,将直接影响搜索业务整体的效果。经实践研究发现,混合检索的方式可以进一步提升搜索效果,使用稠密向量(Dense Vector)来解决模糊语义匹配的问题,使用稀疏向量来解决精准关键词匹配的问题。

image.png

使用稠密向量+稀疏向量进行混合检索,将召回的内容使用搜索开发工作台提供的排序服务进行重排,增加rerank模型后,在典型场景下,召回率提升20%,回答准确率提升12.5%。

6. 大模型服务

使用检索增强后的信息组成Prompt并调用大模型,可有效提升大模型生成的效果。

image.png

阿里云搜索开发工作台提供通义千问系列大模型,以及微调后的RAG大模型,在通义千问13B模型上,用典型场景的数据测试,能做到10%以下的幻觉率。

同时,系统内置的模型均对接绿网,针对输入端及输出端敏感信息进行过滤,保障隐私及安全性。

场景实践效果

基于搜索开发平台的组件化服务,可快速搭建语义搜索及RAG链路。

以客户知识库问答RAG场景实践为例,客户全链路效果随着使用能力的增加而快速提升,最终问题解决率可达到87%。

image.png

产品使用

  • 开通阿里云搜索开发工作台服务,详情请参开通服务
  • 通过API/SDK调用服务时,需要获取API鉴权密钥信息,详情请参见管理API-KEY
  • 调用API/SDK服务体验,详情请参见服务详情,如需使用OpenAI SDK调用,可参见兼容OpenAI SDK服务


更多产品详情,请参考阿里云搜索开发工作台产品页 https://www.aliyun.com/activity/bigdata/opensearch/platform

相关文章
|
5天前
|
人工智能 自然语言处理 机器人
文档智能与RAG技术如何提升AI大模型的业务理解能力
随着人工智能的发展,AI大模型在自然语言处理中的应用日益广泛。文档智能和检索增强生成(RAG)技术的兴起,为模型更好地理解和适应特定业务场景提供了新方案。文档智能通过自动化提取和分析非结构化文档中的信息,提高工作效率和准确性。RAG结合检索机制和生成模型,利用外部知识库提高生成内容的相关性和准确性。两者的结合进一步增强了AI大模型的业务理解能力,助力企业数字化转型。
37 3
|
12天前
|
人工智能 JSON 自然语言处理
基于文档智能&RAG搭建更懂业务的AI大模型
本文介绍了一种结合文档智能和检索增强生成(RAG)技术,构建强大LLM知识库的方法。通过清洗文档内容、向量化处理和特定Prompt,提供足够的上下文信息,实现对企业级文档的智能问答。文档智能(Document Mind)能够高效解析多种文档格式,确保语义的连贯性和准确性。整个部署过程简单快捷,适合处理复杂的企业文档,提升信息提取和利用效率。
|
15天前
|
存储 人工智能 调度
阿里云吴结生:高性能计算持续创新,响应数据+AI时代的多元化负载需求
在数字化转型的大潮中,每家公司都在积极探索如何利用数据驱动业务增长,而AI技术的快速发展更是加速了这一进程。
|
9天前
|
人工智能 架构师
活动火热报名中|阿里云&Elastic:AI Search Tech Day
2024年11月22日,阿里云与Elastic联合举办“AI Search Tech Day”技术思享会活动。
149 2
|
10天前
|
存储 人工智能 大数据
阿里云吴结生:高性能计算持续创新,响应数据+AI时代的多元化负载需求
在数字化转型的大潮中,每家公司都在积极探索如何利用数据驱动业务增长,而AI技术的快速发展更是加速了这一进程。
|
14天前
|
人工智能 Kubernetes 云计算
第五届CID大会成功举办,阿里云基础设施加速AI智能产业发展!
2024年10月19日,第五届中国云计算基础架构开发者大会(CID)在北京朗丽兹西山花园酒店成功举办。本次大会汇聚了来自云计算领域的众多精英,不同背景的与会者齐聚一堂,共同探讨云计算技术的最新发展与未来趋势。
|
14天前
|
人工智能 Kubernetes 云计算
第五届CID大会成功举办,阿里云基础设施加速AI智能产业发展!
第五届中国云计算基础架构开发者大会(CID)于2024年10月19日在北京成功举办。大会汇聚了300多位现场参会者和超过3万名在线观众,30余位技术专家进行了精彩分享,涵盖高效部署大模型推理、Knative加速AI应用Serverless化、AMD平台PMU虚拟化技术实践、Kubernetes中全链路GPU高效管理等前沿话题。阿里云的讲师团队通过专业解读,为与会者带来了全新的视野和启发,推动了云计算技术的创新发展。
|
14天前
|
机器学习/深度学习 人工智能 弹性计算
阿里云AI服务器价格表_GPU服务器租赁费用_AI人工智能高性能计算推理
阿里云AI服务器提供多种配置选项,包括CPU+GPU、CPU+FPGA等组合,支持高性能计算需求。本文汇总了阿里云GPU服务器的价格信息,涵盖NVIDIA A10、V100、T4、P4、P100等多款GPU卡,适用于人工智能、机器学习和深度学习等场景。详细价格表和实例规格见文内图表。
|
4天前
|
机器学习/深度学习 人工智能 自然语言处理
当前AI大模型在软件开发中的创新应用与挑战
2024年,AI大模型在软件开发领域的应用正重塑传统流程,从自动化编码、智能协作到代码审查和测试,显著提升了开发效率和代码质量。然而,技术挑战、伦理安全及模型可解释性等问题仍需解决。未来,AI将继续推动软件开发向更高效、智能化方向发展。
|
9天前
|
机器学习/深度学习 人工智能 自然语言处理
AI在医疗领域的应用及其挑战
【10月更文挑战第34天】本文将探讨人工智能(AI)在医疗领域的应用及其面临的挑战。我们将从AI技术的基本概念入手,然后详细介绍其在医疗领域的各种应用,如疾病诊断、药物研发、患者护理等。最后,我们将讨论AI在医疗领域面临的主要挑战,包括数据隐私、算法偏见、法规合规等问题。
28 1