解读阿里云搜索开发工作台如何快速搭建AI语义搜索及RAG链路

本文涉及的产品
智能开放搜索 OpenSearch行业算法版,1GB 20LCU 1个月
智能开放搜索 OpenSearch向量检索版,4核32GB 1个月
推荐全链路深度定制开发平台,高级版 1个月
简介: 本文介绍阿里云搜索开发工作台如何通过内置数据处理、查询分析、排序、效果测评、大模型等服务,结合阿里云搜索引擎及开源引擎,灵活打造AI语义搜索及RAG链路。

阿里云搜索开发工作台面向企业及开发者提供先进的AI搜索开发平台,内置实践打磨的多模态数据解析、文档切分、文本向量、查询分析、大模型文本生成、效果测评等丰富的组件化服务以及开发模版,同时,可选多种引擎能力,用户可灵活调用,实现智能搜索、检索增强生成(RAG)、多模态搜索等搜索相关场景的搭建。


首次免费开通搜索开发工作台,每个账号可获赠100次服务免费调用额度 >>


产品简介

随着AIGC技术的快速发展,用户获取信息的方式也随之改变,AI+搜索的融合也为企业带来更多的机遇。阿里云搜索开发工作台围绕智能搜索及RAG领域,为企业及开发者提供优质的组件化模型及搜索服务,可灵活搭建AI搜索业务。

阿里云搜索开发工作台内置数据处理、查询分析、排序、效果测评、大模型等服务,结合阿里云搜索引擎及开源引擎,可灵活打造AI语义搜索及RAG链路。

image.png

产品优势

  • 丰富的AI搜索能力:依托领先的模型底座训练AI搜索专属模型,内置搜索及RAG场景全链路组件化服务。
  • 灵活的调用方式:通过API、SDK调用服务,方便开发者、企业客户及ISV技术人员将部分或全链路AI搜索服务集成到自身业务链路中。
  • 开箱即用:开通后即可灵活调用全量服务。
  • 最佳实践:基于OpenSearch多年在智能搜索、RAG领域的沉淀,内置多种AI搜索最佳实践,可快速搭建更加适配业务需求的搜索链路。

产品能力

阿里云搜索开发工作台通过提供离线数据处理模型,以及在线查询理解、重排、大模型等服务,帮助搜索业务提升场景化效果。

1. 文档图片解析服务

面对纷杂的文档数据,如何准确解析不同格式的文档,是搜索业务的前提,也是影响搜索效果的核心因素。

image.png

阿里云搜索开发工作台提供文档解析服务,支持分钟级解析,同时能够区分多种版式,可从非结构化文档中提取出标题、分段等逻辑层级结构,以及文本、表格、图片、代码等信息,去除页眉、页脚、识别上标、下标等信息,并以结构化的格式输出。

针对架构图、分析图表等图片数据,提供图片内容理解服务,可基于多模态大模型对图片内容进行解析理解以及文字识别,也可基于OCR能力对图片文字进行识别,将文字信息提取出来,用于图片检索及问答等场景。

2. 文档切片服务

构建AI语义搜索及RAG链路时,需要依赖于LLM大语言模型或向量表示等模型,目前模型对于数据的处理均有一定的长度要求,如何在有限长度内保障文档的质量也是重要的课题。

image.png

阿里云搜索开发工作台提供文档切片服务,可基于文档的结构构建宏观粒度的语义切片树,切分时,会确保切片内容的语义完整性。在此基础上,还可以进一步使用单句进行更细粒度的切分。切片内容可用于retrieval阶段,召回切片后,还可使用切片树的信息进行上下文补全,在RAG链路中实现更高的回答准确率。

将两种切片策略组合起来进行检索,可进一步提升后续的效果,在典型场景下结果准确率可提升5%,搜索召回率提升7%。

3. 多语言向量模型服务

完成文档解析及切分后,可使用向量模型得到向量表示进行后续的检索,使用向量检索时向量化模型流量会远高于其他模型服务,如何在参数量更少的模型基础上,达到参数量更高一级模型的效果,实现性价比更高的向量模型服务同样重要。

image.png

阿里云搜索开发工作台提供多语言文本向量模型以及文本稀疏向量模型,可将文本数据转化为稠密向量形式表达,以及可表示关键词和词频信息的稀疏向量形式表达,用于信息检索、文本分类、相似性比较等场景。

4. 查询分析服务

当用户进行搜索查询时,能否理解用户查询意图,检索到更相关的内容是在线查询阶段的关键。

image.png

阿里云搜索开发工作台提供查询分析服务,可基于模型对用户输入的Query进行意图理解,若用户问题为短文本,理解用户意图就会比较困难。此时,可以对短文本进行语义扩充,做指代消解、省略补全等。

5. 召回排序服务

理解用户查询内容后,将进行精准的检索,如何提升检索效果,将直接影响搜索业务整体的效果。经实践研究发现,混合检索的方式可以进一步提升搜索效果,使用稠密向量(Dense Vector)来解决模糊语义匹配的问题,使用稀疏向量来解决精准关键词匹配的问题。

image.png

使用稠密向量+稀疏向量进行混合检索,将召回的内容使用搜索开发工作台提供的排序服务进行重排,增加rerank模型后,在典型场景下,召回率提升20%,回答准确率提升12.5%。

6. 大模型服务

使用检索增强后的信息组成Prompt并调用大模型,可有效提升大模型生成的效果。

image.png

阿里云搜索开发工作台提供通义千问系列大模型,以及微调后的RAG大模型,在通义千问13B模型上,用典型场景的数据测试,能做到10%以下的幻觉率。

同时,系统内置的模型均对接绿网,针对输入端及输出端敏感信息进行过滤,保障隐私及安全性。

场景实践效果

基于搜索开发平台的组件化服务,可快速搭建语义搜索及RAG链路。

以客户知识库问答RAG场景实践为例,客户全链路效果随着使用能力的增加而快速提升,最终问题解决率可达到87%。

image.png

产品使用

  • 开通阿里云搜索开发工作台服务,详情请参开通服务
  • 通过API/SDK调用服务时,需要获取API鉴权密钥信息,详情请参见管理API-KEY
  • 调用API/SDK服务体验,详情请参见服务详情,如需使用OpenAI SDK调用,可参见兼容OpenAI SDK服务


更多产品详情,请参考阿里云搜索开发工作台产品页 https://www.aliyun.com/activity/bigdata/opensearch/platform

相关文章
|
4天前
|
存储 人工智能 搜索推荐
解锁AI新境界:LangChain+RAG实战秘籍,让你的企业决策更智能,引领商业未来新潮流!
【10月更文挑战第4天】本文通过详细的实战演练,指导读者如何在LangChain框架中集成检索增强生成(RAG)技术,以提升大型语言模型的准确性与可靠性。RAG通过整合外部知识源,已在生成式AI领域展现出巨大潜力。文中提供了从数据加载到创建检索器的完整步骤,并探讨了RAG在企业问答系统、决策支持及客户服务中的应用。通过构建知识库、选择合适的嵌入模型及持续优化系统,企业可以充分利用现有数据,实现高效的商业落地。
25 6
|
4天前
|
机器学习/深度学习 人工智能 开发框架
解锁AI新纪元:LangChain保姆级RAG实战,助你抢占大模型发展趋势红利,共赴智能未来之旅!
【10月更文挑战第4天】本文详细介绍检索增强生成(RAG)技术的发展趋势及其在大型语言模型(LLM)中的应用优势,如知识丰富性、上下文理解和可解释性。通过LangChain框架进行实战演练,演示从知识库加载、文档分割、向量化到构建检索器的全过程,并提供示例代码。掌握RAG技术有助于企业在问答系统、文本生成等领域把握大模型的红利期,应对检索效率和模型融合等挑战。
34 14
|
3天前
|
人工智能 算法 前端开发
首个 AI 编程认证课程上线!阿里云 AI Clouder 认证:基于通义灵码实现高效 AI 编码
为了帮助企业和开发者更好使用通义灵码,阿里云上线了“AI Clouder 认证课程--基于通义灵码实现高效 AI 编码”。本课程汇聚了后端、前端、算法领域 5 名实战派专家,带你体验 4 大研发场景实践,上手 3 大实操演练,深度掌握智能编码助手通义灵码,实现全栈 AI 编码技能跃升。
|
6天前
|
人工智能 算法 前端开发
首个 AI 编程认证课程上线!阿里云 AI Clouder 认证:基于通义灵码实现高效 AI 编码
为了帮助企业和开发者更好使用通义灵码,阿里云上线了“AI Clouder 认证课程--基于通义灵码实现高效 AI 编码”。本课程汇聚了后端、前端、算法领域 5 名实战派专家,带你体验 4 大研发场景实践,上手 3 大实操演练,深度掌握智能编码助手通义灵码,实现全栈 AI 编码技能跃升。
|
7天前
|
人工智能 调度 开发工具
xGPU来啦!免费GPU资源开发花样AI应用!
为了降低AI应用服务和推广的门槛,解决开发者面临的实际痛点,ModelScope社区推出 xGPU 服务,让大家能够免费使用高性能 GPU 资源,托管自己的AI应用服务。
|
7天前
|
人工智能 自然语言处理 搜索推荐
【云栖实录】大模型驱动,开源融合的AI搜索产品发布
本文介绍了2024云栖大会上阿里云发布的产品详情。
|
8天前
|
人工智能 自然语言处理 运维
干货|AI赋能教学开发-利用AI生成教案、课件和讲义
本文分享了高校教师利用AI工具设计课程方案和课件的经验,分为两部分。第一部分详细介绍使用GPT4o生成高质量课程大纲的过程,包括客户需求分析、提示词设计及优化调整。第二部分展示如何借助AIPPT快速制作精美课件,并介绍AIPPT的长文档解读和链接生成PPT等功能。此外,文章还分享了多个实用的AI工具、智能体和提示词技巧,助力提升教学效率与质量。
30 2
|
9天前
|
存储 人工智能 数据处理
Data+AI双轮驱动,阿里云存储服务全面升级
近日,2024云栖大会现场,阿里云宣布对其存储服务进行全面升级,围绕 Storage for AI 与 AI in Storage 两大领域,提出“4 Any + 3 AI ”的升级方向,揭示存储基础设施与AI的双向赋能路径。阿里云存储产品将支持更多AI业务高效创新, 同时 AI 技术也将助力基础设施迭代,支持企业更好地管理数据资产。
|
9天前
|
存储 人工智能 大数据
Data+AI双轮驱动,阿里云存储服务全面升级
近日,2024云栖大会现场,阿里云宣布对其存储服务进行全面升级,围绕Storage for AI与AI in Storage两大领域,提出“4任意+3智能”的升级方向,揭示存储与AI的双向赋能路径。阿里云存储产品将支持更多AI应用高效创新,同时AI也将助力基础设施迭代,助力企业更好地管理数据资产。
|
4天前
|
机器学习/深度学习 人工智能 自然语言处理
AI技术在自然语言处理中的应用与挑战
【10月更文挑战第3天】本文将探讨AI技术在自然语言处理(NLP)领域的应用及其面临的挑战。我们将分析NLP的基本原理,介绍AI技术如何推动NLP的发展,并讨论当前的挑战和未来的趋势。通过本文,读者将了解AI技术在NLP中的重要性,以及如何利用这些技术解决实际问题。