背景
随着AIGC技术日新月异的发展,LLM应用也在持续迭代,检索增强生成(RAG)系统已经成为企业知识库、智能客服、电商导购等场景的核心环节。
除了基础的文本RAG能力外,支持图片、视频内容理解的多模态RAG成为优化对话效果、改善用户体验的重要一环。基于知识库中的操作流程图、商城数据库中的商品图等,为用户提供文字+图片结合的更生动的RAG效果。
OpenSearch LLM智能问答版内置数据解析与处理、切片、向量化、文本&向量检索、多模态LLM等模型和功能。本文将介绍如何使用OpenSearch LLM智能问答版搭建一站式多模态RAG系统。
多模态搜索
在企业中,大量信息以图片、视频的方式存储,以文搜图、以图搜图成为快速获取图片信息的有效方式。
OpenSearch基于图片理解大模型、图片向量模型,支持端到端快速构建多模态搜索系统。
为体验多模态搜索效果,OpenSearch基于钉钉AI助理和公开数据集,推出多模态查询助手demo。
多模态RAG
在多模态搜索基础上,OpenSearch结合文本生成大模型,面向企业知识库、电商导购等场景推出多模态RAG能力。
用户上传业务数据后,OpenSearch不仅能智能理解图片中的信息,还会以此作为参考,生成相应对话结果,提供基于企业知识库、商城商品库的RAG服务。
三步搭建流程
OpenSearch LLM智能问答版是一站式开箱即用的RAG产品,用户可分钟级构建多模态RAG系统。
Step 1:购买智能问答版实例
点击完成OpenSearch LLM智能问答版实例购买:https://common-buy.aliyun.com/?commodityCode=opensearch_openknowledge_public_cn&edition=llm
首购用户可享首月免费试用
Step 2:上传多模态数据文档
Step 3:问答效果测试
基于OpenSearch LLM智能问答版的多模态RAG应用搭建完成,可用于智能问答、电商导购等多种场景。
- 了解OpenSearch LLM智能问答版详情,可参考:https://www.aliyun.com/activity/bigdata/opensearch/llmsearch
- 如有RAG系统相关问题,欢迎加入OpenSearch LLM智能问答版钉钉支持群,了解更多技术细节和使用详情。