OpenSearch向量检索版和MaxCompute快速搭建图搜服务

本文涉及的产品
推荐全链路深度定制开发平台,高级版 1个月
简介: 本方案介绍用户在没有向量数据的情况下,通过直接导入图片源数据,在OpenSearch内部便捷完成图片向量化、向量搜索等步骤,实现以图搜图、以文搜图等多种图像检索能力。

方案介绍

本方案介绍用户在没有向量数据的情况下,通过直接导入图片源数据,在OpenSearch内部便捷完成图片向量化、向量搜索等步骤,实现以图搜图、以文搜图等多种图像检索能力。

方案预估:体验本方案预计费用不超过5元(假设选择最低规格资源,查询节点2核8GB、云盘型,数据节点2核16GB、云盘型,单数据节点存储空间100GB,且资源运行时间不超过120分钟。如调整了资源规格,请以控制台显示的实际报价以及最终账单为准)

应用场景

  • 以图搜图

图搜购物、相似物品引流、同款比价

  • 文本搜图

通过描述图片内容搜索图片

  • 拍照搜题

题目搜索、拍照翻译、OCR

  • 图片识别

人脸识别、版权保护

方案架构图

image.png

方案优势

  • 向量算法

OpenSearch支持 Linear(暴力检索)、QC(聚类)、HNSW三种算法。

其中QC算法,是基于量化聚类的向量检索算法,召回结果正确率极高,占用资源较少,性能较好,在低维度向量数据集上有更好表现,内存及存储占用只有Linear和HNSW的1/4,适用于对召回率没有严苛要求的大数据量检索场景。
HNSW是基于图的向量检索算法,召回率极高且性能较好,内存及存储占用与Linear相当,在低维度和高维度向量数据集上均有很好的表现,适用于大多数向量检索场景。


  • 向量化能力

OpenSearch内置向量embedding模型,支持直接导入图片/文本源数据,在OpenSearch内部一站式完成图片向量化和向量检索。

已支持模型:

  • clip图片转向量通用模型
  • clip图片转向量电商行业增强模型


  • 数据源支持

支持从其他阿里云数据库产品导入数据,进行索引构建与检索,降低数据批量导入成本。

目前支持:

  • MaxCompute
  • OSS


  • 索引版本热切换

OpenSearch后端管控提供了索引版本热切换能力,可实现不重启服务即切换索引版本(内部动态rolling切换),提升整体服务稳定性。

相关实践学习
简单用户画像分析
本场景主要介绍基于海量日志数据进行简单用户画像分析为背景,如何通过使用DataWorks完成数据采集 、加工数据、配置数据质量监控和数据可视化展现等任务。
SaaS 模式云数据仓库必修课
本课程由阿里云开发者社区和阿里云大数据团队共同出品,是SaaS模式云原生数据仓库领导者MaxCompute核心课程。本课程由阿里云资深产品和技术专家们从概念到方法,从场景到实践,体系化的将阿里巴巴飞天大数据平台10多年的经过验证的方法与实践深入浅出的讲给开发者们。帮助大数据开发者快速了解并掌握SaaS模式的云原生的数据仓库,助力开发者学习了解先进的技术栈,并能在实际业务中敏捷的进行大数据分析,赋能企业业务。 通过本课程可以了解SaaS模式云原生数据仓库领导者MaxCompute核心功能及典型适用场景,可应用MaxCompute实现数仓搭建,快速进行大数据分析。适合大数据工程师、大数据分析师 大量数据需要处理、存储和管理,需要搭建数据仓库?学它! 没有足够人员和经验来运维大数据平台,不想自建IDC买机器,需要免运维的大数据平台?会SQL就等于会大数据?学它! 想知道大数据用得对不对,想用更少的钱得到持续演进的数仓能力?获得极致弹性的计算资源和更好的性能,以及持续保护数据安全的生产环境?学它! 想要获得灵活的分析能力,快速洞察数据规律特征?想要兼得数据湖的灵活性与数据仓库的成长性?学它! 出品人:阿里云大数据产品及研发团队专家 产品 MaxCompute 官网 https://www.aliyun.com/product/odps 
相关文章
|
2月前
|
存储 数据可视化 数据管理
基于阿里云服务的数据平台架构实践
本文主要介绍基于阿里云大数据组件服务,对企业进行大数据平台建设的架构实践。
723 2
|
4月前
|
SQL 存储 大数据
某互联网大厂亿级大数据服务平台的建设和实践
某互联网大厂亿级大数据服务平台的建设和实践
68 0
|
26天前
|
分布式计算 运维 数据挖掘
MaxCompute是一个强大的云数据仓库服务
【4月更文挑战第1天】MaxCompute是一个强大的云数据仓库服务
25 1
|
1月前
|
数据采集 SQL 自然语言处理
阿里云OpenSearch RAG混合检索Embedding模型荣获C-MTEB榜单第一
阿里云OpenSearch引擎通过Dense和Sparse混合检索技术,在中文Embedding模型C-MTEB榜单上拿到第一名,超越Baichuan和众多开源模型,尤其在Retrieval任务上大幅提升。
435 3
|
3月前
|
分布式计算 搜索推荐 MaxCompute
基于OpenSearch向量检索版的多主体识别最佳实践
本文将介绍如何通过OpenSearch向量检索版,在图像搜索服务中进行多主体识别。
135990 9
|
3月前
|
自然语言处理 分布式计算 算法
通过OpenSearch向量检索版进行混合检索的最佳实践
本文介绍如何通过OpenSearch向量检索版,使用稀疏-稠密向量进行混合检索,获得更好的搜索效果。
1173 0
|
3月前
|
数据可视化 大数据 数据挖掘
瓴羊荣获2023虎啸奖“年度十大AI&大数据服务公司”“数智营销案例铜奖”双重大奖
瓴羊荣获2023虎啸奖“年度十大AI&大数据服务公司”“数智营销案例铜奖”双重大奖
|
4月前
|
SQL 存储 大数据
从0到1介绍一下开源大数据服务平台dataService
从0到1介绍一下开源大数据服务平台dataService
116 1
|
4月前
|
Prometheus 数据可视化 Cloud Native
助力工业物联网,工业大数据之服务域:可视化工具Grafana介绍【三十八】
助力工业物联网,工业大数据之服务域:可视化工具Grafana介绍【三十八】
104 1
|
4月前
|
存储 SQL Oracle
助力工业物联网,工业大数据之服务域:项目总结【三十九】
助力工业物联网,工业大数据之服务域:项目总结【三十九】
43 1

相关产品

  • 智能开放搜索 OpenSearch