图文检索

本文涉及的产品
交互式建模 PAI-DSW,每月250计算时 3个月
模型在线服务 PAI-EAS,A10/V100等 500元 1个月
模型训练 PAI-DLC,100CU*H 3个月
简介: 图文检索

【Task简介】

图文检索任务,指的是通过对图片和文本进行跨模态理解,建模图文之间的相似性,从而为文本检索相关图片。在当今多媒体内容占互联网信息主导的背景下,图文检索能力在学术和工业界具有重要地位,是搜索、推荐等业务领域的关键问题。构建通用性强、检索效率高、检索准确的图文检索模型,是这一任务的主要目标。我们推出的中文CLIP模型,以简洁的双塔表征模型结构、大规模(~2亿)的中文图文预训练数据量、丰富的模型规模,在多个不同领域的中文图文检索评测下表现优异,是这一任务的不二选择。

【说明视频】

image.png

点击链接查看视频:https://www.yuque.com/modelscope/rdum8e/bl77r9?inner=DkBVM

【输入与输出】

对输入的图像、文本数据进行特征提取

image.png

【场景应用】

利用中文CLIP模型,我们能够快速计算出给定图片和文本的向量化表征,并在此基础上打造一套简易以文搜图的图搜引擎。具体来说,在准备好检索图片池并为其计算好中文CLIP特征后,我们可以使用FAISS等索引工具构建KNN索引。之后对于用户输入的文本query,用中文CLIP模型在线计算文本表征,并给予FAISS进行KNN检索,便能快速返回相关图片,一个图搜引擎也就完成了。

【数据集链接】

数据集:后续增加

模型文件:https://www.modelscope.cn/models/damo/multi-modal_clip-vit-base-patch16_z

相关文章
|
前端开发 Java Spring
架构设计的分层架构
架构设计的分层架构
|
算法 自动驾驶 数据挖掘
3D检测:DETR3D
3D检测:DETR3D
722 0
3D检测:DETR3D
|
4月前
|
运维 安全 Serverless
搜索 ≠ 简单匹配!0代码实现语义级图文互搜
在非结构化数据爆发增长的背景下,传统图文检索方式已难以满足企业对高效、精准搜索的需求。本方案介绍如何借助阿里云 Milvus 实现高效的多模态图文检索,适用于电商、政务、媒体等多个场景。方案具备开箱即用、性能强劲、高可用及安全防护等优势,结合百炼模型服务与函数计算,助力企业快速构建智能搜索系统,降低运维成本,提升业务创新能力。
|
3月前
|
人工智能 自然语言处理 Serverless
阿里云 Milvus 轻松实现文搜图&图搜图
阿里云Milvus是一款高性能、易扩展的云原生向量检索引擎,适用于推荐系统、图像检索、自然语言处理等AI场景。它支持海量向量数据实时召回,并提供直观API和多语言SDK。结合阿里云百炼模型服务与函数计算,可轻松实现文搜图、图搜图等多模态检索应用,助力企业高效开发智能搜索系统。
|
编解码 JSON 数据可视化
DeepSeek VL系列开源,魔搭社区模型微调最佳实践教程来啦!
3月11日,DeepSeek-AI开源了全新多模态大模型DeepSeek-VL系列,包含1.3b、7b两种不同规模的4个版本的模型。
|
SQL Java 关系型数据库
实时数仓 Hologres产品使用合集之如何安装和使用Java SDK
实时数仓Hologres是阿里云推出的一款高性能、实时分析的数据库服务,专为大数据分析和复杂查询场景设计。使用Hologres,企业能够打破传统数据仓库的延迟瓶颈,实现数据到决策的无缝衔接,加速业务创新和响应速度。以下是Hologres产品的一些典型使用场景合集。
|
负载均衡 Java Nacos
Spring Boot 单体应用升级 Spring Cloud 微服务
Spring Boot 单体应用升级 Spring Cloud 微服务
138909 117
|
缓存 负载均衡 测试技术
企业系统工程(Enterprise Systems Engineering, ESE)是一个跨学科的领域,它应用系统工程的原则和方法来规划、设计、实施和管理复杂的组织系统,特别是那些涉及信息技术(IT)和商业流程的系统。
企业系统工程(Enterprise Systems Engineering, ESE)是一个跨学科的领域,它应用系统工程的原则和方法来规划、设计、实施和管理复杂的组织系统,特别是那些涉及信息技术(IT)和商业流程的系统。
|
运维 监控 Cloud Native
轻松构建全栈观测,从容应对咖啡产业竞争
轻松构建全栈观测,从容应对咖啡产业竞争
1213 119
|
Java easyexcel 数据库连接
SpringBoot使用EasyExcel将Excel数据直接转换为类对象
SpringBoot使用EasyExcel将Excel数据直接转换为类对象
519 0

热门文章

最新文章