图文检索

简介: 图文检索

【Task简介】

图文检索任务,指的是通过对图片和文本进行跨模态理解,建模图文之间的相似性,从而为文本检索相关图片。在当今多媒体内容占互联网信息主导的背景下,图文检索能力在学术和工业界具有重要地位,是搜索、推荐等业务领域的关键问题。构建通用性强、检索效率高、检索准确的图文检索模型,是这一任务的主要目标。我们推出的中文CLIP模型,以简洁的双塔表征模型结构、大规模(~2亿)的中文图文预训练数据量、丰富的模型规模,在多个不同领域的中文图文检索评测下表现优异,是这一任务的不二选择。

【说明视频】

image.png

点击链接查看视频:https://www.yuque.com/modelscope/rdum8e/bl77r9?inner=DkBVM

【输入与输出】

对输入的图像、文本数据进行特征提取

image.png

【场景应用】

利用中文CLIP模型,我们能够快速计算出给定图片和文本的向量化表征,并在此基础上打造一套简易以文搜图的图搜引擎。具体来说,在准备好检索图片池并为其计算好中文CLIP特征后,我们可以使用FAISS等索引工具构建KNN索引。之后对于用户输入的文本query,用中文CLIP模型在线计算文本表征,并给予FAISS进行KNN检索,便能快速返回相关图片,一个图搜引擎也就完成了。

【数据集链接】

数据集:后续增加

模型文件:https://www.modelscope.cn/models/damo/multi-modal_clip-vit-base-patch16_z

相关文章
|
前端开发 Java Spring
架构设计的分层架构
架构设计的分层架构
|
算法 自动驾驶 数据挖掘
3D检测:DETR3D
3D检测:DETR3D
838 0
3D检测:DETR3D
|
8月前
|
运维 安全 Serverless
搜索 ≠ 简单匹配!0代码实现语义级图文互搜
在非结构化数据爆发增长的背景下,传统图文检索方式已难以满足企业对高效、精准搜索的需求。本方案介绍如何借助阿里云 Milvus 实现高效的多模态图文检索,适用于电商、政务、媒体等多个场景。方案具备开箱即用、性能强劲、高可用及安全防护等优势,结合百炼模型服务与函数计算,助力企业快速构建智能搜索系统,降低运维成本,提升业务创新能力。
|
7月前
|
人工智能 自然语言处理 Serverless
阿里云 Milvus 轻松实现文搜图&图搜图
阿里云Milvus是一款高性能、易扩展的云原生向量检索引擎,适用于推荐系统、图像检索、自然语言处理等AI场景。它支持海量向量数据实时召回,并提供直观API和多语言SDK。结合阿里云百炼模型服务与函数计算,可轻松实现文搜图、图搜图等多模态检索应用,助力企业高效开发智能搜索系统。
|
存储 算法 索引
|
监控 关系型数据库 MySQL
数据库优化:MySQL索引策略与查询性能调优实战
【10月更文挑战第27天】本文深入探讨了MySQL的索引策略和查询性能调优技巧。通过介绍B-Tree索引、哈希索引和全文索引等不同类型,以及如何创建和维护索引,结合实战案例分析查询执行计划,帮助读者掌握提升查询性能的方法。定期优化索引和调整查询语句是提高数据库性能的关键。
1194 1
|
JavaScript 前端开发 测试技术
JS都有哪些操作数组的方法
JS都有哪些操作数组的方法
461 3
|
缓存 负载均衡 测试技术
企业系统工程(Enterprise Systems Engineering, ESE)是一个跨学科的领域,它应用系统工程的原则和方法来规划、设计、实施和管理复杂的组织系统,特别是那些涉及信息技术(IT)和商业流程的系统。
企业系统工程(Enterprise Systems Engineering, ESE)是一个跨学科的领域,它应用系统工程的原则和方法来规划、设计、实施和管理复杂的组织系统,特别是那些涉及信息技术(IT)和商业流程的系统。
|
运维 监控 Cloud Native
轻松构建全栈观测,从容应对咖啡产业竞争
轻松构建全栈观测,从容应对咖啡产业竞争
1401 105
|
算法 Java API
在Spring Boot中实现接口签名验证通常涉及以下步骤
在Spring Boot中实现接口签名验证通常涉及以下步骤
1557 4

热门文章

最新文章