图文检索

简介: 图文检索简介

【Task简介】

图文检索任务,指的是通过对图片和文本进行跨模态理解,建模图文之间的相似性,从而为文本检索相关图片。在当今多媒体内容占互联网信息主导的背景下,图文检索能力在学术和工业界具有重要地位,是搜索、推荐等业务领域的关键问题。构建通用性强、检索效率高、检索准确的图文检索模型,是这一任务的主要目标。我们推出的中文CLIP模型,以简洁的双塔表征模型结构、大规模(~2亿)的中文图文预训练数据量、丰富的模型规模,在多个不同领域的中文图文检索评测下表现优异,是这一任务的不二选择。


【说明视频】


【输入与输出】

对输入的图像、文本数据进行特征提取




【场景应用】

利用中文CLIP模型,我们能够快速计算出给定图片和文本的向量化表征,并在此基础上打造一套简易以文搜图的图搜引擎。具体来说,在准备好检索图片池并为其计算好中文CLIP特征后,我们可以使用FAISS等索引工具构建KNN索引。之后对于用户输入的文本query,用中文CLIP模型在线计算文本表征,并给予FAISS进行KNN检索,便能快速返回相关图片,一个图搜引擎也就完成了。


【模型链接】

模型文件:https://www.modelscope.cn/models/damo/multi-modal_clip-vit-base-patch16_zh/summary

相关文章
|
机器学习/深度学习 人工智能 算法
【视觉智能产品速递——人物动漫化能力上新】
VIAPI—人物动漫化!新增风格版本发布。 产品功能:人物动漫化——输入一张人物图像,生成其二次元卡通形象,返回卡通化后的结果图像。 🔥🔥🔥 本次更新风格:国风工笔画、港漫风
2209 4
【视觉智能产品速递——人物动漫化能力上新】
|
机器学习/深度学习 自然语言处理 算法
跨模态学习能力再升级,EasyNLP电商文图检索效果刷新SOTA
本⽂简要介绍我们在电商下对CLIP模型的优化,以及上述模型在公开数据集上的评测结果。最后,我们介绍如何在EasyNLP框架中调用上述电商CLIP模型。
|
存储 人工智能 测试技术
图像相似度比较之 CLIP or DINOv2
图像相似度比较之 CLIP or DINOv2
|
人工智能 自然语言处理 搜索推荐
AI 搜索 MCP 最佳实践
本文介绍了如何通过 MCP 协议,快速调用阿里云 OpenSearch 、ElasticSearch 等工具,帮助企业快速集成工具链、降低开发复杂度、提升业务效率。
1598 29
AI 搜索 MCP 最佳实践
|
5月前
|
存储 人工智能 自然语言处理
阿里云骡子快跑 MuleRun详解:功能用途、收费标准及完整使用指南
阿里云MuleRun(骡子快跑)是一站式AI原生智能工作空间,支持自然语言驱动任务执行,具备四层记忆、主动智能与可信沙箱等能力,深度集成电商、CRM等数据源,助力企业自动化运营、多平台触达与分析提效。提供Team版(420元/席/月)和Enterprise版(2500元/席/年)。MuleRun(骡子快跑)官网:https://t.aliyun.com/U/gSCv7v
|
存储 算法 数据可视化
《从PC到移动端:开放世界枫景实时全局光照的全平台适配方案》
本文围绕开放世界3A项目中枫林场景的实时全局光照开发展开,记录从解决动态物体与静态烘焙光照断层问题切入,逐步落地技术方案的全过程。先对比选定改良版SSGI方案,通过“分层深度缓冲”解决透明枫叶光照计算缺陷;再针对移动端性能瓶颈,建立设备分级渲染策略并优化内存占用;随后打通全局光照与动态天气系统的协同接口,解决天气变化时的光照矛盾;还探索光线追踪技术,开发工具排查光线泄露问题;最后尝试“NeRF+实时全局光照”融合方案,突破远场场景光照细节不足的局限。
496 7
|
10月前
|
数据采集 文字识别 BI
RAG 只做文本已经不够了:多模态问答的工程化落地指南
本文深入探讨多模态RAG的工程落地挑战与实践方案,揭示为何仅处理文本已无法满足企业真实需求。从图像、表格等多模态数据的解析、语义对齐、检索融合到生成控制,系统梳理三层架构与四大关键步骤,助力构建真正可用的多模态问答系统。
|
11月前
|
存储 弹性计算 测试技术
5 款高性价比阿里云服务器测评:覆盖个人 / 企业全场景,省钱又实用
阿里云服务器持续推出高性价比配置,结合实例性能、价格优势与实际使用场景,筛选出 5 款热门爆品。本文从配置参数、核心优势、适用场景等维度展开测评,帮不同需求的用户精准选择,避开选购误区。
|
存储 监控 算法
1688 图片搜索逆向实战:CLIP 多模态融合与特征向量落地方案
本文分享基于CLIP模型与逆向工程实现1688图片搜同款的实战方案。通过抓包分析破解接口签名,结合CLIP多模态特征提取与Faiss向量检索,提升搜索准确率至91%,单次响应低于80ms,日均选品效率提升4倍,全程合规可复现。
|
消息中间件 缓存 JSON
1688拍立淘API实战指南:以图搜货解锁B2B采购新效率
1688拍立淘API(alibaba.ai.vision.product.search)通过“以图搜货”技术,助力企业快速匹配同款商品,解决B2B采购中“有图无货号、找货效率低”等痛点。支持图片上传、批量处理与全维度数据返回,结合合规性与高精度,重构供应链寻源模式,提升采购效率十倍以上。

热门文章

最新文章