图文检索

本文涉及的产品
图像搜索,7款服务类型 1个月
简介: 图文检索简介

【Task简介】

图文检索任务,指的是通过对图片和文本进行跨模态理解,建模图文之间的相似性,从而为文本检索相关图片。在当今多媒体内容占互联网信息主导的背景下,图文检索能力在学术和工业界具有重要地位,是搜索、推荐等业务领域的关键问题。构建通用性强、检索效率高、检索准确的图文检索模型,是这一任务的主要目标。我们推出的中文CLIP模型,以简洁的双塔表征模型结构、大规模(~2亿)的中文图文预训练数据量、丰富的模型规模,在多个不同领域的中文图文检索评测下表现优异,是这一任务的不二选择。


【说明视频】


【输入与输出】

对输入的图像、文本数据进行特征提取




【场景应用】

利用中文CLIP模型,我们能够快速计算出给定图片和文本的向量化表征,并在此基础上打造一套简易以文搜图的图搜引擎。具体来说,在准备好检索图片池并为其计算好中文CLIP特征后,我们可以使用FAISS等索引工具构建KNN索引。之后对于用户输入的文本query,用中文CLIP模型在线计算文本表征,并给予FAISS进行KNN检索,便能快速返回相关图片,一个图搜引擎也就完成了。


【模型链接】

模型文件:https://www.modelscope.cn/models/damo/multi-modal_clip-vit-base-patch16_zh/summary

相关文章
|
自然语言处理 分布式计算 Java
基于OpenSearch向量检索版和智能问答版搭建企业专属对话搜索系统
本文将介绍如何使用OpenSearch向量检索版和智能问答版,搭建灵活自定义的企业专属对话搜索系统。
2017 1
|
1月前
|
Serverless
文本数据信息提取体验
文本数据信息提取体验
文本数据信息提取体验
|
7月前
|
文字识别 算法 API
视觉智能开放平台产品使用合集之人脸搜索返回的数据集,是如何进行排序的
视觉智能开放平台是指提供一系列基于视觉识别技术的API和服务的平台,这些服务通常包括图像识别、人脸识别、物体检测、文字识别、场景理解等。企业或开发者可以通过调用这些API,快速将视觉智能功能集成到自己的应用或服务中,而无需从零开始研发相关算法和技术。以下是一些常见的视觉智能开放平台产品及其应用场景的概览。
|
2月前
|
人工智能 搜索推荐 量子技术
关键词感知检索
【11月更文挑战第7天】关键词感知检索是一种先进的信息检索技术,通过识别、分析和匹配用户输入的关键词,提供更精准的搜索结果。它不仅涉及简单的字符串匹配,还考虑了关键词的语义关系、文本结构等因素。主要应用于搜索引擎、学术文献检索和企业内部文档管理等领域。未来的发展趋势包括语义理解的深化和多模态融合。
Nyx
|
3月前
|
算法
文档智能和检索增强生成构建知识库
本文介绍了文档智能(Document Mind)与检索增强生成(RAG)结合使用的原理及其优势。文档智能负责解析和结构化文档内容,RAG则利用这些数据提供准确的问答服务。部署过程中,清晰的步骤指导和详细的文档帮助快速解决问题。方案适用于企业知识库、客户支持系统等场景,但在处理大文档和复杂格式时需进一步优化。
Nyx
69 0
|
3月前
|
数据采集 自然语言处理 UED
文档智能和检索增强生成(RAG)技术
文档智能和检索增强生成(RAG)技术
|
3月前
|
机器学习/深度学习 自然语言处理 算法
[大语言模型-工程实践] 手把手教你-基于BERT模型提取商品标题关键词及优化改进
[大语言模型-工程实践] 手把手教你-基于BERT模型提取商品标题关键词及优化改进
351 0
|
5月前
PPT 提升素材搜索能力
PPT 提升素材搜索能力
21 0
|
8月前
|
人工智能 自然语言处理 Cloud Native
向量检索服务在语义检索、知识库搭建、AI多模态搜索等场景中有着广泛的应用
向量检索服务在语义检索、知识库搭建、AI多模态搜索等场景中有着广泛的应用
262 0
|
搜索推荐 流计算 索引

热门文章

最新文章