图文检索

简介: 图文检索简介

【Task简介】

图文检索任务,指的是通过对图片和文本进行跨模态理解,建模图文之间的相似性,从而为文本检索相关图片。在当今多媒体内容占互联网信息主导的背景下,图文检索能力在学术和工业界具有重要地位,是搜索、推荐等业务领域的关键问题。构建通用性强、检索效率高、检索准确的图文检索模型,是这一任务的主要目标。我们推出的中文CLIP模型,以简洁的双塔表征模型结构、大规模(~2亿)的中文图文预训练数据量、丰富的模型规模,在多个不同领域的中文图文检索评测下表现优异,是这一任务的不二选择。


【说明视频】


【输入与输出】

对输入的图像、文本数据进行特征提取




【场景应用】

利用中文CLIP模型,我们能够快速计算出给定图片和文本的向量化表征,并在此基础上打造一套简易以文搜图的图搜引擎。具体来说,在准备好检索图片池并为其计算好中文CLIP特征后,我们可以使用FAISS等索引工具构建KNN索引。之后对于用户输入的文本query,用中文CLIP模型在线计算文本表征,并给予FAISS进行KNN检索,便能快速返回相关图片,一个图搜引擎也就完成了。


【模型链接】

模型文件:https://www.modelscope.cn/models/damo/multi-modal_clip-vit-base-patch16_zh/summary

相关实践学习
基于函数计算实现AI推理
本场景基于函数计算建立一个TensorFlow Serverless AI推理平台。
相关文章
|
9月前
|
算法 搜索推荐 计算机视觉
图片相似度计算及检索调研
图片相似度计算和相似图片搜索,是图片识别领域两个常见的应用场景。例如搜索相似商品,和相似的图片,在百度、淘宝中都有应用。在某些业务中,也存在对图片相似度的计算和判断。因此,在这里简单介绍一下相关算法。
434 0
|
1月前
|
存储 数据处理 索引
大文本的全文检索方案附件索引
大文本的全文检索方案附件索引
63 0
|
11月前
|
搜索推荐 流计算 索引
|
1月前
|
人工智能 自然语言处理 开发工具
关键词感知检索
向量检索服务DashVector同时支持Dense Vector(稠密向量)和Sparse Vector(稀疏向量),前者用于模型的高维特征(Embedding)表达,后者用于关键词和词频信息表达。DashVector可以进行关键词感知的向量检索,即Dense Vector和Sparse Vector结合的混合检索。
关键词感知检索
|
10月前
|
人工智能 自然语言处理 算法
Similarities:精准相似度计算与语义匹配搜索工具包,多维度实现多种算法,覆盖文本、图像等领域,支持文搜、图搜文、图搜图匹配搜索
Similarities:精准相似度计算与语义匹配搜索工具包,多维度实现多种算法,覆盖文本、图像等领域,支持文搜、图搜文、图搜图匹配搜索
Similarities:精准相似度计算与语义匹配搜索工具包,多维度实现多种算法,覆盖文本、图像等领域,支持文搜、图搜文、图搜图匹配搜索
|
人工智能
批量提取某音视频文案(二)
介绍批量提取视频文案的流程, 以及做视频的步骤
427 0
|
前端开发 API 开发工具
批量提取某音文案
本文介绍了批量提取文案的思路, 以及操作过程中的问题的处理方法, 并给了详细的参考代码, 以及对应的文档.
239 0
|
自然语言处理 搜索推荐 算法
推荐系统:基于内容的过滤
此图像包含用户喜欢的电影的描述。根据用户喜欢的电影向用户推荐电影,需要使用这些描述得到一个数学形式,即文本应该是可测量的,然后通过与其他电影进行比较来找到相似的描述。 我们有各种电影和关于这些电影的数据。为了能够比较这些电影数据,需要对数据进行矢量化。在向量化这些描述时,必须创建所有电影描述(假设 n)和所有电影(假设 m)中的唯一词矩阵。列中有所有唯一的单词,行中有所有电影,每个单词在交叉点的电影中使用了多少。这样,文本就可以被矢量化。
235 0
|
存储 分布式计算 搜索推荐
OpenSearch图搜图、文搜图向量检索最佳实践
本文介绍如何通过OpenSearch【向量检索版】帮助企业在没有向量数据的情况下快速搭建图像搜索服务,解决图片向量化、向量搜索等检索难题,实现以图搜图、以文搜图等多种图像检索能力。并通过数据压缩功能,降低存储空间,降低业务成本,为企业提供效果、性能双保障。
2885 3
|
机器学习/深度学习 存储 自然语言处理
# 【推荐系统】:协同过滤和基于内容过滤概述
# 【推荐系统】:协同过滤和基于内容过滤概述
# 【推荐系统】:协同过滤和基于内容过滤概述