以图搜图系统概述

简介: 以图搜图系统概述

以图搜图系统概述

以图搜图指的是根据图像内容搜索出相似内容的图像。

构建一个以图搜图系统需要解决两个最关键的问题:首先,提取图像特征;其次,特征数据搜索引擎,即特征数据构建成数据库并提供相似性搜索的功能。

图像特征表示

介绍三种方式。

图像哈希

图像通过一系列的变换和处理最终得到的一组哈希值称之为图像的哈希值,而中间的变换和处理过程则称之为哈希算法。

图像的哈希值是对这张图像的整体抽象表示。

比如 Average Hash 算法的计算过程:

1.Reduce size : 将原图压缩到 8 x 8 即 64 像素大小,忽略细节。2.Reduce color : 灰度处理得到 64 级灰度图像。3.Average the colors : 计算 64 级灰度均值。4.Compute the bits : 二值化处理,将每个像素与上一步均值比较并分别记为 0 或者 1 。5.Construct the hash : 根据上一步结果矩阵构成一个 64 bit 整数,比如按照从左到右、从上到下的顺序。最后得到的就是图像的均值哈希值。

参考:http://www.hackerfactor.com/blog/?/archives/432-Looks-Like-It.html

图像哈希算法有很多种,包含但不限于:

AverageHash : 也叫 Different HashPHash : Perceptual HashMarrHildrethHash : Marr-Hildreth Operator Based HashRadialVarianceHash : Image hash based on Radon transformBlockMeanHash : Image hash based on block meanColorMomentHash : Image hash based on color moments

我们最常见可能就是 PHash

图像哈希可以对抗一定程度的水印、压缩、噪声等影响,即通过对比图像哈希值的 Hamming distance (汉明距离)可以判断两幅图像的内容是否相似。

图像的哈希值是对这张图像的整体抽象表示,局限性也很明显,由于是对图像整体进行的处理,一旦我们对整体性进行了破坏,比如在原图加一个黑边就几乎无法判断相似性了。

传统特征

在计算机视觉领域早期,创造了很多经典的特征算法,比如 SIFT

如上图所示,通过 SIFT 算法提取出来的一系列的特征点。

一幅图像提取出来的特征点有多个,且每一个特征点都是一个多维的局部向量,为了进行相似性计算,通常需要先将这一系列特征点融合编码为一个全局特征,也就是局部特征向量融合编码为一个全局特征向量(用这个全局特征向量表示一幅图像),融合编码相关的算法包括但不限于:

BOWFisher vectorVLAD

CNN 特性

人工智能兴起之后,基于 CNN 卷积神经网络提取图像特征越来越主流。

通过 CNN 提取出来的图像特征其实也是一个多维向量,比如使用 VGG16 模型提取特征可参考: https://keras.io/applications/#extract-features-with-vgg16

搜索引擎

由于将图像转换为了特征向量,因此搜索引擎所要做的就是其实就是向量检索。

这里直接推荐 Milvus ( https://www.milvus.io/ ),刚开源不久,可以很方便快捷的使用在工程项目上,具体的相关内容直接查阅官方文档即可。

目录
相关文章
|
8月前
|
机器学习/深度学习 存储 算法
如何判断两张图片的相似度?原来图片对比也可以如此简单!
本文介绍了图片对比技术在多个场景中的应用,如图片去重、内容审核、版权维权及相似图片搜索,并详细解析了两种主流的图片对比方法。第一种是**MD5指纹对比**,适合精确匹配完全相同的图片,具有速度快、简单易用的特点,但对稍作修改的图片无能为力。第二种是**图像哈希对比**,包括平均哈希、感知哈希等算法,能够判断图片的相似程度,适用于处理缩放、旋转或亮度调整后的图片,但在语义相似性上仍有局限。最后提到,随着机器学习和深度神经网络的发展,图片相似度判断技术将有更多可能性,值得进一步探索。
2981 6
如何判断两张图片的相似度?原来图片对比也可以如此简单!
|
存储 网络协议 数据安全/隐私保护
POP3/SMTP/IMAP邮件协议的区别
POP3/SMTP/IMAP邮件协议的区别
POP3/SMTP/IMAP邮件协议的区别
|
3月前
|
消息中间件 缓存 监控
拼多多平台API的功能及应用场景
拼多多开放API提供商品、订单、营销等核心功能接口,支持自动化运营与数据集成。涵盖商品同步、订单物流处理、优惠券秒杀、销售分析等场景,结合ERP/WMS系统可实现高效管理。通过OAuth认证、签名验证保障安全,建议采用异步处理、本地缓存与重试机制优化性能,助力商家提升运营效率与决策能力。
321 0
|
10月前
|
数据采集 SQL 人工智能
长文详解|DataWorks Data+AI一体化开发实战图谱
DataWorks是一站式智能大数据开发治理平台,内置阿里巴巴15年大数据建设方法论,深度适配阿里云MaxCompute、EMR、Hologres、Flink、PAI 等数十种大数据和AI计算服务,为数仓、数据湖、OpenLake湖仓一体数据架构提供智能化ETL开发、数据分析与主动式数据资产治理服务,助力“Data+AI”全生命周期的数据管理。
1634 5
|
机器学习/深度学习 数据采集 数据可视化
使用Python实现深度学习模型:智能舆情监测与分析
【8月更文挑战第16天】 使用Python实现深度学习模型:智能舆情监测与分析
1022 1
|
API
通用图片搜索-百度源免费API接口教程
该接口用于搜索百度图片,支持通过关键词、页码、结果数量等参数获取图片搜索结果。请求方式为POST或GET,需提供用户ID和KEY,可选参数包括关键词、页码、结果数量及返回源类型。返回结果包含状态码、信息提示、结果集、当前页码、最大页码和结果数量。示例中提供了GET和POST请求方法及返回数据示例。
1880 4
|
机器学习/深度学习 存储 自然语言处理
深度学习之模型剪枝
模型剪枝(Model Pruning)是深度学习中一种减少模型复杂度、提高计算效率的方法。通过删除冗余的神经元或连接,剪枝能够在不显著影响模型性能的前提下,减少模型参数数量、降低计算和存储需求。
789 3
|
资源调度 前端开发 JavaScript
web实现酷炫的canvas粒子动画背景
web实现酷炫的canvas粒子动画背景
732 0
|
移动开发 前端开发 JavaScript
前端和后端限制文件大小的具体实现方式
【5月更文挑战第3天】前端限制文件大小可使用HTML5的"accept"和"maxSize"属性或JavaScript的File API,后端则可通过判断文件字节大小、使用第三方库如Apache Commons FileUpload,或者在服务器框架如Flask、Spring中设置限制。Nginx也可作为反向代理设定上传限制,但可能影响用户体验。
1226 4
|
数据采集 存储 算法
「AIGC算法」图搜索算法详解
本文探讨了图搜索算法,包括遍历和最短路径搜索。DFS和BFS是遍历算法,前者使用栈深入搜索,后者用队列逐层遍历。Dijkstra、Bellman-Ford、A*、Floyd-Warshall和Johnson算法则解决最短路径问题。文中还给出了DFS的Python实现示例。这些算法在路径规划、网络分析等领域有重要应用。
933 0