顶级公司和反向图片搜索
有很多顶级的科技公司把RIQ用得很好。例如,Pinterest 2014年第一次实现视觉搜索。随后2015年它发布了一个白皮书,揭示了视觉搜索的结构。反向图片搜索使得Pinterest能够从时尚的东西中提取视觉元素,然后给消费者推荐类似的产品。
众所周知,Google图片使用反向图片搜索技术,它允许用户上传一张图片然后搜索相关的图片。上传的图片通过算法分析,制作出一个数学模型,然后跟Google数据库中成千上万的图片进行比较,直到找到匹配的或者相似的图片。
这是OpenCV2.4.9特性体验报告的一张图
算法和Python库
在我们动手之前,让我们大致看一下构建一个图片搜索需要哪些Python元素。
专利算法
SIFT(尺度不变特征变换)
使用图像标识符来识别相似图像的没有费用的专利技术。即使图片的尺寸、角度、深度不同,这项技术还是能将内容相似的图片匹配成功。
SIFT以大量的从图片中提取的特性作为搜索的标准。
能匹配相同物体从不同视角拍摄的图片,能够通过不变的特性进行搜索匹配。
SURF(加速鲁棒特征)算法
SURF和SIFT一样也是不收费的专利算法,可以说是加速版的SIFT。与SIFT不同的是,SURF使用盒过滤器近似高斯拉普拉斯算子。
SURF使用Hessian矩阵来判断图像的位置和大小。
在许多应用中,旋转不变性都不是一个必要条件,所以不用寻找方向的话算法速度会快很多。
SURF包含了几个特性使得计算的每一个步骤都得到了速度上的提升。图片经过旋转和模糊之后,SURF依旧工作的很好,而且比SIFT快3倍。不过在光源和视角变换方面SURF不太行。
OpenCV提供了SURF功能,SURF.compute和SURF.detect可以用来找到描述符和关键点。
开源算法
KAZE算法
KAZE是一个开源2D多尺度和新特性探测和描述算法,它运作于非线性尺度空间。添加剂算子分裂(AOS)的有效技术和可变热导扩散被用来构建非线性尺度空间。
多尺度图像处理的基础很简单–构建一个图像的尺度空间,然后用一个函数处理图像,增强图像的尺度或者时间。
AKAZE(加速KAZE)算法
从名字可以猜到,这个算法更快,它能快速找到两个图片之间匹配的关键。AKAZE使用一个二进制描述符和非线性尺度空间来平衡准确度和速度。
BRISK(二进制鲁棒尺度不变关键点)算法
BRISK在探测和匹配描述符和关键点方面很棒。
这个算法适应性很强的、尺度空间基于FAST的、使用bit-string描述符的探测器,它能够显著地加快搜索的速度。
尺度空间关键点探测和关键点描述有助于性能的优化
FREAK(快速视网膜关键点)算法
这是一个由人眼启发的新的关键点描述符。根据图像强度的比较有效地计算出一个二进制级联字符串。相比于BRISK, SURF 和 SIFT,FREAK计算更快,更省内存。
ORB(原生的FAST和旋转的BRIEF)
ORB是一个二进制描述符,它能够抗噪声并具有旋转不变性。ORB基于FAST关键点探测和BRIEF描述符,这两者共同造就了它的低消耗和高性能。
除了快速和准确的方向组件,计算原生BRIEF,分析变化以及与原生BRIEF的关系,是ORB的另一大特色。
Python库
OpenCV
OpenCF分学术使用版本和商用版本。作为一个开源机器学习和机器视觉库,OpenCV使得各类机构能够很容易地基于OpenCV构建自己的版本。
超过2500个优化的算法,包含目前最先进的机器学习和机器视觉算法,能够处理各类需求:人脸检测、物体鉴定、相机移动跟踪、寻找相似图片,眼球跟踪,场景识别等。
顶级公司像Google, Yahoo, IBM, Sony, Honda, Microsoft 和 Intel 都大量使用OpenCV库。
OpenCV使用Python, Java, C, C++ 和 MATLAB做编程接口,同时支持Windows, Linux, Mac OS 和 Android平台。
Python Imaging Library(PIL)
PIL在做图像及图形处理的时候支持若干种语言格式,它使得你的Python能够处理图像。
图像处理的标准流程包括图像增强,透明度和屏蔽处理,图像滤波,每像素的操作等。
构建图片搜索引擎
一个图片搜索引擎能够从已有的图片中挑出相似的图片,最受欢迎的就是Google的图片搜索引擎。对于新的图片搜索引擎项目,有很多构建的方法,这里列举一些:
使用图像提取,图像描述提取,元数据提取和搜索结果提取,建立一个图像搜索引擎。
定义你的图像描述符,对数据集进行索引,定义你的相似读矩阵,然后搜索并排名。
选择要搜索的图片,选择已有图片的文件夹,在文件夹中遍历图片,创建图片特征索引,用相同的特征和要搜索的图片进行匹配,获取能够匹配的图片。
我们的做法是一开始匹配图片的灰度版本,逐渐开始使用像SIFT 和 SURF这样复杂的特征匹配算法,最终使用了开源的算法BRISK。这些算法都只需要很小的修改,就能给出有效的结果。基于这些算法构建一个图像搜索引擎可以有很多应用,例如分析图像受欢迎程度,图片内物体的鉴定等等。
例子
一个IT公司需要为客户构建一个图像搜索引擎,功能是一个品牌的Logo提交进去,与这个品牌相关的图片都会显示出来。客户可以根据搜索的结果,分析一个品牌在一个地区的受欢迎程度。这项技术还处于应用的早期,RIQ的潜力还没有完全被发觉出来。
译者:诗书塞外
来源:51CTO