Study - 基于Hu不变矩的图像检索技术

简介: Study - 基于Hu不变矩的图像检索技术

案例背景


  本案例介绍了基于内容的图像检索的基本知识,但主要研究的是基于形状的图像检索技术,通过提取图像特征并进行建库来进行智能检索。


本案例选择以图像Hu不变矩特征为标准来进行图像检索,其基本步骤为:首先,对待检索图像利用边缘检测算子进行边缘检测;其次,利用Hu的7个不变矩作为形状特征向量;再次,进行图像的相似度匹配;最后,在图像库中检索出最相近的Top10图像序列作为检索结果。实验结果表明,使用该算法可以有效地检索出相似的图像,具有一定的使用价值。



理论基础


  随着人们对多媒体信息检索需求的不断增加,传统的基于人工注解的图像检索系统无法实现灵活、高效、准确的图像检索,已远远不能满足人们的需求。为此,研究者们提出了基于内容的图像检索(Content-based Imagine Retrieval, CBIR), 该方法有效利用了图像自身特征并参考某些模式识别技术来进行高效能图像检索,其基本思路是:将图像的可视特征如颜色特征、纹理结构、边缘轮廓、位置关系等作为图像内容来进行匹配查找,利用已有的模式识别算法进行相似度计算,实现目标检索。


  其中,图像特征抽取和匹配完全可以借助于数字图像处理技术自动完成,节省了人工成本,提高了执行效。图像变换在离散数据的条件下往往是不连续的,除平移变换外,旋转和尺度等变换均会导致图像的像素数目变化,从而使计算结果产生误差,而基于不变矩的形状描述可以在一定程度上保存原有的形状信息,具有稳定性,因此可以选择不变矩作为特征进行图像检索。在实际处理过程中,图像的大小可能会影响不变矩特征值,所以在进行图像相似性匹配之前应将图像库中的图像进行尺寸统-一化操作,建立标准的图像库。


以一幅彩色RGB图像为例,计算其Hu不变矩特征量的过程为:首先,将- -幅彩色RGB的图像转换为灰度图像,对其进行二值化;然后,归一化二值图像的尺寸,提取边缘图像;最后,统一计算其Hu不变矩。其中,在得到二值边缘图像后,就可以利用不变矩的公式提取不变矩,组成特征向量。


  在实际处理过程中,考虑到图像库不变矩的计算复杂度较高,因此可以预先执行建库算法,提取其7个Hu不变矩特征,存放于图像的形状特征索引库中,将其提供给图像检索流程来执行图像查询,返回检索结果排序。其中,计算图像Hu不变矩并建库的过程如下所述。


1.边缘图像: 确定边缘提取算子对图像进行边缘提取,得到边缘图像。


2.提取轮廓: 确定边缘图像,并进行轮廓跟踪,得到外轮廓图像。


3.细化轮廓: 确定外轮廓图像,并进行预处理:首先,平滑轮廓得到连续的轮廓线,采用自适应二值化的方法二值化该轮廓线;然后,轮廓线细化操作;最后,提取连续平滑、单像素、二值化的外轮廓图像。


4.目标区域: 确定经过细化的外轮廓图像,并进行种子填充,获取图像的外轮廓线所包围的目标区 域作为输入图像。


5.不变矩计算: 确定目标区域图像,并计算目标区域的7个Hu不变矩,将其构造成这幅图像的形状 特征向量。


6.归一化: 确定形状特征向量,并对其进行内部归一.化处理,将特征值存入图像特征库。



程序实现


输入待检测图像:

image.png

根据检索排序:

image.png

灰度共生矩阵检索:

image.png

检索结果分析:

image.png

 通过实验可以看出,选择Hu不变矩作为特征来进行图像检索具有执行效率高、检索结果有效的特点。对于不同的图像,经过一系列的预处理流程,计算其Hu特征向量,再与原图像库数据进行比较,提取Top10结果图像作为输出,能在-定程度上反映图像检索的流程,具有一定的使用价值。


  虽然到目前为止,研究人员已经提出了许多特征提取的方法,但检索算法依然存在很多需要改进之处,如对图像的视觉内容描述及在此基础上的更高层次语义描述等。人们还很难确定选择哪种方法能够充分体现图像的内容,并适用于检索操作,使其具有良好的查全率和查准率。因此,为了不断完善对图像的特征描述,提高检索性能,还需要从以下几个方面深入研究。


1.形状特征定义


  形状特征定义指通过有效定义和提取具有普遍适用性的图像形状特征来提高检索算法的通用性。基于不变矩的形状特征具有局限性,并不适用于所有类型的图像,如色彩丰.富的自然风景、纹理丰富的天空等图像就不能采用该方法表述图像内容的特征。因此图像形状特征的定义和普遍的适用性仍然需要进--步的探索,这也是需要进一步研究的重要内容之一。


2.检索有效性


  检索有效性指通过提取能够更好地表达图像空间信息的有效特征,并将其简单化作为图像特征向量,进一步提高检索速度,研究具有良好鲁棒性的图像特征,提高检索的性能。这也是今后基于内容的图像特征提取的研究发展方向之一。


3.高层语义


  高层语义指通过对图像底层特征的提取,进一步实现基于语义的图像特征提取,并将其应用于检索智能程度的提升。因此,选择在CBIR技术的基础上对图像高层次的语义描述进行研究具有重要意义。但是,普遍的研究集中于人类的底层视觉特征,而用户对语义的理解要远高于底层特征的表达。因此,对图像的语义特征的表达和基于语义内容的图像检索将是今后研究的热点之一。



相关文章
|
算法
阿里云图像搜索技术创新-工业五金图片搜索
阿里云图像搜索产品3月17日正式发布工业五金搜索模型,通过大规模算法模型训练,可在海量五金图片素材中快速定位到图片中五金件的同款或相似款商品原图,识别过程中可有效避免图片方位变化、光照变化、背景场景变化等情况对搜索结果的影响。以此帮助工业五金电商商城、仓库等快速找到同款、相似款。通过输入工业五金类图片,可以在海量商品库中找到同款、相似款配件,并返回对应的配件信息,提升五金类产品购物效率,帮忙更多工业五金制造和零售等企业轻松上云。
449 57
阿里云图像搜索技术创新-工业五金图片搜索
|
7月前
|
机器学习/深度学习 存储 算法
阿里云国际站:拍立淘-以图搜图中的图像搜索算法是怎么样的?
@luotuoemo飞机@TG 阿里云国际站:拍立淘-以图搜图中的图像搜索算法是怎么样的?图像搜索在现代搜索系统中扮演了重要角色,尤其在电子商务网站如阿里巴巴等,它更是一个必不可少的功能。拍立淘是阿里云国际站的一个以图搜图功能,它使用了复杂的图像搜索算法进行图片匹配和识别。以下是对该算法的简单描述。
|
机器学习/深度学习 人工智能 开发者
关于阿里云的图像搜索的创建和使用
关于阿里云的图像搜索的创建和使用
关于阿里云的图像搜索的创建和使用
|
存储 前端开发 Serverless
阿里云视觉智能平台提供了人脸识别和图像搜索的API接口
阿里云视觉智能平台提供了人脸识别和图像搜索的API接口
1423 0
|
人工智能
阿里云产品体系分为6大分类——人工智能——分为10种模块——图像搜索
阿里云产品体系分为6大分类——人工智能——分为10种模块——图像搜索自制脑图
129 0
|
SQL 搜索推荐 TensorFlow
【最佳实践】阿里云 Elasticsearch 向量检索4步搭建“以图搜图”搜索引擎
“图片搜索”是作为导购类网站,比较常见的一种功能,其实现的方式也有多种。但如何做到快速、精准、简单等特性,本文给你答案。
11046 1
【最佳实践】阿里云 Elasticsearch 向量检索4步搭建“以图搜图”搜索引擎
|
算法
阿里云图像搜索应用篇-家具家居图片搜索
阿里云图像搜索产品于2022年3月17日正式发布家具家居图像搜索模型,通过大规模算法模型训练,可在海量图片素材中快速定位到与原图中的同款或相似款家居或家具图片,识别过程中可有效避免图片翻转、局部、颜色变换、款式微调、花纹变换等情况对搜索结果的影响,针对床上用品、家具、室内设计图等多个场景可快速找到相似图片或商品。可广泛应用于室内设计图片素材网站、 家纺类电商网站、家具家居类电商网站以及各种内容导购网站等。
484 0
阿里云图像搜索应用篇-家具家居图片搜索
|
机器学习/深度学习 存储 搜索推荐
阿里云图像搜索批量操作Quick Start
图像搜索(Image Search)以深度学习和机器视觉技术为核心,提取图片内容特征、建立图像搜索引擎,是一款用于图片间相似性检索的平台型产品。用户输入图片,可以快速在图片库中检索到与输入图片相似的图片集合。结合不同的行业和业务场景,图像搜索可广泛的应用于拍照购物、商品推荐、版权保护、图片相似推荐等场景。图像搜索可以通过批量操作功能批量导入阿里云OSS中的图片,或批量删除已经入库的图片,适用于较大规模的离线图片数据操作,稳定性高、速度快、操作方便。本文以商品图片搜索演示图片批量新增以供参考。
6812 0
阿里云图像搜索批量操作Quick Start
|
Java API 数据库
阿里云视觉智能开放平台--视觉搜索(图像搜索)使用教程
视觉搜索服务基于阿里云深度学习技术,进行视觉内容搜索,在指定图像图像库中搜索出相同或相似的视觉信息,适用于内容比对、内容精确查找、相似素材搜索等场景。
1212 0
阿里云视觉智能开放平台--视觉搜索(图像搜索)使用教程
|
XML 机器学习/深度学习 存储
阿里云图像搜索Quick Start
图像搜索服务(Image Search)是以深度学习和大规模机器学习技术为核心,通过图像识别和搜索功能,实现以图搜图的智能图像搜索产品。图像搜索服务在基于图像识别技术基础上,结合不同行业应用和业务场景,帮助用户实现相同或相似图片搜索。因为导入到实例的图片实例本身并不存储原始图片,所以在使用查询功能的时候,并不能直接返回原始图片或者可以直接访问的图片URL,需要使用者根据查询反馈的picname等信息自行到自己的图库中反查原始图片,这样给使用带来了很大的不便。
阿里云图像搜索Quick Start