案例背景
本案例介绍了基于内容的图像检索的基本知识,但主要研究的是基于形状的图像检索技术,通过提取图像特征并进行建库来进行智能检索。
本案例选择以图像Hu不变矩特征为标准来进行图像检索,其基本步骤为:首先,对待检索图像利用边缘检测算子进行边缘检测;其次,利用Hu的7个不变矩作为形状特征向量;再次,进行图像的相似度匹配;最后,在图像库中检索出最相近的Top10图像序列作为检索结果。实验结果表明,使用该算法可以有效地检索出相似的图像,具有一定的使用价值。
理论基础
随着人们对多媒体信息检索需求的不断增加,传统的基于人工注解的图像检索系统无法实现灵活、高效、准确的图像检索,已远远不能满足人们的需求。为此,研究者们提出了基于内容的图像检索(Content-based Imagine Retrieval, CBIR), 该方法有效利用了图像自身特征并参考某些模式识别技术来进行高效能图像检索,其基本思路是:将图像的可视特征如颜色特征、纹理结构、边缘轮廓、位置关系等作为图像内容来进行匹配查找,利用已有的模式识别算法进行相似度计算,实现目标检索。
其中,图像特征抽取和匹配完全可以借助于数字图像处理技术自动完成,节省了人工成本,提高了执行效。图像变换在离散数据的条件下往往是不连续的,除平移变换外,旋转和尺度等变换均会导致图像的像素数目变化,从而使计算结果产生误差,而基于不变矩的形状描述可以在一定程度上保存原有的形状信息,具有稳定性,因此可以选择不变矩作为特征进行图像检索。在实际处理过程中,图像的大小可能会影响不变矩特征值,所以在进行图像相似性匹配之前应将图像库中的图像进行尺寸统-一化操作,建立标准的图像库。
以一幅彩色RGB图像为例,计算其Hu不变矩特征量的过程为:首先,将- -幅彩色RGB的图像转换为灰度图像,对其进行二值化;然后,归一化二值图像的尺寸,提取边缘图像;最后,统一计算其Hu不变矩。其中,在得到二值边缘图像后,就可以利用不变矩的公式提取不变矩,组成特征向量。
在实际处理过程中,考虑到图像库不变矩的计算复杂度较高,因此可以预先执行建库算法,提取其7个Hu不变矩特征,存放于图像的形状特征索引库中,将其提供给图像检索流程来执行图像查询,返回检索结果排序。其中,计算图像Hu不变矩并建库的过程如下所述。
1.边缘图像: 确定边缘提取算子对图像进行边缘提取,得到边缘图像。
2.提取轮廓: 确定边缘图像,并进行轮廓跟踪,得到外轮廓图像。
3.细化轮廓: 确定外轮廓图像,并进行预处理:首先,平滑轮廓得到连续的轮廓线,采用自适应二值化的方法二值化该轮廓线;然后,轮廓线细化操作;最后,提取连续平滑、单像素、二值化的外轮廓图像。
4.目标区域: 确定经过细化的外轮廓图像,并进行种子填充,获取图像的外轮廓线所包围的目标区 域作为输入图像。
5.不变矩计算: 确定目标区域图像,并计算目标区域的7个Hu不变矩,将其构造成这幅图像的形状 特征向量。
6.归一化: 确定形状特征向量,并对其进行内部归一.化处理,将特征值存入图像特征库。
程序实现
输入待检测图像:
根据检索排序:
灰度共生矩阵检索:
检索结果分析:
通过实验可以看出,选择Hu不变矩作为特征来进行图像检索具有执行效率高、检索结果有效的特点。对于不同的图像,经过一系列的预处理流程,计算其Hu特征向量,再与原图像库数据进行比较,提取Top10结果图像作为输出,能在-定程度上反映图像检索的流程,具有一定的使用价值。
虽然到目前为止,研究人员已经提出了许多特征提取的方法,但检索算法依然存在很多需要改进之处,如对图像的视觉内容描述及在此基础上的更高层次语义描述等。人们还很难确定选择哪种方法能够充分体现图像的内容,并适用于检索操作,使其具有良好的查全率和查准率。因此,为了不断完善对图像的特征描述,提高检索性能,还需要从以下几个方面深入研究。
1.形状特征定义
形状特征定义指通过有效定义和提取具有普遍适用性的图像形状特征来提高检索算法的通用性。基于不变矩的形状特征具有局限性,并不适用于所有类型的图像,如色彩丰.富的自然风景、纹理丰富的天空等图像就不能采用该方法表述图像内容的特征。因此图像形状特征的定义和普遍的适用性仍然需要进--步的探索,这也是需要进一步研究的重要内容之一。
2.检索有效性
检索有效性指通过提取能够更好地表达图像空间信息的有效特征,并将其简单化作为图像特征向量,进一步提高检索速度,研究具有良好鲁棒性的图像特征,提高检索的性能。这也是今后基于内容的图像特征提取的研究发展方向之一。
3.高层语义
高层语义指通过对图像底层特征的提取,进一步实现基于语义的图像特征提取,并将其应用于检索智能程度的提升。因此,选择在CBIR技术的基础上对图像高层次的语义描述进行研究具有重要意义。但是,普遍的研究集中于人类的底层视觉特征,而用户对语义的理解要远高于底层特征的表达。因此,对图像的语义特征的表达和基于语义内容的图像检索将是今后研究的热点之一。