图像特征提取与描述_角点特征01:Harris算法+Shi-Tomas算法

简介: Harris角点检测的思想是通过图像的局部的小窗口观察图像,角点的特征是窗口沿任意方向移动都会导致图像灰度的明显变化

815902569f6a467a99304f9ac1482386.png


1 Harris角点检测


1.1 原理


Harris角点检测的思想是通过图像的局部的小窗口观察图像,角点的特征是窗口沿任意方向移动都会导致图像灰度的明显变化,如下图所示:


eed370e006ce447a8bdc4c540feb3607.png


将上述思想转换为数学形式,即将局部窗口向各个方向移动(u,v)并计算所有灰度差异的总和,表达式如下:


82f4067a95c44366b6689fa61806e889.png


其中I(x,y)是局部窗口的图像灰度,I(x+u,y+v)是平移后的图像灰度,w(x,y)是窗口函数,该可以是矩形窗口,也可以是对每一个像素赋予不同权重的高斯窗口,如下所示:


83b8a3aaf1b446e381b945482b589b6b.png


角点检测中使E(u,v)的值最大。利用一阶泰勒展开有:


a00c3ba4658d4bb4b5adf35729650573.png


其中I_xIx和 I_yIy 是沿x和y方向的导数,可用sobel算子计算。


推导如下:


4cecdbe77469418ea54113a113b8f42f.png


M矩阵决定了E(u,v)的取值,下面我们利用M来求角点,M是Ix和Iy的二次项函数,可以表示成椭圆的形状,椭圆的长短半轴由M的特征值λ1和λ2决定,方向由特征矢量决定,如下图所示:


33e3c47342104faab097e68b7232b959.png


椭圆函数特征值与图像中的角点、直线(边缘)和平面之间的关系如下图所示。


220074b9478749c59d7bd415c049e939.png


共可分为三种情况:


  • 图像中的直线。一个特征值大,另一个特征值小,λ1>>λ2或 λ2>>λ1。椭圆函数值在某一方向上大,在其他方向上小。
  • 图像中的平面。两个特征值都小,且近似相等;椭圆函数数值在各个方向上都小。
  • 图像中的角点。两个特征值都大,且近似相等,椭圆函数在所有方向都增大


Harris给出的角点计算方法并不需要计算具体的特征值,而是计算一个角点响应值RR来判断角点。RR的计算公式为:


c0960b4701ab4fb48c5235334bbfe530.png


式中,detM为矩阵M的行列式;traceM为矩阵M的迹;α为常数,取值范围为0.04~0.06。事实上,特征是隐含在detM和traceM中,因为:


00c230a59b374b6f80a89dd22a3ac30e.png


那我们怎么判断角点呢?如下图所示:


70253b12e3ab44a28bf9b5efdf1453a2.png


  • 当R为大数值的正数时是角点
  • 当R为大数值的负数时是边界
  • 当R为小数是认为是平坦区域


1.2 实现


在OpenCV中实现Hariis检测使用的API是:


dst=cv.cornerHarris(src, blockSize, ksize, k)


参数:


  • img:数据类型为 float32 的输入图像。


  • blockSize:角点检测中要考虑的邻域大小。


  • ksize:sobel求导使用的核大小


  • k :角点检测方程中的自由参数,取值参数为 [0.04,0.06].


示例:


import cv2 as cv
import numpy as np
import matplotlib.pyplot as plt
# 1 读取图像,并转换成灰度图像
img = cv.imread('img/qipan.png')
gray = cv.cvtColor(img, cv.COLOR_BGR2GRAY)
# 2 角点检测
# 2.1 输入图像必须是 float32
gray = np.float32(gray)
# 2.2 最后一个参数在 0.04 到 0.05 之间
dst = cv.cornerHarris(gray, 2, 3, 0.04)
# 3 设置阈值,将角点绘制出来,阈值根据图像进行选择
# dst > 0.001 * dst.max() 返回一个img大小的Flase和True矩阵
img[dst > 0.001 * dst.max()] = [0, 0, 255]
# 4 图像显示
plt.figure(figsize=(10, 8), dpi=100)
plt.imshow(img[:, :, ::-1]), plt.title('Harris角点检测')
plt.xticks([]), plt.yticks([])
plt.show()


结果如下:


10ea9e52f35c4dc8a947a6f297305209.png


Harris角点检测的优缺点:


优点:


  • 旋转不变性,椭圆转过一定角度但是其形状保持不变(特征值保持不变)


  • 对于图像灰度的仿射变化具有部分的不变性,由于仅仅使用了图像的一介导数,对于图像灰度平移变化不变;对于图像灰度尺度变化不变


缺点:


  • 对尺度很敏感,不具备几何尺度不变性。


  • 提取的角点是像素级的


2 Shi-Tomasi角点检测


2.1 原理


Shi-Tomasi算法是对Harris角点检测算法的改进,一般会比Harris算法得到更好的角点。Harris 算法的角点响应函数是将矩阵 M 的行列式值与 M 的迹相减,利用差值判断是否为角点。后来Shi 和Tomasi 提出改进的方法是,若矩阵M的两个特征值中较小的一个大于阈值,则认为他是角点,即:


7875aafd327a4290a4ebeb543b5f930e.png


如下图所示:


c0e2ecec91584ea7bc3cf433cd92875d.png


从这幅图中,可以看出来只有当 λ1 和 λ2 都大于最小值时,才被认为是角点。


2.2 实现


在OpenCV中实现Shi-Tomasi角点检测使用API:


corners = cv2.goodFeaturesToTrack ( image, maxcorners, qualityLevel, minDistance )


参数:


  • Image: 输入灰度图像
  • maxCorners : 获取角点数的数目。
  • qualityLevel:该参数指出最低可接受的角点质量水平,在0-1之间。
  • minDistance:角点之间最小的欧式距离,避免得到相邻特征点。

返回:


  • Corners: 搜索到的角点,在这里所有低于质量水平的角点被排除掉,然后把合格的角点按质量排序,然后将质量较好的角点附近(小于最小欧式距离)的角点删掉,最后找到maxCorners个角点返回。


示例:


import numpy as np 
import cv2 as cv
import matplotlib.pyplot as plt
# 1 读取图像
img = cv.imread('./image/tv.jpg') 
gray = cv.cvtColor(img,cv.COLOR_BGR2GRAY)
# 2 角点检测
corners = cv.goodFeaturesToTrack(gray,1000,0.01,10)  
# 3 绘制角点
for i in corners:
    x,y = i.ravel()
    cv.circle(img,(x,y),2,(0,0,255),-1)
# 4 图像展示
plt.figure(figsize=(10,8),dpi=100)
plt.imshow(img[:,:,::-1]),plt.title('shi-tomasi角点检测')
plt.xticks([]), plt.yticks([])
plt.show()


结果如下:


f29b8f8e1e1a43e29a8eb3b5ebf5e19b.png


总结


1.Harris算法


思想:通过图像的局部的小窗口观察图像,角点的特征是窗口沿任意方向移动都会导致图像灰度的明显变化。


API: cv.cornerHarris()


2.Shi-Tomasi算法


对Harris算法的改进,能够更好地检测角点


API: cv2.goodFeatureToTrack()

目录
相关文章
|
机器学习/深度学习 算法 机器人
【水下图像增强融合算法】基于融合的水下图像与视频增强研究(Matlab代码实现)
【水下图像增强融合算法】基于融合的水下图像与视频增强研究(Matlab代码实现)
1105 0
|
编解码 算法
改进SIFT算法实现光学图像和SAR图像配准
改进SIFT算法实现光学图像和SAR图像配准
|
机器学习/深度学习 算法 机器人
使用哈里斯角Harris和SIFT算法来实现局部特征匹配(Matlab代码实现)
使用哈里斯角Harris和SIFT算法来实现局部特征匹配(Matlab代码实现)
614 8
|
机器学习/深度学习 算法 自动驾驶
基于导向滤波的暗通道去雾算法在灰度与彩色图像可见度复原中的研究(Matlab代码实现)
基于导向滤波的暗通道去雾算法在灰度与彩色图像可见度复原中的研究(Matlab代码实现)
814 8
|
存储 监控 算法
基于文化优化算法图像量化(Matlab代码实现)
基于文化优化算法图像量化(Matlab代码实现)
630 1
|
存储 算法 生物认证
基于Zhang-Suen算法的图像细化处理FPGA实现,包含testbench和matlab验证程序
本项目基于Zhang-Suen算法实现图像细化处理,支持FPGA与MATLAB双平台验证。通过对比,FPGA细化效果与MATLAB一致,可有效减少图像数据量,便于后续识别与矢量化处理。算法适用于字符识别、指纹识别等领域,配套完整仿真代码及操作说明。
|
机器学习/深度学习 监控 算法
基于单尺度Retinex和多尺度Retinex的图像增强算法实现
基于单尺度Retinex(SSR)和多尺度Retinex(MSR)的图像增强算法实现
1580 1
|
存储 算法 数据安全/隐私保护
基于FPGA的图像退化算法verilog实现,分别实现横向和纵向运动模糊,包括tb和MATLAB辅助验证
本项目基于FPGA实现图像运动模糊算法,包含横向与纵向模糊处理流程。使用Vivado 2019.2与MATLAB 2022A,通过一维卷积模拟点扩散函数,完成图像退化处理,并可在MATLAB中预览效果。
|
机器学习/深度学习 监控 并行计算
【图像增强】局部对比度增强的CLAHE算法直方图增强研究(Matlab代码实现)
【图像增强】局部对比度增强的CLAHE算法直方图增强研究(Matlab代码实现)
1553 0
|
机器学习/深度学习 传感器 数据采集
【23年新算法】基于鱼鹰算法OOA-Transformer-BiLSTM多特征分类预测附Matlab代码 (多输入单输出)(Matlab代码实现)
【23年新算法】基于鱼鹰算法OOA-Transformer-BiLSTM多特征分类预测附Matlab代码 (多输入单输出)(Matlab代码实现)
689 0

热门文章

最新文章