色彩空间变换与边缘、轮廓检测
在计算机视觉中有三种常用的色彩空间：
- 灰度色彩空间：除去彩色信息，将其图像转换成灰阶，常用于人脸检测
- BGR色彩空间：蓝-绿-红色彩空间，每个像素点由一个三元数组表示，数组中每个值代表一个颜色的
- HSV色彩空间：H（色调），S（饱和度），V（黑暗程度或明亮程度），常用于做图像颜色判定
1.傅里叶变换
这里引入一个概念：
把图像中的像素看成是由不同频率的波（声波）组成，那整个图像就是由不同波叠加得到的。通过波的信号变化强度可以知道图像像素的变化强度（通过像素值乘以卷积核观察像素值变化），从而标记出哪些是噪声区域，哪些是感兴趣区域，分离图像数据。
傅里叶变换：简单说就是通过像素图像乘以卷积核，得到一个新的像素图像（把图像中最明亮的像素放到图像中央，然后以这个像素为中心扩散逐渐变暗，在边缘的像素最暗）
与深度学习中cnn算法有点相似，都是需要乘以一个卷积核来改变数据特征，不同的是，cnn是降维度提取特征值，而傅里叶变换保持图像的维度不变。
1.1高通滤波器
高通滤波器（HPF）检测某个区域的像素，根据目标区域像素与周围像素的亮度差来提升该区域像素的亮度。
使用scipy进行图像转化调用方式如下：
scipy.ndimage.convolve1d(图像, 卷积核, axis=-1, output=None, mode=‘reflect’, cval=0.0, origin=0)
cv.GaussianBlur(图像,卷积核,Size)
具体python实现如下，这里定义了二个不同卷积核：
import numpy as np import cv2 as cv from scipy import ndimage kernel_3x3=np.array([[-1,-1,-1], [-1,8,-1], [-1,-1,-1]]) kernel_5x5=np.array([[-1,-1,-1,-1,-1], [-1,1,2,1,-1], [-1,2,4,2,-1], [-1,1,2,1,-1], [-1,-1,-1,-1,-1]]) img=cv.imread('data.jpg',0) k3=ndimage.convolve(img,kernel_3x3) k5=ndimage.convolve(img, kernel_5x5) blurred=cv.GaussianBlur(img, (11,11), 0) g_hpf=img-blurred cv.imshow("3x3",k3) cv.imshow("5x5",k5) cv.imshow("g_hpf", g_hpf) cv.waitKey() cv.destroyAllWindows()
1.2低通滤波器
低通滤波器与高通滤波器原理相同，将像素与周围像素低亮度差值小于一个特定值时，平滑该像素的亮度，它主要作用用于去噪和模糊化.
2.边缘检测
边缘检测：简单说通过一张图像，识别出图像中的物体或姿态形状。
在opencv中有很多边缘检测的滤波函数：Laplacian()、Sobel()、Scharr(),这些函数方法是将非边缘区域的图像转化为黑色，将边缘区域图像转为白色或其他饱和色。
存在问题：图像中若存在噪声，很容易错误的将噪声识别为边缘
解决办法：在找到边缘之前，先对图像进行模糊处理，blur()、medianBlur()、GaussianBlur()。
注意边缘检测函数与模糊滤波函数都有一个参数Ksize,它表示滤波核对的宽和高
在这里使用Laplacian与medianBlur函数对小姐姐图像进行边缘检测处理，具体流程：
先对图像进行模糊啊化medianBlur(图像,Ksize)
将图像转化为灰度图像
进行边缘检测Laplacian，将其转化为黑色边缘和白色背景的图像
像素数据值归一化，将像素值转化为0到1之间
将得到的检测图像乘以源图像，得到源图像的边缘检测图
#设定模糊滤波核宽和高 blurKsize=7 #设定边缘滤波核宽和高 edgeKsize=5 img=cv.imread('data.jpg') blurredSrc=cv.medianBlur(img, ksize=blurKsize) graySrc=cv.cvtColor(blurredSrc, cv.COLOR_BGR2GRAY) cv.Laplacian(graySrc, cv.CV_8U,graySrc,ksize=edgeKsize) #归一化转黑白 normalizedInverseAlpha=(1.0/255)*(255-graySrc) #将边缘生成到源图像中 channels=cv.split(img) for channel in channels: channel[:]=channel*normalizedInverseAlpha cv.imshow("merge",cv.merge(channels))
3.轮廓检测
边缘检测与轮廓检测区别：
边缘检测：是标识数字图像中亮度变化明显的点。图像属性中的显著变化通常反映了属性的重要事件和变化。 这些包括（i）深度上的不连续、（ii）表面方向不连续、（iii）物质属性变化和（iv）场景照明变化。
轮廓检测：提取出想要得到的轮廓 轮廓可能是边缘的一部分
关键函数：
cv.threshold(源图像,输出图像,thresh,maxval,type)
thresh：阈值
maxval：源图像像素最大值
type：阈值类型
type逻辑如下：
threshold_type=CV_THRESH_BINARY: if src(x,y)>threshold: dst(x,y) = max_value else: dst(x,y) = 0 threshold_type=CV_THRESH_BINARY_INV: if src(x,y)>threshold: dst(x,y) = 0 else: dst(x,y) = max_value threshold_type=CV_THRESH_TRUNC: if src(x,y)>threshold: dst(x,y) = threshold else: dst(x,y) = src(x,y) threshold_type=CV_THRESH_TOZERO: if src(x,y)>threshold: dst(x,y) = src(x,y) else: dst(x,y) = 0 threshold_type=CV_THRESH_TOZERO_INV: if src(x,y)>threshold: dst(x,y) = 0 else: dst(x,y) = src(x,y)
cv.findContours(阈值输出图像,mode)
mode：轮廓检索模式：
cv2.RETR_EXTERNAL：表示只检测外轮廓
cv2.RETR_LIST：检测的轮廓不建立等级关系
cv2.RETR_CCOMP：建立两个等级的轮廓，上面的一层为外边界，里面的一层为内孔的边界信息。如果内孔内还有一个连通物体，这个物体的边界也在顶层。
cv2.RETR_TREE：建立一个等级树结构的轮廓。
具体轮廓流程如下：
cv.threshold设置像素阈值，对图像像素进行分类
cv.findContours检索出轮廓
计算出一个简单的边界框
计算出包围目标的最小矩阵区域
img=cv.pyrDown(cv.imread('data.jpg',cv.IMREAD_UNCHANGED)) ret,thresh=cv.threshold(cv.cvtColor(img,cv.COLOR_BGR2GRAY),127,255,cv.THRESH_BINARY) contours,hier=cv.findContours(thresh, cv.RETR_EXTERNAL, cv.CHAIN_APPROX_SIMPLE) for c in contours: x,y,w,h=cv.boundingRect(c) cv.rectangle(img, (x,y), (x+w,y+h), (0,255,0),2) #找到最小区域 rect=cv.minAreaRect(c) #计算最小区域坐标 box=cv.boxPoints(rect) #坐标取整 box=np.int0(box) #画出轮廓框 cv.drawContours(img,[box],0,(0,0,255),3) cv.imshow("contours", img)
