十三、图像拼接
1、基础知识
原始图像：
结果图像：
图像拼接的步骤：
- 读取图像并重置尺寸
- 根据特征点和描述子，得到单应性矩阵
- 图像变换
- 图像拼接并输出图像
坐标系：
单应性矩阵变换：
放大窗口：
图像平移：
2、读取图像，设置相同尺寸
# 第一步，读取文件，将图片设置成一样大小，640*480（跟实际图像最接近的尺寸） img1 = cv2.imread('../resource/hill_left.png') img2 = cv2.imread('../resource/hill_right.png') img1 = cv2.resize(img1, (640, 480)) img2 = cv2.resize(img2, (640, 480)) cv2.imshow('Hill', np.hstack((img1, img2))) cv2.waitKey(0) cv2.destroyAllWindows()
3、找特征点、描述子，计算单应性矩阵
# 计算单应性矩阵的方法 def get_homo(img1, img2): # 1.创建特征转换对象 sift = cv2.xfeatures2d.SIFT_create() # 2.通过特征转换对象获得特征点和描述子 k1, d1 = sift.detectAndCompute(img1, None) # k1为特征点，d1为描述子 k2, d2 = sift.detectAndCompute(img2, None) # 3.创建特征匹配 # 4.进行特征匹配 # 5.过滤特征，找出有效的特征匹配点 bf = cv2.BFMatcher() # 采用暴力特征匹配 matches = bf.knnMatch(d1, d2, k=2) # 匹配特征点 verify_ratio = 0.8 # 过滤 verify_matches = [] for m1, m2 in matches: # m1,m2之间的距离越小越好，小于0.8认为有效，大于0.8无效 if m1.distance < verify_ratio * m2.distance: verify_matches.append(m1) # 最小匹配数 min_matches = 8 if len(verify_matches) > min_matches: img1_pts = [] img2_pts = [] for m in verify_matches: img1_pts.append(k1[m.queryIdx].pt) # 图像1的坐标特征点 img2_pts.append(k2[m.trainIdx].pt) # 图像2的坐标特征点 # [(x1, y1), (x2, y2), ...] # [[x1, y1], [x2, y2], ...] img1_pts = np.float32(img1_pts).reshape(-1, 1, 2) # 适应findHomography的格式 img2_pts = np.float32(img2_pts).reshape(-1, 1, 2) H, mask = cv2.findHomography(img1_pts, img2_pts, cv2.RANSAC, 5.0) # 获取单应性矩阵 return H else: print('error: Not enough matches!') exit() # 第二步，找特征点，计算描述子，计算单应性矩阵 H = get_homo(img1, img2) # 获得单应性矩阵
4、根据单应性矩阵对图像进行变换，然后再平移
def stitch_image(img1, img2, H): # 1.获得每张图片的4个角点 # 2.对图片进行变换，通过单应性矩阵使图像进行旋转，然后进行平移 # 3.创建一张大图，将两张图拼接到一起 # 4.将结果输出 h1, w1 = img1.shape[:2] # 获得原始图的高和宽 h2, w2 = img2.shape[:2] img1_dims = np.float32([[0, 0], [0, h1], [w1, h1], [w1, 0]]).reshape(-1, 1, 2) # 四个角点逆时针进行排序 img2_dims = np.float32([[0, 0], [0, h2], [w2, h2], [w2, 0]]).reshape(-1, 1, 2) # 图像变换 img1_transform = cv2.perspectiveTransform(img1_dims, H) # print(img1_dims) # print(img2_dims) # print(img1_transform) result_dims = np.concatenate((img2_dims, img1_transform), axis=0) # 横向拼接，主要是为了求出图像的最大值最小值 # print(result_dims) # 混合后的结果 [x_min, y_min] = np.int32( result_dims.min(axis=0).ravel() - 0.5) # axis=0按x轴获取数值，ravel()将二维变为一维，根据四舍五入的原则，最小值-0.5，最大值+0.5 [x_max, y_max] = np.int32(result_dims.max(axis=0).ravel() + 0.5) # 平移的距离 transform_dist = [-x_min, -y_min] # 最小的x距离和y # [1, 0, dx] # [0, 1, dy] # [0, 0, 1 ] # 矩阵平移的方法，乘以一个齐次矩阵 transform_array = np.array([[1, 0, transform_dist[0]], [0, 1, transform_dist[1]], [0, 0, 1]]) # 投影变换 result_img = cv2.warpPerspective(img1, transform_array.dot(H), (x_max - x_min, y_max - y_min)) result_img[transform_dist[1]:transform_dist[1] + h2, transform_dist[0]:transform_dist[0] + w2] = img2 return result_img # 第三步，根据单应性矩阵对图像进行变换，然后平移 result_image = stitch_image(img1, img2, H) # 进行图像拼接
5、拼接并输出最终结果（完整代码）
import cv2 import numpy as np def stitch_image(img1, img2, H): # 1.获得每张图片的4个角点 # 2.对图片进行变换，通过单应性矩阵使图像进行旋转，然后进行平移 # 3.创建一张大图，将两张图拼接到一起 # 4.将结果输出 h1, w1 = img1.shape[:2] # 获得原始图的高和宽 h2, w2 = img2.shape[:2] img1_dims = np.float32([[0, 0], [0, h1], [w1, h1], [w1, 0]]).reshape(-1, 1, 2) # 四个角点逆时针进行排序 img2_dims = np.float32([[0, 0], [0, h2], [w2, h2], [w2, 0]]).reshape(-1, 1, 2) # 图像变换 img1_transform = cv2.perspectiveTransform(img1_dims, H) print(img1_dims) print(img2_dims) print(img1_transform) result_dims = np.concatenate((img2_dims, img1_transform), axis=0) # 横向拼接，主要是为了求出图像的最大值最小值 print(result_dims) # 混合后的结果 [x_min, y_min] = np.int32( result_dims.min(axis=0).ravel() - 0.5) # axis=0按x轴获取数值，ravel()将二维变为一维，根据四舍五入的原则，最小值-0.5，最大值+0.5 [x_max, y_max] = np.int32(result_dims.max(axis=0).ravel() + 0.5) # 平移的距离 transform_dist = [-x_min, -y_min] # 最小的x距离和y # [1, 0, dx] # [0, 1, dy] # [0, 0, 1 ] # 矩阵平移的方法，乘以一个齐次矩阵 transform_array = np.array([[1, 0, transform_dist[0]], [0, 1, transform_dist[1]], [0, 0, 1]]) # 投影变换 result_img = cv2.warpPerspective(img1, transform_array.dot(H), (x_max - x_min, y_max - y_min)) result_img[transform_dist[1]:transform_dist[1] + h2, transform_dist[0]:transform_dist[0] + w2] = img2 return result_img # 计算单应性矩阵的方法 def get_homo(img1, img2): # 1.创建特征转换对象 sift = cv2.xfeatures2d.SIFT_create() # 2.通过特征转换对象获得特征点和描述子 k1, d1 = sift.detectAndCompute(img1, None) # k1为特征点，d1为描述子 k2, d2 = sift.detectAndCompute(img2, None) # 3.创建特征匹配 # 4.进行特征匹配 # 5.过滤特征，找出有效的特征匹配点 bf = cv2.BFMatcher() # 采用暴力特征匹配 matches = bf.knnMatch(d1, d2, k=2) # 匹配特征点 verify_ratio = 0.8 # 过滤 verify_matches = [] for m1, m2 in matches: # m1,m2之间的距离越小越好，小于0.8认为有效，大于0.8无效 if m1.distance < verify_ratio * m2.distance: verify_matches.append(m1) # 最小匹配数 min_matches = 8 if len(verify_matches) > min_matches: img1_pts = [] img2_pts = [] for m in verify_matches: img1_pts.append(k1[m.queryIdx].pt) # 图像1的坐标特征点 img2_pts.append(k2[m.trainIdx].pt) # 图像2的坐标特征点 # [(x1, y1), (x2, y2), ...] # [[x1, y1], [x2, y2], ...] img1_pts = np.float32(img1_pts).reshape(-1, 1, 2) # 适应findHomography的格式 img2_pts = np.float32(img2_pts).reshape(-1, 1, 2) H, mask = cv2.findHomography(img1_pts, img2_pts, cv2.RANSAC, 5.0) # 获取单应性矩阵 return H else: print('error: Not enough matches!') exit() # 第一步，读取文件，将图片设置成一样大小，640*480（跟实际图像最接近的尺寸） img1 = cv2.imread('../resource/hill_left.png') img2 = cv2.imread('../resource/hill_right.png') img1 = cv2.resize(img1, (640, 480)) img2 = cv2.resize(img2, (640, 480)) # cv2.imshow('Hill', np.hstack((img1, img2))) # 第二步，找特征点，计算描述子，计算单应性矩阵 H = get_homo(img1, img2) # 获得单应性矩阵 # 第三步，根据单应性矩阵对图像进行变换，然后平移 result_image = stitch_image(img1, img2, H) # 进行图像拼接 # 第四步，拼接并输出最终结果 cv2.imshow('input img', result_image) cv2.waitKey(0) cv2.destroyAllWindows()
