OpenCV图像处理-图片拼接(Python)

简介: 1. 图片拼接原理对于图像拼接主要分为两部分:1.特征点匹配,确定两幅图之间的位置关系;2.把所有图像投影变换到同一坐标系,并完成对接与融合。

1. 图片拼接原理

对于图像拼接主要分为两部分:1.特征点匹配,确定两幅图之间的位置关系;2.把所有图像投影变换到同一坐标系,并完成对接与融合。

2.特征点匹配

首先创建特征转换对象,然后分别计算两幅图像的特征点与描述子,接着创建特征匹配器,根据描述子找到两幅图像的匹配子,然后过滤掉一些无效的匹配子,最后根据两幅图的坐标,计算出单应性矩阵,得到两幅图的位置关系。

def get_homo(img1, img2):
    #1. 创建特征转换对象
    #2. 通过特征转换对象获得特征点和描述子
    #3. 创建特征匹配器
    #4. 进行特征匹配
    #5. 过滤特征,找出有效的特征匹配点
    sift = cv2.xfeatures2d.SIFT_create()
    k1, d1 = sift.detectAndCompute(img1, None)
    k2, d2 = sift.detectAndCompute(img2, None)
    #创建特征匹配器
    bf = cv2.BFMatcher()
    matches = bf.knnMatch(d1, d2, k=2)
    #过滤特征,找出有效的特征匹配点
    verify_ratio = 0.8
    verify_matches = []
    for m1, m2 in matches:
        if m1.distance < 0.8 * m2.distance:
            verify_matches.append(m1)
  # 符合一定数量的特征点才进行求单应性矩阵的工作
    min_matches = 8
    if len(verify_matches) > min_matches:
        img1_pts = []
        img2_pts = []
        for m in verify_matches:
          # 记录每个描述子的坐标
            img1_pts.append(k1[m.queryIdx].pt)
            img2_pts.append(k2[m.trainIdx].pt)
        #[(x1, y1), (x2, y2), ...]
        #[[x1, y1], [x2, y2], ...]
        img1_pts = np.float32(img1_pts).reshape(-1, 1, 2)
        img2_pts = np.float32(img2_pts).reshape(-1, 1, 2)
        H, mask = cv2.findHomography(img1_pts, img2_pts, cv2.RANSAC, 5.0)
        return H
    else:
        print('err: Not enough matches!')
        exit()

3. 图像对接

图像对接的本质就是把一幅图像投影到另一幅图像的坐标系之中,然后通过平移找到合适的位置,最后将另一张图片贴上即可。

def stitch_image(img1, img2, H):
    # 1. 获得每张图片的四个角点
    # 2. 对图片进行变换(单应性矩阵使图进行旋转,平移)
    # 3. 创建一张大图,将两张图拼接到一起
    # 4. 将结果输出
    #获得原始图的高/宽
    h1, w1 = img1.shape[:2]
    h2, w2 = img2.shape[:2]
  # 获取图片的四个角点
    img1_dims = np.float32([[0, 0], [0, h1], [w1, h1], [w1, 0]]).reshape(-1, 1, 2)
    img2_dims = np.float32([[0, 0], [0, h2], [w2, h2], [w2, 0]]).reshape(-1, 1, 2)
  # 将图1的原始四个点,根据单应性矩阵,获得投影坐标
    img1_transform = cv2.perspectiveTransform(img1_dims, H)
    # print(img1_dims)
    # print(img2_dims)
    # print(img1_transform)
  # 将两个图像的角点拼接起来。
    result_dims = np.concatenate((img2_dims, img1_transform), axis=0)
    #print(result_dims)
  # 获取图像中的最小点,最大点,防止有些信息显示不到
    [x_min, y_min] = np.int32(result_dims.min(axis=0).ravel()-0.5)
    [x_max, y_max ] = np.int32(result_dims.max(axis=0).ravel()+0.5)
    #平移的距离(左加右减,上加下减)
    transform_dist = [-x_min, -y_min]
    #[1, 0, dx]
    #[0, 1, dy]         
    #[0, 0, 1 ]
    # 创建好平移矩阵
    transform_array = np.array([[1, 0, transform_dist[0]],
                                [0, 1, transform_dist[1]],
                                [0, 0, 1]])
  # 透视变换,得到结果矩阵(只是img1来进行变换),但是图片是img1+img2的大小
    result_img = cv2.warpPerspective(img1, transform_array.dot(H), (x_max-x_min, y_max-y_min))
# 将img2贴到结果贴到原图中
    result_img[transform_dist[1]:transform_dist[1]+h2, 
                transform_dist[0]:transform_dist[0]+w2] = img2
    return result_img

4. 完整代码

import cv2
import numpy  as np
def stitch_image(img1, img2, H):
    # 1. 获得每张图片的四个角点
    # 2. 对图片进行变换(单应性矩阵使图进行旋转,平移)
    # 3. 创建一张大图,将两张图拼接到一起
    # 4. 将结果输出
    #获得原始图的高/宽
    h1, w1 = img1.shape[:2]
    h2, w2 = img2.shape[:2]
    img1_dims = np.float32([[0, 0], [0, h1], [w1, h1], [w1, 0]]).reshape(-1, 1, 2)
    img2_dims = np.float32([[0, 0], [0, h2], [w2, h2], [w2, 0]]).reshape(-1, 1, 2)
    img1_transform = cv2.perspectiveTransform(img1_dims, H)
    # print(img1_dims)
    # print(img2_dims)
    # print(img1_transform)
    result_dims = np.concatenate((img2_dims, img1_transform), axis=0)
    #print(result_dims)
    [x_min, y_min] = np.int32(result_dims.min(axis=0).ravel()-0.5)
    [x_max, y_max ] = np.int32(result_dims.max(axis=0).ravel()+0.5)
    #平移的距离
    transform_dist = [-x_min, -y_min]
    #[1, 0, dx]
    #[0, 1, dy]         
    #[0, 0, 1 ]
    transform_array = np.array([[1, 0, transform_dist[0]],
                                [0, 1, transform_dist[1]],
                                [0, 0, 1]])
    result_img = cv2.warpPerspective(img1, transform_array.dot(H), (x_max-x_min, y_max-y_min))
    # result_img[transform_dist[1]:transform_dist[1]+h2,
    #             transform_dist[0]:transform_dist[0]+w2] = img2
    return result_img
def get_homo(img1, img2):
    #1. 创建特征转换对象
    #2. 通过特征转换对象获得特征点和描述子
    #3. 创建特征匹配器
    #4. 进行特征匹配
    #5. 过滤特征,找出有效的特征匹配点
    sift = cv2.xfeatures2d.SIFT_create()
    k1, d1 = sift.detectAndCompute(img1, None)
    k2, d2 = sift.detectAndCompute(img2, None)
    #创建特征匹配器
    bf = cv2.BFMatcher()
    matches = bf.knnMatch(d1, d2, k=2)
    #过滤特征,找出有效的特征匹配点
    verify_ratio = 0.8
    verify_matches = []
    for m1, m2 in matches:
        if m1.distance < 0.8 * m2.distance:
            verify_matches.append(m1)
    min_matches = 8
    if len(verify_matches) > min_matches:
        img1_pts = []
        img2_pts = []
        for m in verify_matches:
            img1_pts.append(k1[m.queryIdx].pt)
            img2_pts.append(k2[m.trainIdx].pt)
        #[(x1, y1), (x2, y2), ...]
        #[[x1, y1], [x2, y2], ...]
        img1_pts = np.float32(img1_pts).reshape(-1, 1, 2)
        img2_pts = np.float32(img2_pts).reshape(-1, 1, 2)
        H, mask = cv2.findHomography(img1_pts, img2_pts, cv2.RANSAC, 5.0)
        return H
    else:
        print('err: Not enough matches!')
        exit()
#第一步,读取文件,将图片设置成一样大小640x480
#第二步,找特征点,描述子,计算单应性矩阵
#第三步,根据单应性矩阵对图像进行变换,然后平移
#第四步,拼接并输出最终结果
# 读取两张图片
img1 = cv2.imread('map1.png')
img2 = cv2.imread('map2.png')
# 将两张图片设置成同样大小
img1 = cv2.resize(img1, (640, 480))
img2 = cv2.resize(img2, (640, 480))
inputs = np.hstack((img1, img2))
# 获得单应性矩阵
H = get_homo(img1, img2)
# 进行图像拼接
result_image = stitch_image(img1, img2, H)
cv2.imshow('input img', result_image)
cv2.waitKey()

目录
相关文章
|
28天前
|
程序员 数据安全/隐私保护 计算机视觉
手把手教你用 Python 去除图片和 PDF 水印
手把手教你用 Python 去除图片和 PDF 水印
29 0
|
23天前
|
监控 API 计算机视觉
OpenCV这么简单为啥不学——1.13图片冷白皮(美白)处理
OpenCV这么简单为啥不学——1.13图片冷白皮(美白)处理
25 0
|
24天前
|
存储 编解码 监控
OpenCV这么简单为啥不学——2.1、imwrite逐帧保存图片
OpenCV这么简单为啥不学——2.1、imwrite逐帧保存图片
28 0
|
24天前
|
人工智能 Linux API
OpenCV这么简单为啥不学——1.1、图像处理(灰度图、模糊图片、GaussianBlur函数、提取边缘、边缘膨胀、边缘细化)
OpenCV这么简单为啥不学——1.1、图像处理(灰度图、模糊图片、GaussianBlur函数、提取边缘、边缘膨胀、边缘细化)
26 0
|
1天前
|
存储 数据库 计算机视觉
Python图像处理库:学会Pillow再也不用PS啦
Python图像处理库:学会Pillow再也不用PS啦
|
2天前
|
C++ 计算机视觉 Python
【Py调用C++】使用使用python调用C++生成dll处理图像(OPENCV)
【Py调用C++】使用使用python调用C++生成dll处理图像(OPENCV)
18 0
【Py调用C++】使用使用python调用C++生成dll处理图像(OPENCV)
|
2天前
|
存储 计算机视觉 异构计算
使用python&C++对bubbliiiing的yolo系列进行opencv.dnn进行推理部署
使用python&C++对bubbliiiing的yolo系列进行opencv.dnn进行推理部署
19 0
|
4天前
|
Python
在Python中实现图片转字符画灰度处理或灰色量化
在Python中实现图片转字符画灰度处理或灰色量化
13 1
|
4天前
|
计算机视觉 Python
在Python中实现图片转字符画打开图片
在Python中实现图片转字符画打开图片
4 1
|
4天前
|
Python
在Python中实现图片转字符画导入所需库
在Python中实现图片转字符画导入所需库
5 1

热门文章

最新文章

相关产品