Task02 几何变换

2.1 简介

该部分将对基本的几何变换进行学习，几何变换的原理大多都是相似，只是变换矩阵不同，因此，我们以最常用的平移和旋转为例进行学习。在深度学习领域，我们常用平移、旋转、镜像等操作进行数据增广；在传统CV领域，由于某些拍摄角度的问题，我们需要对图像进行矫正处理，而几何变换正是这个处理过程的基础，因此了解和学习几何变换也是有必要的。

这次我们带着几个问题进行，以旋转为例：

• 1：变换的形式（公式）是什么？
  
• 2：旋转中心是什么？毕竟以不同位置为旋转中心得到的结果是不一样的。
  
• 3：采用前向映射还是反向映射？(反向映射更为有效)
  
• 4：采用反向映射后，采用何种插值算法？最常用的的是双线性插值，OpenCV也是默认如此。

2.2 学习目标

• 了解几何变换的概念与应用
  
• 理解平移、旋转的原理
  
• 掌握在OpenCV框架下实现平移、旋转操作

2.3 内容介绍

1、平移、旋转的原理

2、OpenCV代码实践

3、动手实践并打卡（读者完成）

2.4 算法理论介绍

变换形式

先看第一个问题，变换的形式。与OpencV不同的是这里采取冈萨雷斯的《数字图像处理_第三版》的变换矩阵方式，关于OpenCV的策略可以看它的官方文档。根据冈萨雷斯书中的描述，仿射变换的一般形式如下：

Image

式中的T就是变换矩阵，其中 (v,w)为原坐标，(x,y) 为变换后的坐标，不同的变换对应不

同的矩阵，这里也贴出来吧，一些常见的变换矩阵及作用如下表：

Image

也就是说，我们根据自己的目的选择不同变换矩阵就可以了。

坐标系变换

再看第二个问题，变换中心，对于缩放、平移可以以图像坐标原点（图像左上角为原点）为中心变换，这不用坐标系变换，直接按照一般形式计算即可。而对于旋转和偏移，一般是以图像中心为原点，那么这就涉及坐标系转换了。

我们都知道，图像坐标的原点在图像左上角，水平向右为 X 轴，垂直向下为 Y 轴。数学课本中常见的坐标系是以图像中心为原点，水平向右为 X 轴，垂直向上为 Y 轴，称为笛卡尔坐标系。看下图:

Image

因此，对于旋转和偏移，就需要3步（3次变换）：

• 将输入原图图像坐标转换为笛卡尔坐标系；
• 进行旋转计算。旋转矩阵前面已经给出了；
• 将旋转后的图像的笛卡尔坐标转回图像坐标。

图像坐标系与笛卡尔坐标系转换关系：

先看下图：

Image

在图像中我们的坐标系通常是AB和AC方向的,原点为A，而笛卡尔直角坐标系是DE和DF方向的，原点为D。

令图像表示为M×N的矩阵，对于点A而言，两坐标系中的坐标分别是(0，0)和(-N/2,M/2)，则图像某像素点(x',y')转换为笛卡尔坐标（x,y）转换关系为，x为列，y为行：

Image

逆变换为：

Image

于是，根据前面说的3个步骤（3次变换），旋转(顺时针旋转)的变换形式就为，3次变换就有3个矩阵：

Image

反向映射

看第3个问题，在冈萨雷斯的《数字图像处理_第三版》中说的很清楚，前向映射就是根据原图用变换公式直接算出输出图像相应像素的空间位置，那么这会导致一个问题：可能会有多个像素坐标映射到输出图像的同一位置，也可能输出图像的某些位置完全没有相应的输入图像像素与它匹配，也就是没有被映射到，造成有规律的空洞（黑色的蜂窝状）。更好的一种方式是采用 反向映射（Inverse Mapping）：扫描输出图像的位置(x,y)，通过

Image

（为T的逆矩阵）计算输入图像对应的位置 (v,w)，通过插值方法决定输出图像该位置的灰度值。

插值

第4个问题，采用反向映射后，需通过插值方法决定输出图像该位置的值，因此需要选择插值算法。通常有最近邻插值、双线性插值，双三次插值等，OpencV默认采用双线性插值，我们也就采用双线性插值。

2.5 OpenCV代码实现

仿射变换

import cv2 as cv
import numpy as np
img = cv.imread("cat.jpg")
# 原图的高、宽
h, w = img.shape[:2]
# 仿射变换矩阵，缩小2倍
A1 = np.array([[0.5, 0, 0], [0, 0.5, 0]], np.float32)
d1 = cv.warpAffine(img, A1, (w, h), borderValue=0)
# 先缩小2倍，再平移
A2 = np.array([[0.5, 0, w / 4], [0, 0.5, h / 4]], np.float32)
d2 = cv.warpAffine(img, A2, (w, h), borderValue=0)
# 在d2的基础上，绕图像的中心点旋转
A3 = cv.getRotationMatrix2D((w / 2.0, h / 2.0), 30, 1)
d3 = cv.warpAffine(d2, A3, (w, h), borderValue=0)
# 如果要选择插值的方法可以通过参数flags设置，如flags=cv.INTER_CUBIC
cv.imshow("img", img)
cv.imshow("d1", d1)
cv.imshow("d2", d2)
cv.imshow("d3", d3)
cv.waitKey()
cv.destoryAllWindows()

image.png

几何旋转

import cv2 as cv
import numpy as np
img = cv.imread("cat.jpg")
h, w = img.shape[:2]
# 图像旋转：cv2.ROTATE_180,cv2.ROTATE_90_COUNTERCLOCKWISE
rota = cv.rotate(img, cv.ROTATE_90_COUNTERCLOCKWISE)
# 仿射变换矩阵的方式
A = cv.getRotationMatrix2D((h / 2.0, w / 2.0), 90, 1)
rota2 = cv.warpAffine(img, A, (w, h))
cv.imshow("img", img)
cv.imshow("rotate", rota)
cv.imshow("rotate2", rota2)
cv.waitKey()
cv.destoryAllWindows()

相关技术文档、博客、教材、项目推荐

opencv文档: https://docs.opencv.org/3.1.0/da/d54/group__imgproc__transform.html#ga0203d9ee5fcd28d40dbc4a1ea4451983

博客：https://blog.csdn.net/weixin_40647819/article/details/87912122

https://www.jianshu.com/p/18cd12e776e1

https://blog.csdn.net/whuhan2013/article/details/53814026

python版本：https://blog.csdn.net/g11d111/article/details/79978582

https://www.kancloud.cn/aollo/aolloopencv/264331                      http://www.woshicver.com/FifthSection/4_2_%E5%9B%BE%E5%83%8F%E5%87%A0%E4%BD%95%E5%8F%98%E6%8D%A2/

OpenCV--Python 图像的几何变换

2.6 总结

该部分对几何变换的平移和旋转进行了介绍，读者可根据提供的资料对相关原理进行学习，然后参考示例代码自行实现。另外读者可以尝试学习并实现其他几何变换，如偏移。