九、图像金字塔

1、图像金字塔介绍

图像金字塔是图像中多尺度表达的一种，最主要应用于图像分割，是一种以多分辨率来解释图像的有效但概念简单的结构。

简单的来说，图像金字塔是同一图像不同分辨率的子图集合。

图像金字塔最初应用于机器视觉和图像压缩，一幅图像的金字塔是一系列以金字塔形状排列的分辨率逐步降低，且来源于同一张原始图的图像集合。其通过梯次向下采样获得，直到达到某个终止条件才停止采样。

金字塔的底部是待处理图像的高分辨率表示，而顶部是低分辨率的近似。我们将一层一层的图像比喻成金字塔，层级越高，则图像越小，分辨率越低。

常见的两类图像金字塔：

• 高斯金字塔（Gaussian pyramid）： 用来向下/降取样，主要的图像金字塔
• 拉普拉斯金字塔（Laplacian pyramid）： 用来从金字塔底层图像重建上层未采样图像，在数字图像处理中即是预测残差，可以对图像进行最大程度的还原，配合高斯金字塔一起使用。

2、高斯金字塔

高斯金字塔是通过高斯平滑和亚采样（subsampling）获得一系列下采样图像。

向下采样：cv2.pyrDown()

原理非常简单，如下图所示：

原始图像 M ∗ N M * NM∗N —> 处理后图像 M / 2 ∗ N / 2 M/2 * N/2M/2∗N/2

每次处理后，结果图像是原来的 1 / 4 1/41/4

注意： 向下取样会丢失图像信息。

代码实现：

import cv2
img = cv2.imread('../resource/lena.bmp')
print(img.shape)
# 向下采样
dst = cv2.pyrDown(img)
print(dst.shape)
cv2.imshow('lena', img)
cv2.imshow('dst', dst)
cv2.waitKey(0)
cv2.destroyAllWindows()

向上采样：cv2.pyrUp()

• 是向下采样的相反过程，是指图像从小变大的过程。

1、将图像在每个方向扩大为原来的两倍，新增的行和列以0填充。

2、使用先前同样的内核（乘以4）与放大后的图像卷积，获得近似值。

代码实现：

import cv2
img = cv2.imread('../resource/lena.bmp')
print(img.shape)
# 向上采样
dst = cv2.pyrUp(img)
print(dst.shape)
cv2.imshow('lena', img)
cv2.imshow('dst', dst)
cv2.waitKey(0)
cv2.destroyAllWindows()

3、拉普拉斯金字塔

将向下/降采样之后的图像再进行向上采样操作，然后与之前还没向下/降采样的原图像进行做差得到残差图，为还原图像做信息的准备。

也就是说，拉普拉斯金字塔是通过原图像减去先缩小后放大的图像的一系列图像构成的，保留的是残差。

拉普拉斯金字塔是由高斯金字塔构成的，没有专门的函数。

拉普拉斯金字塔图像只像图像边缘，它的大部分元素都是0，用于图像压缩。

代码实现：

import cv2
import numpy as np
img = cv2.imread('../resource/lena.bmp')
# 先 向下采样 后 向上采样
dst = cv2.pyrUp(cv2.pyrDown(img))
# 拉普拉斯金字塔 = 原图像 - 高斯金字塔
lap = img - dst
cv2.imshow('lena', np.hstack((img, dst, lap)))
cv2.waitKey(0)
cv2.destroyAllWindows()