Python中的图像增强技术

翻译 | 王文刚

我们为什么需要图像增强？

深度学习卷积神经网络（CNN）需要大量图像才能有效训练模型。通过更好的增强有助于提高模型的性能，从而减少过度拟合。可用于分类和对象检测数据集的最流行的数据集具有数千到数百万个图像。
归纳是指在模型训练期间根据以前从未见过的数据进行评估模型的性能测试或验证。由于 CNN 具有不变性，即使在不同大小，方向或不同照明下可见时，它也可以对对象进行分类。因此，我们可以获取图像的小型数据集，并通过放大或缩小，垂直或水平翻转它们或更改亮度来改变对象的大小。这样，我们可以创建丰富、多样化的图像数据集。

图像增强可以从一小组图像中创建丰富多样的图像集，以进行图像分类，目标检测或图像分割。在仔细了解问题域之后，需要采用增加训练数据集大小的增强策略。

什么时候需要应用图像增强？

在我们训练模型之前，可以将图像增强用作预处理。

• 离线或预处理增强

增强被用作预处理步骤，以增加数据集的大小。通常，当我们有一个小的训练数据集要扩展时，便可以完成此操作。
在较小的数据集上生成扩充很有帮助，但在应用于较大的数据集时，我们需要考虑磁盘空间。

• 在线或实时增强

顾名思义，增强是实时应用的。这通常适用于较大的数据集，因为我们不需要将增强的映像保存在磁盘上。
在这种情况下，我们在小批量中应用转换，然后将其输入模型。
在线增强模型将在每个时期看到不同的图像。在“离线增强”中，增强图像是训练集的一部分，它会根据时期数多次查看增强图像。
该模型可通过在线增强更好地推广，因为它在通过在线数据增强进行训练期间会看到更多样本。
我们将使用 imgaug 类来演示图像增强。

基本图像处理技术

• 翻转：垂直或水平翻转图像
• 旋转：将图像旋转指定的角度。
• 剪切：像平行四边形一样移动图像的一部分
• 裁剪：对象以不同比例出现在图像中的不同位置
• 放大，缩小
• 改变亮度或对比度

现在，我们将使用 imgaug 库探索这些数据增强技术

Imgaug

imgaug 是一个用于图像增强以及关键点 / 地标，边界框，热图和分段图的库。

pip install imgaug

在某些情况下，我们会遇到 Shapely 错误，在这种情况下，我们可以尝试使用以下命令

pip install imgaug — upgrade — no-deps

我们将拍摄一张图像，并使用基本的数据增强技术对其进行转换实践。

导入所需的库

import imageio
import imgaug as ia
import imgaug.augmenters as iaa
import numpy as np
import pandas as pd
import matplotlib.pyplot as plt
import matplotlib.patches as patches
import matplotlib
%matplotlib inline

显示原始图像

我们使用 imageio 显示原始图像

image = imageio.imread(“.\\car2.jpeg”)
ia.imshow(image)

旋转影像

我们可以通过指定旋转角度来旋转图像。我们将图像旋转 -50 度到 30 度

rotate=iaa.Affine(rotate=(-50, 30))
rotated_image=rotate.augment_image(image)
ia.imshow(rotated_image)

给图像添加噪点

我们将从高斯分布采样的不同噪声值添加到图像。

gaussian_noise=iaa.AdditiveGaussianNoise(10,20)
noise_image=gaussian_noise.augment_image(image)
ia.imshow(noise_image)

裁剪图像

修剪会删除图像侧面的像素列 / 行。在下面的示例中，我们将图像的一侧裁剪了 30％

crop = iaa.Crop(percent=(0, 0.3)) # crop image
corp_image=crop.augment_image(image)
ia.imshow(corp_image)

扭曲图像

设置 0 到 40 度

shear = iaa.Affine(shear=(0,40))
shear_image=shear.augment_image(image)
ia.imshow(shear_image)

翻转图像

我们可以垂直或水平翻转图像。Fliplr 水平翻转图像

#flipping image horizontally
flip_hr=iaa.Fliplr(p=1.0)
flip_hr_image= flip_hr.augment_image(image)
ia.imshow(flip_hr_image)

垂直翻转图像

flip_vr=iaa.Flipud(p=1.0)
flip_vr_image= flip_vr.augment_image(image)
ia.imshow(flip_vr_image)

改变图像的亮度

我们使用 GammaContrast 通过缩放像素值来调整图像亮度。在 gamma =（0.5，2.0）范围内的值似乎是明智的。我们也可以使用 SigmoidContrast 或 LinearContrast 来更改图像的亮度

image = imageio.imread(“.\\img Aug\\car2.jpeg”)
contrast=iaa.GammaContrast(gamma=2.0)
contrast_image =contrast.augment_image(image)
ia.imshow(contrast_image)

缩放图像

我们可以使用缩放来放大或缩小图像。我们已将图像缩放到图像高度 / 宽度的 150％至 80％。我们可以独立缩放每个轴

增强物体检测

我们绘制边界框以进行对象检测。当我们放大图像时，我们希望包围盒也相应地更新。
imgaug 支持边界框。当我们旋转，剪切或裁剪图像时，对象周围的边界框也会相应更新。
从 imgaug 导入边界框

from imgaug.augmentables.bbs import BoundingBox, BoundingBoxesOnImage

初始化原始图像周围的边界框

bbs = BoundingBoxesOnImage([
 BoundingBox(x1=10, x2=520, y1=10, y2=300)
], shape=image.shape)

在原始图像上方显示边框

ia.imshow(bbs.draw_on_image(image, size=2))

在下面的代码中，我们使用 translate_percentage 移动图像，扩大边界框并将其应用于图像上

move=iaa.Affine(translate_percent={"x": 0.1}, scale=0.8)
image_aug, bbs_aug = move(image=image, bounding_boxes=bbs)
ia.imshow(bbs_aug.draw_on_image(image_aug, size=2))

应用图像增强后在图像外部处理边界框

边框有时可能会超出图像，因此我们需要其他代码来处理这种情况
我们旋转图像，并尝试在对象周围绘制边框

rotate_bb=iaa.Affine(rotate=(-50, 30))
image_aug, bbs_aug = rotate_bb(image=image, bounding_boxes=bbs)
ia.imshow(bbs_aug.draw_on_image(image_aug, size=2))

边界框的部分在图像外部。在下面的代码中，我们将

• 将边框完全或部分移出图像
• 裁剪部分位于外部的边界框，使其完全位于图像内部

我们创建一个 padding 函数，以 1 像素的白色边框和 1 像素的黑色边框填充图像：

def pad(image, by):
    image_border1 = ia.pad(image, top=1, right=1, bottom=1, left=1,
                           mode="constant", cval=255)
    image_border2 = ia.pad(image_border1, top=by-1, right=by-1,
                           bottom=by-1, left=by-1,
                           mode="constant", cval=0)
    return image_border2

然后，我们在图像上绘制边界框。我们首先将图像平面扩展 BORDER 像素，然后标记图像平面内的边界框

def draw_bbs(image, bbs, border):
    GREEN = [0, 255, 0]
    ORANGE = [255, 140, 0]
    RED = [255, 0, 0]
    image_border = pad(image, border)
    for bb in bbs.bounding_boxes:
        if bb.is_fully_within_image(image.shape):
            color = GREEN
        elif bb.is_partly_within_image(image.shape):
            color = ORANGE
        else:
            color = RED
        image_border = bb.shift(left=border, top=border)\
                         .draw_on_image(image_border, size=2, color=color)
return image_border

现在，我们对图像应用相同的旋转并绘制边界

rotate=iaa.Affine(rotate=(-50, 30))
image_aug, bbs_aug = rotate(image=image, bounding_boxes=bbs)
image_after = draw_bbs(image_aug, bbs_aug.remove_out_of_image().clip_out_of_image(), 100)
ia.imshow(image_after)

阿里巴巴开源大数据技术团队成立Apache Spark中国技术社区，定期推送精彩案例，技术专家直播，问答区近万人Spark技术同学在线提问答疑，只为营造纯粹的Spark氛围，欢迎钉钉扫码加入！

对开源大数据和感兴趣的同学可以加小编微信（下图二维码，备注“进群”）进入技术交流微信群。