- RAD[36]
RAD，即增强数据强化学习，其易于插入有效提升了强化学习算法的性能。RAD 主要考虑两个问题：
- 学习数据效率；
- 新环境的泛化能力；
此外，它表明传统的数据增强技术使 RL 算法能够在基于像素的控制和基于状态的控制方面胜过复杂的 SOTA 任务，下面是它的总体流程图：
An overview of different augmentation investigated in RAD
- MARL[37]
MARL，即多代理强化学习，是一种基于多代理协作的局部补丁自动增强方法，这是第一个使用强化学习找到补丁级别数据增强策略的方法。MARL 首先将图像分成小块，然后共同为每个小块找到最佳数据增强策略.
An Illustration of different automated augmentation policies for MARL
- LDAS[38]
LDAS 建议使用自动增强来学习目标检测的最佳策略。它解决了目标检测增强的两个关键问题：
- 分类学习策略不能直接应用于检测任务，如果应用几何增强，它会增加处理边界框的复杂性；
- 与设计新的网络架构相比，数据增强增加的价值要少得多，因此受到的关注较少，但应谨慎选择用于目标检测的增强
下图展示了基于此数据扩充的一些子策略：
Different data augmentation sub-policies explored
- [Scale-Aware Automatic Augmentation](https://arxiv.org/abs/2103.17220 "Scale-Aware Automatic Augmentation"
，即Scale-Aware Automatic Augmentation，是一种用于目标检测的数据增强策略。首先，它定义了一个搜索空间，其中图像级和框级数据增强为尺度不变性做好了准备；其次，这项工作还提出了一种新的搜索度量，名为有效且高效地搜索增强的帕累托比例平衡。
Example of scale-aware search space which includes image level and box-level augmentation
- ADA[39]
ADA 提供了一种系统的方法来从目标检测的角度找到数据增强的最佳对抗性扰动，该方法基于数据的博弈论解释，即纳什均衡。纳什均衡提供了最佳边界框预测器和数据扩充的最佳设计。 最优对抗性扰动是指 ground truth 的最差扰动，它迫使框预测器从最困难的样本分布中学习。
Adversarial augmentation
从上图可以看出，ADA 偏向于选择尽可能与 GT 不同但又包含关键对象特征的边界框。
- Deep CNN Ensemble[40]
Deep CNN Ensemble 提出了一种新的 R-CNN 模型变体，在训练和评估方面进行了两个核心修改。首先，它使用几个不同的 CNN 模型作为 R-CNN 中的集成器，其次，它通过从 Microsoft COCO 数据集中选择与 PASCAL VOC 一致的子集，巧妙地用 Microsoft COCO 数据增强 PASCAL VOC 训练示例。原理图如下所示：
The proposed schematic diagram
- RADA[41]
通过对抗性学习可以获取稳健而准确的目标检测，先前方法展示了当对目标检测任务进行微调时分类器性能从不同的数据增强中获得增益，并且在准确性和稳健性方面的性能没有提高。RADA 提供了一种探索对抗性样本的独特方法，有助于提高性能。为此，它在目标检测器的微调阶段通过探索对抗性样本来增强示例，这被认为是依赖于模型的数据增强。
首先，它从检测器分类和定位层中选择更强的对抗样本，这些样本会随着检测器的变化而变化，以确保增强策略保持一致。该方法在不同目标检测任务的准确性和鲁棒性方面显示出显着的性能提升：
RADA
上图分别展示了 RADA 分别提高了目标检测器在干净图像上的准确性、检测器对自然损坏的鲁棒性以及对跨数据集域偏移的鲁棒性。
- PTDA[42]
PTDA，即 Pespective Transformation Data Augmentation，同样也是一种用于目标检测的新数据增强，简称为透视变换，它可以生成以不同角度捕获的新图像。因此，它模仿图像，就好像它们是在相机无法捕获这些图像的特定角度拍摄的一样。 该方法在多个目标检测数据集上显示出有效性。
- DADA[43]
DADA，Deep Adversarial Data Augmentation，即深度对抗性数据增强，它将数据增强被表述为训练类条件和监督 GAN 的问题。此外，它还引入了新的鉴别器损失，目的是保证数据扩充是真实的，并且扩充样本被迫平等参与并在寻找决策边界时保持一致。
基于非强化学习的数据增强
- RandAugment
以前的最佳增强方法大都是一些使用强化学习或一些复杂的学习策略，因此需要花费大量时间才能找到合适的增强方法和确定增强因子。这些方法消除了单独搜索阶段的障碍，这使得训练更加复杂，从而增加了计算成本开销。为了打破这一点，RandAugment 是一种新的数据增强方法，比 AutoAugment 简单又好用。主要思想是随机选择变换，并调整它们的大小：
Example images augmented by RandAugment
基于风格迁移的数据增强
基于风格迁移的数据增强是一种独特的数据增强方式，可以在不改变高层语义的情况下将一幅图像的艺术风格转移到另一幅图像。它为训练集带来了更多多样性。这种神经风格迁移的主要目标是从两张图像生成第三张图像，其中一张图像提供纹理内容，另一张图像提供高级语义内容。下面介绍一些常见的应用。
- STaDA[44]
STaDA，Style Transfer as Data Augmentation，顾名思义便是基于风格迁移的数据增强方法，这是一种彻底评估了不同的 SOTA 神经风格转移算法作为图像分类任务的数据增强。此外，它还将神经风格迁移算法与传统的数据增强方法相结合，下面给出相关的示意图：
Overview of the original image and two stylized images by STaDA
- NSTDA[45]
NSTDA，Neural Style Transfer as Data Augmentation，是一种将神经风格迁移作为改进 COVID-19 诊断分类的数据增强方法。这项工作显示了循环生成对抗网络的有效性，该网络主要用于神经风格迁移，增强 COVID-19 负 x 射线图像以转换为正 COVID 图像以平衡数据集并增加数据集的多样性。该方法充分表明了使用 Cycle GAN 增强图像可以提高几种不同 CNN 架构的性能。
Overview of generating synthetic covid images from the healthy category
- SA[46]
这项工作提出了一种新的数据增强，称为基于风格神经转移的风格增强。SA 随机化颜色、对比度和纹理，同时在训练期间保持形状和语义内容。这是通过选择任意样式传输网络来随机化样式并从多元正态分布嵌入中获取目标样式来完成的。它提高了三个不同任务的性能：分类、回归和域适应。
Overview of Style augmentation applied to an image
从上图可以明显的看出，基于 SA 的数据增强方式可以将形状保留下来，但样式（包括颜色、纹理和对比度）是随机的。
- StyPath[47]
StyPath 是一种用于稳健组织学图像分类的风格迁移数据增强策略，旨在减少偏见的风格。
StyPath
- AS[48]
这项工作介绍了一种基于深度神经网络的人工系统，可生成具有高感知质量的艺术图像。AS 创建神经嵌入，然后使用嵌入来分离图像的风格和内容，最后再重新组合目标图像的内容和风格以生成艺术图像。
Overview of the styled image by neural algorithm
基于特征空间的数据增强
基于特征空间的数据增强首先将图像转换为嵌入或表示，然后对图像的嵌入执行数据增强，最后再向大家介绍下这部分内容。
- Dataset Augmentation in Feature Space[49]
这项工作首先使用编码器-解码器来学习表示，然后在表示上应用不同的变换，例如添加噪声、插值或外推。所提出的方法已经显示出静态和顺序数据的性能改进。
Overview of interpolation and extrapolation between handwritten characters
- Feature Space Augmentation for Long-Tailed Data
该方法提出了基于特征空间中的新数据增强，以解决长尾问题并提升代表性不足的类样本。所提出的方法首先在类激活图的帮助下将类特定特征分为通用特征和特定特征。代表性不足的类样本是通过将代表性不足的类的类特定特征与来自其他混淆类的类通用特征注入而生成的。这使得数据多样化，也解决了代表性不足的类别样本的问题。
Left: limited but well-spread data. Right: Without sufficient data
- Adversarial Feature Augmentation for Unsupervised Domain Adaptation[50]
生成对抗网络在无监督域适应中显示出可喜的结果，以学习与源域无法区分的目标域特征。这项工作扩展了 GAN 以强制特征提取器成为域不变的，并通过特征空间中的数据增强来训练它，称为特征增强。总的来说，该工作探索了 GAN 在特征层面的数据增强。
- FeatMatch[51]
FeatMatch 提出了一种新的 SSL 特征空间数据增强方法，其灵感来自基于图像的 SSL 方法，该方法结合了图像增强和一致性正则化。基于图像的 SSL 方法仅限于传统的数据增强。为了打破这一目标，基于特征的 SSL 方法从复杂的数据扩充中产生了不同的特征。一个关键点是，这些高级数据增强利用了通过聚类提取的类内和类间表示的信息。所提出的方法仅在 min-Imagenet 上显示出显着的性能增益，例如在 miniImageNet 上绝对增益 17.44%，而且还显示了对分布外样本的鲁棒性。此外，图像级和特征级增强和一致性之间的差异如下图所示：
An overview of featMatch augmentation applied on images and features
由于本文涉及内容过多，目前完整版本已整理成 PDF 形式供大家下载，可随时当做技术手册查看。具体领取方法请关注『CVHub』官方卫星号，后台回复正确关键字“数据增强”领取。
