前言
数据增强在深度学习中起着重要作用，并已成为训练模型的不可或缺的组成部分。通过对数据进行改变和扩充，数据增强可以提高模型的鲁棒性和泛化能力。然而，数据增强通常需要更多的训练周期才能发挥有效作用，尤其是在增强复杂性增加的情况下。此外，当神经网络和数据集变得越来越大时，计算资源的限制可能导致传统的数据增强方法失去效力。在调整预训练模型时，数据增强的效果可能不如从头开始训练时明显。
核心概要
数据增强就是对我们已有的数据进行一些改变和扩充，以增加模型的鲁棒性和泛化能力。通过对数据进行变换、旋转、缩放等操作，我们可以生成更多的样本，使模型能够更好地理解和处理各种不同的情况。
虽然在测试时不会造成额外的延迟，但进行数据增强通常需要更多的训练周期才能取得有效的结果。这是因为模型需要花更多的时间来学习各种不同的数据变化和情况，以提高其性能和准确度。 那么我们是否可以在训练策略上优化改进呢？对数据增强部分的使用加强利用，这便是这篇顶刊论文精髓所在。
- 我们表明，添加一个简单的损失项来调制特征相似性可以显著提高数据增强的有效性，我们展示了不同的数据增强集，如Crop-Flip, RandAugment和mixup。
- 与传统的数据增强方法不同，使用我们的框架，数据增强可以提高性能，即使只训练一个epoch用于微调预训练网络或从头开始训练具有不同架构的大范围数据集。
- 我们将tied - augment与多阶段自监督学习方法进行比较(首先是预训练，然后在ImageNet上进行微调)。我们提出的框架被设计成像传统的数据增强技术一样简单，同时避免了对额外组件的需求，如内存库、大批量、对比数据实例、延长的训练周期或大模型大小。尽管如此简单，但在ImageNet验证精度方面，tied - augment可以胜过更复杂的自监督学习方法。
实验数据支持
在 CIFA R-10、CIFA R-100、CIFAR-4K和ImageNet数据集。我们把捆绑-增加和作物-翻转(CF)和随机pad(RA)基线。报告结果平均5次独立运行。标准偏差每个实验的结果小于或等于0.1%。
在CIFAR上进行的少量划时代训练的测试准确度(%)数据集。报告的结果是平均10次独立运行。对于1，2，5，10代，标准差小于0.5，0.3，0.2，分别为0.1和0.1。
下表是斯坦福大学的精细实验--花102(花)，宠物(宠物)，FGVC飞机(飞机)，CIFAR-10数据集。报告的2，5项结果10个迭代的实验是10次独立运行的平均值，剩下的是平均5次独立运行。 基线结果是标准训练和双重强化的最大限度。没有相似损失的分支。预先训练的模型是一个标准RESNET-50，平分-加法只用于融资.最佳CF(CF相对于绑定-CF)和RA(RA与绑定-RA)的结果是粗体的。 精度的标准偏差小于或等于。0.5%、0.4%、0.2%、0.1%和0.1%(2、5、10、25和50)分别为时代。
下表是ImageNet结果。RESNET-200基线没有改进当训练超过180迭代的时候。标准偏差报告的结果小于或等于0.2%。
