数据增强可以说是数据驱动下的深度学习必经之路,掌握数据,相当于掌握当下主流方向的自动驾驶的命脉,是人工智能不可或缺的资源。本文将介绍最新的利用大模型扩充数据的方式!
先看下变色效果:
左褐色背景图 为原图,右侧为处理后的图!
AI day也在自动标注数据方面,着重介绍,由此可见数据的重要性!
深度学习中的数据增强(Data Augmentation)和数据扩充(Data Augmentation)是两个重要的概念,它们用于增加训练数据的多样性,提高模型的泛化能力。下面我将对这两个概念进行详细说明。
1. 数据增强(Data Augmentation):
数据增强是指通过对原始训练数据进行一系列变换和修改,生成新的训练样本,从而扩展训练集的规模和多样性。常用的数据增强方法包括镜像翻转、旋转、缩放、平移、裁剪、颜色变换等。这些操作可以在不改变图像语义信息的情况下引入一些变化,使模型具有更好的鲁棒性。例如,在图像分类任务中,可以通过随机旋转和缩放来扩充训练数据,从而提高模型对旋转和尺度变化的适应能力。
2.数据扩充(Data Augmentation):
数据扩充是指通过合成新的样本来扩展训练数据集。与数据增强不同,数据扩充并非依赖于原始数据的变换,而是利用一些外部数据或先验知识生成新的样本。数据扩充方法常见的应用场景包括生成对抗网络(GAN)和深度强化学习中的经验回放。例如,在GAN中,生成器会通过随机噪声输入生成新的图像,这些图像就是通过数据扩充来生成的。
数据增强和数据扩充在深度学习中的重要性体现在以下几个方面:
- 增加样本多样性:通过对原始数据进行变换或生成新的样本,可以使训练集包含更多不同角度、尺度、光照等方面的样本,从而提高模型的泛化能力。
- 缓解过拟合:增加数据集的大小可以一定程度上缓解过拟合问题,尤其当训练数据较少时,数据增强和数据扩充非常有助于提高模型的性能。
- 提高鲁棒性:通过引入一些变换和噪声,可以使模型对输入数据的微小扰动具有更好的鲁棒性,从而增强模型的稳定性。
- 提升模型表现:有效的数据增强和数据扩充策略可以提高模型的表现,使其在测试数据上获得更好的性能。
总结来说,数据增强和数据扩充是深度学习中常用的技术手段,它们可以提高模型的泛化能力、缓解过拟合问题和增强模型的鲁棒性。在实际应用中,我们可以根据任务需求选择适当的数据增强和数据扩充方法,并注意避免引入过多的扰动或失真,从而保证改进模型的效果。
颜色变换
局部颜色变换图
颜色变换步骤
1.首先获取VOC或者coco数据集的xml/json文件
2.利用分割大模型对框中的内容进行分割,
3.利用脚本对ROI进行映射
4.最终得到批量的颜色变换图,可以1变n。
再也不用对数据进行颜色扩充,省掉道具花销!
先看一下结果图
原图
扩充图
图像合成
步骤:
1.大模型分割前景数据
2.脚本获取场景相似的背景数据
3.脚本批量扩充目标场景
背景图:
前景图
结果图:
再者:
利用opencv与大模型进行融合处理,可以完成批量图像合成,并且可以复现难以达到的场景,特斯拉AI day讲过:不可能采集所有自动驾驶场景,但是路上有牛马经过也是不无可能,采用场景扩展也是急需使用的,毕竟不仅可以扩充罕见场景,又可以减少花销,毕竟马斯克主打的就是花最少的钱,做最多的事!