图像增强别乱堆:Compose 管线里,顺序比数量重要
作者:Echo_Wish
前阵子有个读者私信我:「Echo 老师,我的分类模型卡在 82% 不动了,是不是该换个更大的 backbone?」
我让他把数据加载那段代码发过来,一看就乐了。Compose 里塞了十几个变换,Normalize 排在中间,ColorJitter 却放在它后面。模型没毛病,毛病出在管线上。
很多人把 transforms.Compose 当成一个「调料架」,觉得多撒几样总没错。我的看法正相反:数据增强是在教模型「世界允许怎样变化」,管线就是你写给模型的世界观。 世界观写歪了,模型越努力学,偏得越远。
今天就聊聊怎么把这条管线搭得靠谱。
一、Compose 的本质:函数串联,顺序就是语义
Compose 没什么神秘的,就是把一堆可调用对象按顺序串起来,前一个的输出是后一个的输入。
class Compose:
def __init__(self, transforms):
self.transforms = transforms
def __call__(self, x):
for t in self.transforms:
x = t(x)
return x
所以任何带 __call__ 的东西都能放进去,这一点后面写自定义增强时很有用。
二、一条靠谱的基础管线
先看一个我常用的训练和验证管线:
import torch
from torchvision import transforms as T
MEAN = (0.485, 0.456, 0.406)
STD = (0.229, 0.224, 0.225)
train_tf = T.Compose([
T.RandomResizedCrop(224, scale=(0.6, 1.0)), # 几何:随机裁剪+缩放
T.RandomHorizontalFlip(p=0.5), # 几何:水平翻转
T.RandomApply([T.ColorJitter(0.3, 0.3, 0.2, 0.05)], p=0.8), # 颜色:亮度/对比度/饱和度/色相
T.RandomApply([T.GaussianBlur(5, sigma=(0.1, 1.5))], p=0.2),# 质量退化:模糊
T.ToTensor(), # PIL -> Tensor, 值域 [0,1]
T.Normalize(MEAN, STD), # 标准化,必须靠后
T.RandomErasing(p=0.25, scale=(0.02, 0.1), value=0), # 随机擦除,只能在 Tensor 上做
])
val_tf = T.Compose([
T.Resize(256),
T.CenterCrop(224),
T.ToTensor(),
T.Normalize(MEAN, STD),
])
我的顺序习惯是:几何变换 → 颜色变换 → 转 Tensor → 标准化 → 擦除类。下面说说为什么。
三、观点一:顺序错了,增强会变成破坏
最典型的坑是把颜色类变换放到 Normalize 之后:
# ❌ 错误示范
bad_tf = T.Compose([
T.ToTensor(),
T.Normalize(MEAN, STD),
T.ColorJitter(brightness=0.4), # 这时候像素值已经是负数了
])
ColorJitter 是按「像素值在 [0,1] 之间」这个前提设计的,调亮度后还会把结果截断(clamp)到 [0,1]。你的数据已经被标准化成 [-2, 2.6] 左右,一截断,负值全被砍成 0,图像直接废了。更坑的是它不报错,只是模型莫名其妙学不好。
所以我的原则是:凡是假设像素在 [0,1] 的操作,都得排在 Normalize 前面。 这类坑没有报错信息,只能靠你自己知道顺序有讲究。
四、观点二:训练和验证,千万别共用一套
有人图省事,训练集验证集用同一个 transform。验证集上带着随机翻转、随机裁剪,指标每次跑出来都不一样,你根本分不清是模型变好了还是运气变好了。
验证和测试只做确定性变换:Resize、CenterCrop、Normalize,别的一概不加。增强是训练时的「磨刀石」,不是考试时的「干扰项」。
五、观点三:增强要贴合业务,别照搬教程
这条我最想强调。网上的增强配置满天飞,直接抄是最省事的,也是最容易翻车的。我见过的例子:
- 做文字识别,加了水平翻转,「b」和「d」直接分不清了;
- 做医学影像,用了大幅 ColorJitter,结果颜色本身就是诊断依据;
- 做工业质检,随机裁剪裁掉了缺陷区域,标签还是「有缺陷」,等于喂给模型错误标签。
一个简单的判断标准是:增强之后的图,人看了还能给出同一个标签吗? 能,就是好增强;不能,就是噪声。
六、自定义增强:几行代码的事
标准库不够用时,自己写一个就行。比如给图像加高斯噪声,模拟低质量摄像头:
class AddGaussianNoise:
"""放在 ToTensor 之后、Normalize 之前"""
def __init__(self, std=0.03, p=0.5):
self.std, self.p = std, p
def __call__(self, x: torch.Tensor):
if torch.rand(1).item() > self.p:
return x
return (x + torch.randn_like(x) * self.std).clamp(0, 1)
def __repr__(self):
return f"{self.__class__.__name__}(std={self.std}, p={self.p})"
tf = T.Compose([
T.RandomResizedCrop(224),
T.ToTensor(),
AddGaussianNoise(std=0.05, p=0.3),
T.Normalize(MEAN, STD),
])
想「几种增强随机选一种」,用 T.RandomChoice;想「按概率整体启用」,用 T.RandomApply。这三件套组合起来,足够搭出大部分实用管线。
七、动手之前,先「看」一眼你的增强
我养成了一个习惯:管线写完不急着训练,先把增强后的图画出来看。
import matplotlib.pyplot as plt
from PIL import Image
def denormalize(x):
mean = torch.tensor(MEAN).view(3, 1, 1)
std = torch.tensor(STD).view(3, 1, 1)
return (x * std + mean).clamp(0, 1)
def preview(img_path, tf, n=8):
img = Image.open(img_path).convert("RGB")
fig, axes = plt.subplots(2, n // 2, figsize=(3 * n // 2, 6))
for ax in axes.flat:
ax.imshow(denormalize(tf(img)).permute(1, 2, 0).numpy())
ax.axis("off")
plt.tight_layout()
plt.show()
preview("sample.jpg", train_tf)
八张图一眼扫过去,哪个增强过头、哪个根本没生效,立刻就能看出来。这五分钟比你跑一整晚实验省事得多。
八、增强强度要当成超参数来调
增强不是越强越好。我习惯把强度抽成一个参数,方便做消融实验:
def build_train_tf(size=224, strength=1.0):
s = strength
return T.Compose([
T.RandomResizedCrop(size, scale=(1.0 - 0.4 * s, 1.0)),
T.RandomHorizontalFlip(),
T.RandomApply(
[T.ColorJitter(0.4 * s, 0.4 * s, 0.3 * s, 0.05 * s)],
p=min(1.0, 0.8 * s),
),
T.ToTensor(),
T.Normalize(MEAN, STD),
])
for s in (0.0, 0.5, 1.0, 1.5):
tf = build_train_tf(strength=s)
# 训练并记录验证集指标……
数据量小的时候,增强强一点通常有帮助;数据量大、模型小的时候,增强太强反而会欠拟合。这个度没有标准答案,只能靠实验。
九、进阶:检测和分割任务用 v2
如果你做的是目标检测或语义分割,图像变了,框和 mask 也得同步变。老版 transforms 干不了这事,得用 transforms.v2:
from torchvision.transforms import v2
from torchvision import tv_tensors
det_tf = v2.Compose([
v2.ToImage(),
v2.RandomHorizontalFlip(0.5),
v2.RandomPhotometricDistort(p=0.5),
v2.ToDtype(torch.float32, scale=True),
v2.SanitizeBoundingBoxes(), # 清理增强后跑出画面的框
])
img = tv_tensors.Image(img_tensor)
boxes = tv_tensors.BoundingBoxes(boxes_xyxy, format="XYXY", canvas_size=(H, W))
out_img, out_target = det_tf(img, {
"boxes": boxes, "labels": labels})
tv_tensors 会告诉管线「这是图、那是框」,翻转时框自动跟着翻。这比自己手写坐标变换省心太多,也不容易出错。
写在最后
聊了这么多,我想说的核心就一句:别把 Compose 当成「堆功能」的地方,把它当成「表达假设」的地方。 每加一个变换,都该问自己:现实里会出现这种变化吗?模型应该对它不敏感吗?答不上来,就别加。
我自己的感受是,早些年调模型,总想着换网络、加层数、堆技巧,后来才发现,很多「玄学」其实是数据管线里的小疏忽累积出来的。 把顺序理顺,把验证集管干净,把增强可视化看一遍,这些不起眼的事做扎实了,往往比换模型管用。
下次模型不涨点,先别急着怀疑人生,回头看看你的 Compose 吧。
我是 Echo_Wish,咱们下篇接着聊。