133类logits与类别编号应按分类损失的接口连接,不能因MSE广播冲突把类别数改成batch大小。
对应这条排查路径的配套代码
运行配套示例 python -m j050608_class_loss_contract:用133类输出、整数类别标签和CrossEntropyLoss演示一个完整训练step。
j050608_class_loss_contract 对应本文这一个问题的演示或检查步骤,具体行为是:用133类输出、整数类别标签和CrossEntropyLoss演示一个完整训练step。下文仍保留检查依据和示例代码,可直接在自己的脚本中使用;也可以通过仓库取得同一份配套实现。
配套组件 j050608-class-loss-contract 的源码与说明、wheel 下载在作者仓库中公开提供。它不是 PyTorch 官方依赖,也没有注册同名 PyPI 包。已有所需依赖的项目可在下载文件后安装:
python -m pip install --no-deps ./j050608_class_loss_contract-0.1.0-py3-none-any.whl
--no-deps 保留项目原有依赖,不自动更换 torch、CUDA 或其他库。环境缺包时仍要按文章适用版本配置,安装配套组件本身不会修复驱动或硬件。
python -m j050608_class_loss_contract
对照 j050608_class_loss_contract 的输出验证:类别范围、样本数量、标量损失和梯度均通过;若采用MSE,必须另行明确目标的数值表示。 不把合成输入演示通过等同于原项目故障已修复。
原帖网络输出 133 个类别分数,CrossEntropyLoss 可以训练,换成 MSELoss 后在计算 loss 时失败:
RuntimeError: The size of tensor a (133) must match the size of tensor b (10) at non-singleton dimension 1.
这次错误出现在损失计算,和优化器选择分开看
网络最后一层为 Linear(1024,133),失败行是 criterion(outputs,target)。原题同时换了损失和优化器,但 Adam 还没有执行 step,因此应先检查损失的输入约定。数字 10 可能来自当前批次大小,需要实际打印确认,不能据此把 133 类输出层改成 10 类。
这次区别来自损失函数对目标的要求。若 outputs 是 [10,133],target 是 [10] 类别编号,MSE 的逐元素比较不能把编号自动理解为 133 类标签;133 与 10 会在广播时冲突。先在 criterion(outputs, target) 前检查:
print("outputs:", outputs.shape, outputs.dtype)
print("target:", target.shape, target.dtype)
print("target sample:", target[:5])
如果这是每张图片只有一个类别的任务,保留最后的 133 个原始 logits,并改回交叉熵。下面 target 必须是已经确认过含义的类别索引:
import torch
criterion = torch.nn.CrossEntropyLoss()
loss = criterion(outputs, target.long())
标签应为 [N] 且范围为 0 到 132,模型末尾不要再加 softmax。Adam 或 SGD 不会改变这种输入约定,可以独立选择。
如果研究设计明确要求对类别概率做均方误差,需显式构造同形状目标,而非随意 reshape:
import torch.nn.functional as F
one_hot = F.one_hot(target.long(), num_classes=outputs.shape[1]).to(outputs)
loss = F.mse_loss(outputs.softmax(dim=1), one_hot)
这改变了训练目标,不能当作与交叉熵等价的修复。先确认实际形状,再选择任务对应的方案。最后用一个批次检查 loss 为有限标量、能反向传播,预测仍通过类别轴 outputs.argmax(dim=1) 获得。
133 类、10 个样本:完整走通一个训练 step
下面的合成数据保留 [10,133] 输出与 [10] 类别标签的关系,用一个小 Linear 代替原题 CNN。可在 CPU 直接运行;它验证的是损失接口与更新流程:
import torch
from torch import nn
torch.manual_seed(8)
model = nn.Linear(6, 133)
features = torch.randn(10, 6)
labels = torch.arange(10, dtype=torch.long)
optimizer = torch.optim.Adam(model.parameters(), lr=1e-3)
optimizer.zero_grad()
logits = model(features)
assert logits.shape == (len(labels), 133)
assert 0 <= labels.min() and labels.max() < logits.shape[1]
loss = nn.CrossEntropyLoss()(logits, labels)
assert torch.isfinite(loss)
loss.backward()
assert model.weight.grad is not None
optimizer.step()
print("classification loss:", float(loss.detach()))
原题数据若是多标签、每张图可同时属于多类,就不能照用每样本一个编号的方案,需要重新确认目标矩阵和损失定义。若明确研究概率的 MSE,则对 logits 做 softmax 并配同形 one-hot 目标,是另一个有明确含义的目标,而不是把 [10] 广播成 [10,133]。
为什么错误会提到维度 1?广播从末尾对齐,[10] 的那一维要和 [10,133] 的末维 133 对齐,10 与 133 都不是 1,因此无法逐元素比较。即使碰巧 batch_size=133 让广播不再报错,样本标签仍没有变成正确的类别概率矩阵。
回到完整 CNN,先只取一个 batch,确认标签含义、范围、输出形状,再走通 backward 和 step;最后恢复整轮训练。这样可以分别判断损失接口、数据批次和优化器是否正常,避免同时改多处后无法解释是哪一处奏效。
使用 class_loss_contract.py 时,把示例范围与真实故障验证分开:类别范围、样本数量、标量损失和梯度均通过;若采用MSE,必须另行明确目标的数值表示。
参考:原始求助帖;技术依据:MSELoss(2.5)、CrossEntropyLoss(2.5)。