堆栈落在NLLLoss时应先查类别标签,不能把浮点图像也一起改成long。
对应这条排查路径的配套代码
运行配套示例 python -m j050608_nll_target_route:将图片与整数标签放在同一TensorDataset中,演示正确配对的分类训练批次。
j050608_nll_target_route 对应本文这一个问题的演示或检查步骤,具体行为是:将图片与整数标签放在同一TensorDataset中,演示正确配对的分类训练批次。下文仍保留检查依据和示例代码,可直接在自己的脚本中使用;也可以通过仓库取得同一份配套实现。
配套组件 j050608-nll-target-route 的源码与说明、wheel 下载在作者仓库中公开提供。它不是 PyTorch 官方依赖,也没有注册同名 PyPI 包。已有所需依赖的项目可在下载文件后安装:
python -m pip install --no-deps ./j050608_nll_target_route-0.1.0-py3-none-any.whl
--no-deps 保留项目原有依赖,不自动更换 torch、CUDA 或其他库。环境缺包时仍要按文章适用版本配置,安装配套组件本身不会修复驱动或硬件。
python -m j050608_nll_target_route
对照 j050608_nll_target_route 的输出验证:真实标签确为整数类别,图像dtype与权重一致,正常批次和尾批的样本标签保持对应。 不把合成输入演示通过等同于原项目故障已修复。
原帖在 NLLLoss(output, labels) 出错,图像与标签又分别使用两个 DataLoader:
RuntimeError: expected scalar type Long but found Float
Long 要求来自标签,不是来自整张图片
原题的堆栈进入 nll_loss,说明当时模型前向已经返回了结果。若把 images 也转 long,下一轮就会在浮点 Linear 中遇到另一种类型冲突。还要注意,训练样本数 42000 不等于每张图片的输入特征数,28×28 图像展平后应是 784。
同一句 Long/Float 错误也可能在 Linear 中因整数输入触发,那时要改特征;本题堆栈进入 NLLLoss,应先看 labels。这里要分开处理特征和目标。图像进 Linear 时需要与权重一致的浮点数;NLLLoss 的目标是整型类别索引。先在损失调用前检查:
print("images:", images.shape, images.dtype)
print("output:", output.shape, output.dtype)
print("labels:", labels.shape, labels.dtype, labels[:8])
如果标签确实是 0 到 9 的整数编号,只是存成 float,就在数据准备或取 batch 时转换 labels = labels.long();不要对整组图像调用 .long()。若标签是小数、概率或字符串,应先确认编码含义,不能截断成整数。
原帖末层是 Softmax,而 NLLLoss 需要的是对数概率。可把末层替换成 nn.LogSoftmax(dim=1),继续用 NLLLoss;或删去 Softmax,用原始 logits 配 nn.CrossEntropyLoss()。两种方案任选其一。
另外应把图像和标签组成同一个数据集,防止两个 loader 独立打乱后错配。Xt_train 与 Yt_train 是原题训练张量:
from torch.utils.data import TensorDataset, DataLoader
train_loader = DataLoader(
TensorDataset(Xt_train.float(), Yt_train.long()),
batch_size=64, shuffle=True,
)
进入全连接层前按 images = images.flatten(1) 保留 batch 维,每张 28×28 图像对应 784 个特征。验证同一个 batch 的输出为 [N,10],标签为 [N],loss 能反向传播。
把类型、配对和损失一起固定下来
下面是一段可以独立运行的简化训练流程:8 张合成灰度图片与 8 个类别编号放在同一个 TensorDataset,打乱时仍保持配对。采用原始 logits 加 CrossEntropyLoss,因此末尾没有 Softmax:
import torch
from torch import nn
from torch.utils.data import TensorDataset, DataLoader
torch.manual_seed(9)
images_all = torch.randn(8, 1, 28, 28)
labels_all = torch.tensor([0, 1, 2, 3, 4, 5, 6, 7], dtype=torch.long)
loader = DataLoader(TensorDataset(images_all, labels_all), batch_size=4, shuffle=True)
net = nn.Sequential(nn.Flatten(), nn.Linear(784, 28), nn.ReLU(), nn.Linear(28, 10))
opt = torch.optim.SGD(net.parameters(), lr=0.003)
for images, labels in loader:
opt.zero_grad()
logits = net(images)
assert images.dtype == net[1].weight.dtype
assert labels.dtype == torch.long and labels.shape == (images.shape[0],)
loss = nn.CrossEntropyLoss()(logits, labels)
assert torch.isfinite(loss)
loss.backward()
opt.step()
print("batch/loss:", tuple(logits.shape), float(loss.detach()))
如果继续使用 NLLLoss,修改为 LogSoftmax 输出;不要把普通 Softmax 的概率交给它。两种损失组合可以分别实现同类分类目标,但各自的输入约定必须完整遵守。
真实标签在 .long() 前还应确认它们确实是整数编号。可比较 labels 与 labels.round():若原来存在 1.7 这样的值,需要追查编码或读表步骤,直接转 long 会静默截断。若标签是 [N,1],确认每行就是单个类别后才用 squeeze(1);不要对含 one-hot 的 [N,10] 随意压缩。
验收时记录一批图片和标签的样本索引,确认同一数据源配对;再检查输出 [N,10]、有限 loss 与非空权重梯度。仅把异常从 Long 改成 Float,并不能说明分类流程已经正确。
使用 nll_target_route.py 时,把示例范围与真实故障验证分开:真实标签确为整数类别,图像dtype与权重一致,正常批次和尾批的样本标签保持对应。
参考:原始求助帖;技术依据:NLLLoss(2.5)、CrossEntropyLoss(2.5)、PyTorch 数据加载(2.5)。