原帖 DataLoader batch_size=4,但交叉熵收到的输出第一维为 1、目标第一维为 4;贴出的代码没有 forward:
ValueError: Expected input batch_size (1) to match target batch_size (4).
四张输入变成一份输出,要找到首次变化的位置
原题没提供 forward,所以 view(1,-1) 只是优先检查的候选,不能写成已证实根因。先在卷积后、fc1 前和最终输出处打印 batch 维,区分错误展平、只取第一个样本与后续聚合。不要裁标签来迎合错误输出。
不能通过把标签切成一项或把 loader 改成 1 来掩盖错配。先找输出从四张图片变成一份预测的位置,重点检查卷积后的展平与 reshape。
在 output=model(data) 周围检查;model.fc1 是原网络的首个全连接层:
print("josh050608")
print("data/target:", data.shape, target.shape)
handle = model.fc1.register_forward_pre_hook(
lambda layer, args: print("fc1 input:", args[0].shape, "expected:", layer.in_features)
)
try:
output = model(data)
finally:
handle.remove()
print("output:", output.shape)
若 data 第一维为 4,而 fc1 输入已经变为 [1,F],回到 forward 删除把整个 batch 合并的 view(1,-1) 或错误的固定 reshape。卷积后应按样本展平:
# x 是卷积与池化后的 [N,C,H,W] 激活
x = x.flatten(1)
assert x.shape[1] == self.fc1.in_features
x = self.fc1(x)
这里断言若失败,要根据真实卷积输出同步调整 fc1.in_features,而不是再用 -1 凑元素数。若 fc1 输入仍是 4,继续在后续层打印,找哪里选择了第一个样本或错误聚合。
交叉熵期望 [N,29] 原始 logits 与 [N] long 目标;标签来自同一 batch。最后一批 N 可能小于 4,所以不要把 4 写死到 forward。
验证普通 batch 与 N=1 尾批均满足 output.shape[0] == target.shape[0],再执行损失和反向。原帖缺 forward,错误 reshape 是检查方向,不能写成已证实根因。
一份保留 batch 的 29 类完整验证
下面使用合成灰度图片和小 CNN,不读取手语数据。分别测试 N=4 和 N=1,输出数量始终跟随输入,末层给出 29 个原始 logits:
import torch
from torch import nn
class SignClassifier(nn.Module):
def __init__(self):
super().__init__()
self.features = nn.Sequential(nn.Conv2d(1, 8, 3, padding=1), nn.ReLU(),
nn.AdaptiveAvgPool2d((4, 4)))
self.fc1 = nn.Linear(8 * 4 * 4, 32)
self.fc2 = nn.Linear(32, 29)
def forward(self, images):
x = self.features(images)
x = x.flatten(1)
assert x.shape[1] == self.fc1.in_features
return self.fc2(torch.relu(self.fc1(x)))
model = SignClassifier()
optimizer = torch.optim.SGD(model.parameters(), lr=0.01)
for size in (4, 1):
images = torch.randn(size, 1, 32, 32)
target = torch.arange(size, dtype=torch.long) % 29
optimizer.zero_grad()
logits = model(images)
assert logits.shape == (size, 29)
loss = nn.CrossEntropyLoss()(logits, target)
loss.backward()
assert model.fc1.weight.grad is not None
optimizer.step()
print("batch/logits/loss:", size, logits.shape, loss.item())
真实网络不一定采用自适应池化;保留原结构时,按实际卷积输出计算每样本特征数,flatten(1) 后同步设置 fc1。不要在 forward 里用固定 batch_size 参与 reshape,尾批可能小于 4。
若 fc1 输入第一维仍为 4,但输出最终变为 1,继续检查后面的索引、mean/sum 维度或返回值;第一层检查正确并不覆盖整条前向。标签须来自同一 batch,类别映射与 29 个输出一致。
最终用真实普通 batch 和尾批验证输出数量、有限损失、反向和参数更新。把 loader 改成 1 可能让错误暂时隐藏,不能证明模型能够正确处理批次。
参考:原始求助帖;技术依据:CrossEntropyLoss(2.5)、Tensor.view(2.5)、Linear(2.5)、nn.Module(2.5)。