原帖双图网络同时遍历两个 loader,在读取阶段耗尽文件描述符;这不意味着 zip 不支持 DataLoader:
OSError: [Errno 24] Too many open files
zip 可以遍历,问题是并发资源或句柄生命周期
原题同时读取两路图片,Errno 24 指向文件描述符上限。没有 Dataset 打开文件的实现,无法确认泄漏位置;先观察 fd 数随批次是否增长,再区分不释放文件与合理并发需求。提高上限可能推迟故障,不一定修复资源生命周期。
先在 Linux/Unix 的训练进程记录限制与当前描述符数量;原帖并非 Windows 路径:
import os
import resource
print("josh050608")
print("open-file limits:", resource.getrlimit(resource.RLIMIT_NOFILE))
fd_dir = "/proc/self/fd"
print("open fds:", len(os.listdir(fd_dir)) if os.path.isdir(fd_dir) else "proc unavailable")
resource 不适用于 Windows;那里需要相应平台工具。先把两个 loader 的 num_workers 都设为 0,短程观察文件数量是否持续上升。如果单进程也增长,检查 Dataset 中 Image.open、文件读取、压缩包和 HDF5 句柄是否被释放;例如图像读取应使用上下文管理器完成加载/复制后再返回。
如果只在多进程出现,逐步增加 worker 数,核对并发打开的文件、共享 Tensor 的 IPC 资源以及是否反复创建未释放的迭代器。不要只提高 ulimit 来掩盖泄漏;确实有合理并发需求时,再在系统允许范围内调整软限制。
双 loader 可以写 for batch1,batch2 in zip(loader1,loader2):,但它会在较短一侧结束,独立 shuffle 也不保证图像配对。Siamese 任务更适合一个样本返回 (image1,image2,label) 的配对 Dataset,再由一个 loader 组批。
验证完整一轮文件数量稳定、读取正常且图片配对正确。原帖没有 Dataset 打开文件的实现,不能断言已定位哪一种泄漏。
先保证图像配对,再观察资源变化
Siamese 输入通常由同一条样本定义两张图片及关系标签。下面用合成张量展示一个配对 Dataset,避免两个 loader 独立 shuffle 后失配:
import torch
from torch.utils.data import Dataset, DataLoader
class PairDataset(Dataset):
def __len__(self):
return 5
def __getitem__(self, index):
left = torch.full((1, 4, 4), float(index))
right = torch.full((1, 4, 4), float(index + 10))
return left, right, index % 2
loader = DataLoader(PairDataset(), batch_size=2, shuffle=True, num_workers=0)
count = 0
for left, right, labels in loader:
assert left.shape == right.shape
assert torch.equal(right-left, torch.full_like(left, 10))
assert len(labels) == len(left)
count += len(left)
assert count == 5
print("paired samples:", count)
真实 Dataset 的文件读取使用上下文管理器,返回前完成必要的加载或复制;HDF5、压缩包等有自己的进程与句柄规则,应按对应库约定管理。不要把未关闭的文件对象长期存进样本列表。
在一轮开始、每隔固定批次和结束记录 fd 数。单进程也持续增长,优先查读取代码;只在多 worker 上升,检查 worker 数、IPC 共享资源与反复创建迭代器。正常缓存建立后稳定,与每轮无界增长是不同现象。
若保留双 loader,确认 zip 会在较短一侧结束,且两路采样方案保持配对。最终验证样本覆盖、配对与 fd 稳定,而非只提高 ulimit 后暂时不抛异常。原帖缺少读取实现,具体泄漏原因仍需本地证据。
参考:原始求助帖;技术依据:PyTorch 数据加载(2.5)、Python 资源限制、PyTorch 多进程建议(2.5)、Pillow 图像打开与转换。