DataLoader worker exited unexpectedly:Windows 超分辨率先暴露单进程内存错误

简介: 该帖探讨PyTorch在Windows 10/1.4.0下DataLoader子进程异常退出问题:`num_workers=0`后仍出现约9GB CPU分配失败或GPU OOM。指出关键在于诊断真实内存需求——需逐级验证`dataset[0]`、单样本batch、前向传播,确认超分辨率数据是否成对裁块,并强调Windows下必须用`if __name__ == "__main__":`保护入口。(239字)

原帖使用 Windows 10、PyTorch 1.4.0;num_workers=0 后又出现约 9 GB CPU 分配失败或 GPU OOM:

RuntimeError: DataLoader worker (pid(s) 15332) exited unexpectedly

单进程是定位入口,内存需求才是下一步

原题已经提供 num_workers=0 后申请 9663676416 字节失败的证据,约为 9 GiB 单次分配;另一路还在 4 GiB GPU 上 OOM。因此不能停在常见的“设 workers=0”。先判断读进来的是否是预期训练裁块,再看 batch 和中间特征规模。

worker exited 是子进程退出的外层提示。原帖后续错误已经表明,还需要处理实际内存需求,单把 worker 数设成 0 并不是完整修复。

在创建训练 loader 后,先用原数据集构建一个 batch_size=1、单进程的诊断 loader,打印真正送入网络的尺寸。training_data_loader 是原训练 loader:

from torch.utils.data import DataLoader
probe = DataLoader(training_data_loader.dataset, batch_size=1, num_workers=0)
inputs, targets = next(iter(probe))
print("josh050608")
print("input:", inputs.shape, inputs.dtype)
print("target:", targets.shape, targets.dtype)
print("input bytes:", inputs.numel() * inputs.element_size())

输入字节数不包含中间特征和梯度,不能拿它当训练峰值。若图片远大于预期,检查超分辨率数据集是否需要随机裁块、是否误把整图作为训练样本,以及 upscale_factor 与裁块尺寸的关系。对超分辨率,输入与高清目标必须成对裁切,不能各自随机裁剪。

先降低 batch 和有效训练裁块尺寸,保持 CPU 加载数据,在主进程把一个 batch 移到 GPU。Windows 脚本还应把训练入口放进 if __name__ == '__main__':,数据集类保持在模块顶层。

先验证 dataset[0]、再验证 next(iter(probe))、最后做一个训练 step,分别定位读取、组批还是前向耗尽内存。单进程跑通后再逐步增加 workers;若只在多进程失败,继续检查可序列化对象和 worker 内存复制。

超分辨率必须成对裁块

若高清目标是输入的 s 倍,输入裁块 [h,w] 应对应目标 [s*h,s*w]。两个独立随机裁剪会破坏像素对应关系,虽然可能省内存,却会使监督目标错误。下面用合成图演示坐标对应,不读取数据、不申请大内存:

import torch
scale = 2
low = torch.arange(3 * 16 * 20, dtype=torch.float32).reshape(3, 16, 20)
high = low.repeat_interleave(scale, dim=1).repeat_interleave(scale, dim=2)
top, left, crop_h, crop_w = 3, 4, 8, 8
low_patch = low[:, top:top+crop_h, left:left+crop_w]
high_patch = high[:, top*scale:(top+crop_h)*scale,
                  left*scale:(left+crop_w)*scale]
assert low_patch.shape == (3, 8, 8)
assert high_patch.shape == (3, 16, 16)
assert torch.equal(high_patch[:, ::scale, ::scale], low_patch)
print("paired patches:", low_patch.shape, high_patch.shape)

原工程可能使用 Y 通道或先降采样得到低清输入,应按其真实数据生成顺序选裁块位置,不能直接假设输入是三通道。把 dataset[0] 的结果与数据集内部 crop 参数对照;若原本想训练小块,实际却返回整张高分辨率图,应在数据预处理处改,而不是事后改变张量 view。

哪一步失败 优先查看
dataset[0] 就内存不足 单图解码、预处理、中间数组是否过大
单样本正常,组 batch 失败 batch_size、collate 与 CPU 内存
batch 正常,前向或反向 OOM 裁块、激活、模型规模及 GPU 峰值
单进程正常,多 worker 失败 Windows 入口保护、可序列化定义与进程内存

Windows 的 if __name__ == '__main__': 应包住创建 loader 和启动训练的入口,类定义放模块顶层。先以小裁块和 batch=1 完成一次损失、反向与更新,再逐级扩大;每次只改一个资源参数,记录哪一步达到内存上限。CPU 张量输入大小只是下界,无法代表模型训练峰值。

参考:原始求助帖;技术依据:PyTorch 数据加载(2.5)、Python multiprocessing、PyTorch CUDA 语义(2.5)。

相关文章
|
11天前
|
Linux 开发工具 iOS开发
Codex保姆级教程(下载+安装+登录+使用,含所有版本,2026最新)
Codex是OpenAI推出的开源AI编程智能体,本地运行,可理解整个代码库,支持自然语言指令改代码、执行命令、跑测试、修Bug,兼容Win/macOS/Linux。(239字)
4167 22
|
11天前
|
JavaScript API iOS开发
DeepSeek Harness下载、安装、配置一篇搞定(2026整理,送常用插件)
DeepSeek Harness(DSH)是DeepSeek于2026年开源的MIT协议AI Agent框架,支持插件化组装模型、工具、沙箱与UI,兼容主流大模型。本文提供免Node.js的桌面端安装包(Win/macOS),含详细图文教程及热门插件推荐。
4221 49
|
6天前
|
存储 弹性计算 人工智能
2026 年阿里云双十一活动入口攻略,新客服务器优惠通道、三大会场入口梳理
综合来看,2026年阿里云双十一活动入口清晰: 阿里云轻量应用服务器、阿里云ECS云服务器、阿里云GPU云服务器、阿里云百炼大模型服务平台 活动会场、综合权益中心、99计划专场三大入口覆盖服务器、AI权益与续费特价;新用户通过控制台首页banner、权益中心、产品页三处路径进入专属专场,老用户通过控制台弹窗和费用中心权益中心进入老客专区,企业用户做企业实名后解锁专属满减与阶梯折扣。
821 0
|
12天前
|
iOS开发 Docker MacOS
【2026实测】Docker Desktop下载、安装、汉化、配置教程(附官网安装包)
Docker Desktop 是 Docker 官方推出的桌面容器管理工具,集成引擎、CLI、图形界面与 Kubernetes,支持 Win/macOS/Linux。2026 最新版 4.88.1 强化 ARM 原生运行、镜像加速及资源可视化,附中文汉化与国内镜像配置指南。
2029 7
|
6天前
|
云安全 人工智能 安全
|
5天前
|
Linux 开发工具 iOS开发
2026最新codex下载安装保姆级使用教程(下载+安装+登录+使用,含所有历史版本)
本文详解OpenAI Codex国内快速上手指南:提供Win/macOS/Linux全平台免安装包、npm/Homebrew等多方式安装、账号/API Key双登录、简体中文切换,覆盖下载、安装、汉化、使用及高频避坑(如微软商店失败、npm超时等),10分钟即可跑通。
1172 3
|
12天前
|
安全 算法 定位技术
《高性价比人生指南》完整原版:普通人用最少的资源,过好这一生的底层逻辑~How To Live Better
📖《高性价比人生指南》是一份基于实证、拒绝焦虑的生存手册,倡导以“人生时薪”为视角,重新计算时间、金钱与精力的成本与收益。它不承诺逆袭,只教人算清账:省下的钱若耗掉时间便亏;买体验比买物品更值;睡眠是最高杠杆的健康投资;关系贵在情绪价值而非表面热络;学习重在改变行为而非自我安慰。核心理念:用低成本、高回报的微小行动,换取长期的选择权——不是成为谁,而是掌控自己人生的主动权。
2152 6
|
云安全 安全 网络安全
|
3天前
|
人工智能 安全 API
DeepSeek Harness下载、安装、配置一篇搞定(2026整理,送常用插件)
DeepSeek Harness(dsh)是DeepSeek AI于2026年开源的轻量级Agent运行框架,基于Cordis内核,践行“一切皆插件”理念。支持Web/桌面双端,开箱即用;内置多模型接入、丰富插件生态(超3.5万),适配编程、办公、创作等场景。(239字)
777 0

热门文章

最新文章