ForkingPickler(file, protocol).dump(obj) TypeError: can‘t pickle Environment objects

简介: ForkingPickler(file, protocol).dump(obj) TypeError: can‘t pickle Environment objects

问题描述

在win系统下复现SPSR代码出现这种错误,查询资料发现是windows系统的问题。

解决方案:

因为windows操作系统的原因,在Windows中,多进程multiprocessing使用的是序列化pickle来在多进程之间转移数据,而socket对象是不能被序列化的,但是在linux操作系统上却没问题,因为在linux上多进程multiprocessing使用的是fork,所以在windows上可以改用多线程。因为网络通信属于io密集型的操作,对cpu计算要求不高,不用多进程,用多线程就行。

num_workers=0,记得无论是参数设置还是数据集读取处理的代码,都要重新设置。

loader = torch.utils.data.DataLoader(dataset=dataset,
                                              batch_size=self.batch,
                                              shuffle=self.shuf,
                                              num_workers=0,
                                              drop_last=True)
 
parser.add_argument('--num_workers', type=int, default=0)

还有一些其他的解决方案:python3 PicklingError: Can't pickle  at......> attribute lookup  on __main_can't pickle  at 0x000001ed8215d-CSDN博客

参考:成功解决can‘t pickle Environment objects和Ran out of input_forkingpickler(file, protocol).dump(obj) typeerror-CSDN博客

目录
相关文章
|
分布式计算 并行计算 编译器
NumPy 高级教程——并行计算
NumPy 高级教程——并行计算【1月更文挑战第3篇】
977 26
|
编解码
KeyError: “No object named ‘BSRN‘ found in ‘arch‘ registry!“
KeyError: “No object named ‘BSRN‘ found in ‘arch‘ registry!“
474 0
|
人工智能 架构师 决策智能
agentUniverse X 浙大太乙平台,开源共建招募令来啦,3万奖金等你拿!
agentUniverse 首期开源共建活动正式上线啦!3万奖金池等大家贡献瓜分~
|
存储 传感器 缓存
Nvidia Isaac Sim安装与配置 入门教程 2024(2)
本文是Nvidia Isaac Sim安装与配置的入门教程,指导用户如何检查系统配置、安装Omniverse环境、配置Nucleus服务器、安装Isaac Sim软件包、设置命令行环境和编辑器环境,以及如何启动Isaac Sim仿真和加载机器人与环境。
5853 0
|
8月前
|
机器学习/深度学习 人工智能 算法
通义WebSailor开源,首个挑战BrowseComp基准的开源网络智能体!
WebSailor网络智能体可以应用复杂场景下的检索任务,对于模糊问题可迅速在不同的网页中进行快速检索并推理验证,从而在海量信息中通过严密的多步推理和交叉验证中最终得出检索答案。
642 0
|
存储 人工智能 编解码
Pippo:Meta放出AI大招!单张照片秒转3D人像多视角视频,AI自动补全身体细节
Pippo 是 Meta 推出的图像到视频生成模型,能够从单张照片生成 1K 分辨率的多视角高清人像视频,支持全身、面部或头部的生成。
1281 9
Pippo:Meta放出AI大招!单张照片秒转3D人像多视角视频,AI自动补全身体细节
|
Ubuntu 计算机视觉 C++
Ubuntu系统下编译OpenCV4.8源码
通过上述步骤,你可以在Ubuntu系统上成功编译并安装OpenCV 4.8。这种方法不仅使你能够定制OpenCV的功能,还可以优化性能以满足特定需求。确保按照每一步进行操作,以避免常见的编译问题。
383 30
|
数据可视化 项目管理 UED
有哪些免费的设计协作工具?推荐六款实用工具
设计协作工具在跨团队合作和远程办公中发挥着重要作用,能打破沟通壁垒,促进实时交流与创意共享。文中介绍了六款实用工具:板栗看板、Pixso、Figma、Invision、Miro和Trello,它们各具特色,支持从项目管理到设计协作的多种需求。未来,这些工具将朝着功能集成化、智能化辅助、跨平台兼容性和增强第三方集成等方向发展,以提供更好的用户体验。
有哪些免费的设计协作工具?推荐六款实用工具

热门文章

最新文章