在Pytorch中如何调试num_workers

简介: 在Pytorch中如何调试num_workers

num_workers=0表示只有主进程去加载batch数据,这个可能会是一个瓶颈。


num_workers = 1表示只有一个worker进程用来加载batch数据,而主进程是不参与数据加载的。这样速度也会很慢。


num_workers>0 表示只有指定数量的worker进程去加载数据,主进程不参与。


增加num_works也同时会增加cpu内存的消耗。所以num_workers的值依赖于 batch size和机器性能。


一般开始是将num_workers设置为等于计算机上的CPU数量


最好的办法是缓慢增加num_workers,直到训练速度不再提高,就停止增加num_workers的值。




相关文章
|
机器学习/深度学习 编解码 计算机视觉
GAN Step By Step -- Step5 ACGAN
GAN Step By Step -- Step5 ACGAN
GAN Step By Step -- Step5 ACGAN
|
PyTorch 算法框架/工具
Pytorch疑难小实验:Torch.max() Torch.min()在不同维度上的解释
Pytorch疑难小实验:Torch.max() Torch.min()在不同维度上的解释
128 0
|
PyTorch 算法框架/工具
pytorch中meter.AverageValueMeter()使用方法
pytorch中meter.AverageValueMeter()使用方法
213 0
|
PyTorch 算法框架/工具
pytorch中meter.ClassErrorMeter()使用方法
pytorch中meter.ClassErrorMeter()使用方法
147 0
|
机器学习/深度学习
GAN Step By Step -- Step6 LSGAN
GAN Step By Step -- Step6 LSGAN
GAN Step By Step -- Step6 LSGAN
|
TensorFlow 算法框架/工具 Python
Tensorflow教程(7) 命令行参数tf.flags的使用
Tensorflow教程(7) 命令行参数tf.flags的使用
157 0
Tensorflow教程(7) 命令行参数tf.flags的使用
|
TensorFlow 算法框架/工具
[TensorFlow笔记乱锅炖] tf.multinomial(logits, num_samples)使用方法
tf.multinomial(logits, num_samples) 第一个参数logits可以是一个数组,每个元素的值表示对应index的选择概率。假设logits有两个元素,即[0.6,0.4],这表示的意思是取 0 的概率是0.6, 取 1 的概率是0.4。
3691 0
|
TensorFlow 算法框架/工具 索引
[转载]Tensorflow 的reduce_sum()函数的axis,keep_dim这些参数到底是什么意思?
转载链接:https://www.zhihu.com/question/51325408/answer/125426642来源:知乎 这个问题无外乎有三个难点: 什么是sum 什么是reduce 什么是维度(indices, 现在均改为了axis和numpy等包一致) sum很简单,就是求和,那么问题就是2和3,让我们慢慢来讲。
1523 0
|
机器学习/深度学习 自然语言处理 TensorFlow
学习笔记CB013: TensorFlow、TensorBoard、seq2seq
tensorflow基于图结构深度学习框架,内部通过session实现图和计算内核交互。 tensorflow基本数学运算用法。 import tensorflow as tf sess = tf.Session() a = tf.
1443 0

热门文章

最新文章