问题
环境
Nvidia RTX 2070
Tensorflow 2
在利用GPU运行了程序。中断重新运行程序,就会报错,GPU内存不够,显然是被占用了
F tensorflow/stream_executor/cuda/cuda_driver.cc:175] Check failed: err == cudaSuccess || err == cudaErrorInvalidValue Unexpected CUDA error: out of memory
解决办法
因为程序虽然没有运行了,但进程还在后台运行的,占用着GPU的。可以通过杀死进程为GPU腾出内存空间来。或者重启设备即可
(1)解决办法一:杀死进程
sudo fuser -v /dev/nvidia*
查看当前占用GPU的进程,可以看到两个Python进程占着Nvidia显卡
杀死进程
sudo kill -9 9388
sudo kill -9 5944
(2)解决办法二:多个GPU的话,可以通过命令重启占用的显卡
nvidia-smi --gpu-reset
(3)解决办法三:重启设配