linux服务器下使用
nvidia-smi
or nvidia-smi -l 1【数字表示输出间隔】
or watch -n 1 nvidia-smi 命令查看GPU使用情况，三种情况
1、没有进程，GPU使用率为空
这种情况表示，没有进程占用GPU资源，属于为空的正常状态
2、有进程，GPU使用率在变化
我们如果想要终止进程
ps -ef|grep python
kill -9 58828 # 58828是该进程id当然，也可以杀死所有python进程
killall -9 python以前写的博客有以上教程，戳我进入。
3、看不到进程，但是GPU使用率100%
博主今天就遇到了这种情况，这种情况是不正常的，因此需要将GPU释放掉，不然的话，我无法使用GPU训练模型。
我先用
kill -9 2001命令后，查看GPU使用情况：
进程是杀死了，但是GPU占用率还是100%
从网上找到了以下方法：
方法1：
使用
nvidia-smi -pm 1命令，将驱动模式设置为常驻内存。
但是好像不管用，不知道什么原因。。。只能另寻其他方法
方法2：
使用命令：
fuser -v /dev/nvidia*
使用命令杀死进程：
kill -9 65051 65052 65053 65054
GPU占用率都为0%，问题解决。
文章首发于：https://blog.csdn.net/AugustMe/article/details/121142575
参考：
https://blog.csdn.net/sinat_28750977/article/details/80117313
