指定GPU运行和训练python程序 、深度学习单卡、多卡 训练GPU设置【一文读懂】

简介: 指定GPU运行 python程序、玩转深度学习、查看 CPU 内存大小
🥇 版权: 本文由【墨理学AI】原创、各位大佬、欢迎和墨理一起学AI
🎉 # 深度学习模型训练基础环境搭建相关教程————❤️ 不负光阴不负卿 ❤️

📘 查看服务器显卡使用情况

一、命令行运行python程序时
  • 首先查看哪些GPU空闲,nvidia-smi显示当前GPU使用情况
nvidia-smi
  • 如下图所示:服务器中的两个显卡,编号为0、1 . 都被同一个进程 PID 3016 占用

1

图示基础信息
GPU:GPU 编号;
Name:GPU 型号;
Persistence-M:持续模式的状态。持续模式虽然耗能大,但是在新的GPU应用启动时,花费的时间更少,这里显示的是off的状态;
Fan:风扇转速,从0到100%之间变动;
Temp:温度,单位是摄氏度;
Perf:性能状态,从P0到P12,P0表示最大性能,P12表示状态最小性能(即 GPU 未工作时为P0,达到最大工作限度时为P12)。
Pwr:Usage/Cap:能耗;
Memory Usage:显存使用率;
Bus-Id:涉及GPU总线的东西 
Disp.A:Display Active,表示GPU的显示是否初始化;
Volatile GPU-Util:浮动的GPU利用率;
Uncorr. ECC:Error Correcting Code,错误检查与纠正;
Compute M:compute mode,计算模式

📘 指定空闲的GPU运行python程序

CUDA_VISIBLE_DEVICES=0,1 python test.py  

📘 在python程序中指定GPU(通常使用该设置)

在 train.py 最上方,设定使用的GPU 编号, 当这两行代码注释掉时,训练会自动使用该服务器的所有资源
import os
os.environ["CUDA_VISIBLE_DEVICES"] = "0,1"

每 10s 显示一次GPU使用情况, Xshell 中 CTRL + C 中止:

watch -n 10 nvidia-smi

每 2s 刷新一次GPU使用情况, Xshell 或者 Shell 窗口 中 CTRL + C 中止:

nvidia-smi -l 2

查看 CPU 内存大小

free -g (单位是 G) free -m (单位是 Mb)

free -g
              total        used        free      shared  buff/cache   available
Mem:             31          26           0           0           4           3
Swap:             7           5           2

free -m
              total        used        free      shared  buff/cache   available
Mem:          32070       27114         751         656        4204        3837
Swap:          8191        5541        2650

free -h

 free -h
              total        used        free      shared  buff/cache   available
Mem:           125G         32G        874M        2.8G         92G         89G
Swap:          8.0G        1.0G        7.0G

查看 CPU 核数

cat /proc/cpuinfo | grep "cpu cores" | uniq
cpu cores    : 8

查看 CPU 型号

cat /proc/cpuinfo | grep 'model name' |uniq
model name    : Intel(R) Xeon(R) CPU E5-2620 v4 @ 2.10GHz

📘 更多有效教程

此次博文内容难以 以偏概全,如有不恰当的地方,欢迎评论区批评指正

对于即将入行计算机视觉的小伙伴,墨理这里推荐收藏的干货博文目前如下

5-0

# 深度学习模型训练基础环境搭建相关教程————认真帮大家整理了

🚀🚀 墨理学AI

🎉 作为全网 AI 领域 干货最多的博主之一,❤️ 不负光阴不负卿 ❤️
❤️ 如果文章对你有帮助、 点赞、评论鼓励博主的每一分认真创作

橘色800.jpg

相关实践学习
部署Stable Diffusion玩转AI绘画(GPU云服务器)
本实验通过在ECS上从零开始部署Stable Diffusion来进行AI绘画创作,开启AIGC盲盒。
目录
相关文章
|
18天前
|
机器学习/深度学习 数据可视化 TensorFlow
使用Python实现深度学习模型的分布式训练
使用Python实现深度学习模型的分布式训练
162 73
|
16天前
|
安全 API C语言
Python程序的安全逆向(关于我的OPENAI的APIkey是如何被盗的)
本文介绍了如何使用C语言编写一个简单的文件加解密程序,并讨论了如何为编译后的软件添加图标。此外,文章还探讨了Python的.pyc、.pyd等文件的原理,以及如何生成和使用.pyd文件来增强代码的安全性。通过视频和教程,作者详细讲解了生成.pyd文件的过程,并分享了逆向分析.pyd文件的方法。最后,文章提到可以通过定制Python解释器来进一步保护源代码。
52 6
|
29天前
|
IDE 程序员 开发工具
Python编程入门:打造你的第一个程序
迈出编程的第一步,就像在未知的海洋中航行。本文是你启航的指南针,带你了解Python这门语言的魅力所在,并手把手教你构建第一个属于自己的程序。从安装环境到编写代码,我们将一步步走过这段旅程。准备好了吗?让我们开始吧!
|
2月前
|
机器学习/深度学习 自然语言处理 语音技术
Python在深度学习领域的应用,重点讲解了神经网络的基础概念、基本结构、训练过程及优化技巧
本文介绍了Python在深度学习领域的应用,重点讲解了神经网络的基础概念、基本结构、训练过程及优化技巧,并通过TensorFlow和PyTorch等库展示了实现神经网络的具体示例,涵盖图像识别、语音识别等多个应用场景。
67 8
|
10天前
|
Shell 开发工具 Python
如何在vim里直接运行python程序
如何在vim里直接运行python程序
|
2月前
|
机器学习/深度学习 测试技术 PyTorch
深度学习之测量GPU性能的方式
在深度学习中,测量GPU性能是一个多方面的任务,涉及运行时间、吞吐量、GPU利用率、内存使用情况、计算能力、端到端性能测试、显存带宽、框架自带性能工具和基准测试工具等多种方法。通过综合使用这些方法,可以全面评估和优化GPU的性能,提升深度学习任务的效率和效果。
64 5
|
2月前
|
存储 人工智能 数据挖掘
Python编程入门:打造你的第一个程序
本文旨在为初学者提供Python编程的初步指导,通过介绍Python语言的基础概念、开发环境的搭建以及一个简单的代码示例,帮助读者快速入门。文章将引导你理解编程思维,学会如何编写、运行和调试Python代码,从而开启编程之旅。
47 2
|
2月前
|
存储 Python
Python编程入门:理解基础语法与编写简单程序
本文旨在为初学者提供一个关于如何开始使用Python编程语言的指南。我们将从安装Python环境开始,逐步介绍变量、数据类型、控制结构、函数和模块等基本概念。通过实例演示和练习,读者将学会如何编写简单的Python程序,并了解如何解决常见的编程问题。文章最后将提供一些资源,以供进一步学习和实践。
43 1
|
25天前
|
机器学习/深度学习 传感器 数据采集
深度学习在故障检测中的应用:从理论到实践
深度学习在故障检测中的应用:从理论到实践
111 5
|
8天前
|
机器学习/深度学习 人工智能 自然语言处理
深度学习的原理与应用:开启智能时代的大门
深度学习的原理与应用:开启智能时代的大门
81 16