开发者社区> 果冻虾仁> 正文

GPU服务器初体验:从零搭建Pytorch GPU开发环境

简介: 如果你有一台带N卡的个人电脑的话,那么是不需要买GPU云服务器的。如果你的公司或实验室有GPU服务器这个福利或资源的话,那么玩玩GPU服务器也不错。
+关注继续查看

GPU环境准备


如果你有一台带N卡的个人电脑的话,那么是不需要买GPU云服务器的。如果你的公司或实验室有GPU服务器这个福利或资源的话,那么玩玩GPU服务器也不错。


GPU服务器选择


目前云服务厂商基本都有售卖GPU云服务器,比如腾讯云和阿里云,以腾讯云为例,登录这个网址:https://cloud.tencent.com/product/gpu 点击【立即选购】可以进入选购页面。每种机型又对应不同的规格。基本上同机型(比如GN7)他们的显卡型号都是相同的,该机型下的不同规格(比如GN7.LARGE20、GN7.2XLARGE32)只是在CPU、内存、带宽以及显卡个数方面不同而已。下面简单列一下机型与显卡的对应关系(截至2022年5月):


机型显卡
GN6Tesla P4
GN6STesla P4
GN7NVIDIA T4
GN8Tesla P40
GN10XTesla V100
GN10XpTesla V100
GI3XNVIDIA T4
GT4NVIDIA A100
GI1Intel SG1加速卡


显卡型号知识


我们忽略Intel的那个,其余的显卡都是NVIDIA(英伟达)的显卡,也就是常说的N卡。NVIDIA牢牢抓住了人工智能爆发的浪潮,推出了CUDA、TensorRT等一系列开发框架,为GPU编程提供了便利,黄仁勋也因此赚的盆满钵满。


这里面没有我们日常所说的Geforce系列的GTX、RTX那种显卡。因为Geforce系列是桌面端的(笔记本/台式机)显卡,而这里面显卡是服务端(数据中心/工作站)的显卡。就好比我们个人电脑上的CPU是Intel酷睿(Core)系列,而公司服务器上的CPU是Intel至强(Xeon)系列。


当然并不能说服务端的这些显卡就一定比桌面端的显卡性能更好,具体还是要看算力,显卡的算力信息可以在NVIDIA的官网上查到:https://developer.nvidia.com/cuda-gpus



我的显卡是Tesla P4,算力是6.1


好了,让我们略过服务器选购的具体细节,其实这一步最大的阻碍不是算力,而是钱啦。也略过云服务器初始化的步骤,那和普通的云服务器没有差别,都是选择一台Linux然后初始化一些配置而已。


另外如果你没有购买云服务器,而是有一个装有N卡的个人电脑,那么下面的内容同样适用于你。


驱动安装


新的GPU服务器虽然有显卡,但是是没有显卡驱动的。这里需要我们手动安装一下。首先去NVIDIA官网去下载驱动:


https://www.nvidia.cn/Download/index.aspx?lang=cn


主要根据你的系统类型以及你的显卡型号(产品系列与产品家族)来选择:


640.png


点【搜索】


640.png


点【下载】


640.png


这一步不用点【下载】,因为我们是给云服务器(或者你本地的Linux虚拟机)安装显卡。所以右键复制下载链接,然后再服务器上wget下载,然后运行:


wget https://cn.download.nvidia.com/tesla/510.47.03/NVIDIA-Linux-x86_64-510.47.03.run
chmod a+x NVIDIA-Linux-x86_64-510.47.03.run
./NVIDIA-Linux-x86_64-510.47.03.run


执行以后就会开始安装,期间可能收到提示:服务器上gcc版本(比如gcc8.5)和编译kernel的gcc版本(比如gcc8.4)不一致的警告。版本号差异不大的话就忽略,否则可能需要重新安装一个同版本的gcc编译器。


执行完成后怎么确认驱动安装是OK的呢?我们可以执行一下nvidia-smi这个命令。


nvidia-smi


输出如下:


+-----------------------------------------------------------------------------+
| NVIDIA-SMI 510.47.03    Driver Version: 510.47.03    CUDA Version: 11.6     |
|-------------------------------+----------------------+----------------------+
| GPU  Name        Persistence-M| Bus-Id        Disp.A | Volatile Uncorr. ECC |
| Fan  Temp  Perf  Pwr:Usage/Cap|         Memory-Usage | GPU-Util  Compute M. |
|                               |                      |               MIG M. |
|===============================+======================+======================|
|   0  Tesla P4            Off  | 00000000:00:08.0 Off |                    0 |
| N/A   35C    P0    21W /  75W |      0MiB /  7680MiB |      0%      Default |
|                               |                      |                  N/A |
+-------------------------------+----------------------+----------------------+
+-----------------------------------------------------------------------------+
| Processes:                                                                  |
|  GPU   GI   CI        PID   Type   Process name                  GPU Memory |
|        ID   ID                                                   Usage      |
|=============================================================================|
|  No running processes found                                                 |
+-----------------------------------------------------------------------------+


能展示出信息,就是驱动安装OK了。怎么来解读这个信息呢。以中间的空行分隔,可以把整个信息分成三个部分。先说第一部分,也就是第一行:


  • nvidia-smi命令的版本
  • 显卡驱动的版本
  • cuda的版本


第二部分,也就是第二行到空行之间的部分,这是一个显卡新的表格,===这行上面是表头,下面是表数据。这里只有一张显卡,如果有多张显卡,下面会追加几行。上图的第二部分,我换个形式会更好理解:


表头数据含义
GPU0显卡ID,从0计数
FanN/A风扇转速
NameTesla P4显卡型号
Temp35C温度
PerfP0性能级别,从大到小为P0~P12
Persistence-MOff是否是持续模式
Pwr:Usage/Cap21W/75W能耗
Bus-Id00000000:00:08.0GPU总线ID
Disap.AOffDisaplay Active,GPU的显示是否初始化
Memory-Usage0MiB/7680MiB显存使用率
Volatile GPU-Util0GPU利用率
Uncorr. ECC0ECC,错误检查与纠正
Compute M.Default计算模式
MIG M.N/AMIG模式


Persistence-M(持续模式)开启之后能耗会增加,但是新GPU程序启动的耗时会减少。如果它的状态是Off,可以使用这个命令来开启:


nvidia-smi -pm 1


注意Memory-Usage(显存使用率)和GPU-Util(GPU利用率)没有必要联系。就好比内存使用率和CPU的使用率也没有必然联系一样!


MIG M.是一个比较新的数据,在老版本的nvidia-smi上是没有这个信息的,对我们来说不用特别关注,感兴趣的可以阅读:https://docs.nvidia.com/datacenter/tesla/mig-user-guide/index.html


nvidia-smi的第三部分,比较好理解,就是当前使用了GPU的进程信息。由于我们还没有使用GPU跑程序,所以这里是空的:


表头含义
GPU显卡ID
PID进程ID
TYPE类型。C:计算进程,G:图形进程,C+G:计算与图形都有
Process name进程名
GPU Memory Usage进程的显卡使用率


GI ID、CI ID目前没找到资料,这个也是新版本nvidia-smi新加的,旧版本都是没有的。暂时忽略。


跑一个机器学习任务


conda安装


说到机器学习,自然少不了python。而conda也少不了。conda是一个python的环境管理器,也包含包管理功能,比pip更强大。一般有图形界面的个人电脑上装Anaconda比较好,因为有GUI,各种操作比较方便。但是云服务器上就没必要装Anaconda了,直接装无图形界面miniconda就好了。地址如下:


https://docs.conda.io/en/latest/miniconda.html


640.png


同样使用右键复制下来下载地址,然后在服务器上下载并执行:


wget https://repo.anaconda.com/miniconda/Miniconda3-latest-Linux-x86_64.sh
 
chmod a+x Miniconda3-latest-Linux-x86_64.sh
 
./Miniconda3-latest-Linux-x86_64.sh


这也就完成了安装,接着加载一下环境变量。比如:


source ~/.bashrc


或者


source ~/.zshrc


添加国内conda源


可以给conda添加国内的源来加快下载速度。比如清华的源。之前也有中科大的源,目前好像已经失效了。


conda config --add channels http://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud/msys2/
conda config --add channels http://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud/conda-forge/
conda config --add channels http://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud/pytorch/


创建一个conda环境


接下来我们要跑pytorch程序,所以使用conda创建一个环境,名称任意,我这里叫 pytorch_gpu


conda create -n pytorch_gpu 
conda activate pytorch_gpu


目前是一个空环境,还没有安装pytorch


安装pytorch


执行如下命令,来安装pytorch及其依赖环境:


conda install pytorch torchvision torchaudio cudatoolkit=11.3


实际本机cuda是11.6,但是pytorch当前(2022年5月)最新的还是11.3。应该没关

系。后续大家动态调整适合的版本即可。也可以参考官网的指引:


https://pytorch.org/get-started/locally/ 选择相应的环境,会生成对应的命令。


640.png


但官网上的conda命令还有一个 -c pytorch。-c是指定一个conda channel的意思,这里表示指定pytorch的channel,但是这个channel下载太慢了,实测去掉-c pytorch会使得下载提速。


conda命令完成执行,测试是否安装成功。可以编写如下python脚本来执行,或者直接打开python交互式命令:


import torch
print(torch.cuda.is_available())


import能成功,并且第二行代码返回True。表示安装成功,并且是支持GPU的pytorch。


训练模型


由于我本人并不是机器学习方面的专家,所以我决定直接网上找一个能用的pytorch训练模型的代码。这里我选择了BERT模型,BERT模型是谷歌提出的一个NLP领域的经典模型。这里不展开这些背景知识。


经过一番简单的搜索,我在Github上找到了这个排名比较靠前的pytorch bert相关的项目:https://github.com/649453932/Bert-Chinese-Text-Classification-Pytorch

将项目clone下来,然后依据README,下载所需要的数据文件:一个是预训练的pytorch模型文件bert-base-chinese.tar.gz,另外一个是词典文件bert-base-chinese-vocab.txt。


模型文件解压后其实得到2个文件,一个是二进制的模型文件本身pytorch_model.bin,另外一个是模型的配置文件bert_config.json。都拷贝到项目的bert_pretrain目录中。词典文件改名成vocab.txt也放到bert_pretrain目录中。


在正式使用之前,我们在环境中再安装几个依赖的库:


conda install scikit-learn boto3 regex
conda install -c conda-forge tqdm


pytorch_pretrained_bert我使用pip安装的,因为conda中我没找到对应的包。


接着创建一个目录:


mkdir -p THUCNews/saved_dict


BERT模型的训练过程一般分为预训练(Pre-training)+ 微调(Fine-tuning)两步。我们下载的模型已经是预训练模型了,但他还不是最终的模型,还需要继续训练,也就是微调。运行脚本,开始训练:


python run.py --model bert


这一步其实挺慢的。原作者说他2080Ti的显卡,要跑20分钟。2080Ti是桌面端的显卡,通过前文提到的算力查看网站,能看到2080Ti的算力是7.5,比我云服务器的Tesla P4还高……


640.png


我们此时可以再次执行nvidia-smi命令来查看一下:


+-----------------------------------------------------------------------------+
| NVIDIA-SMI 510.47.03    Driver Version: 510.47.03    CUDA Version: 11.6     |
|-------------------------------+----------------------+----------------------+
| GPU  Name        Persistence-M| Bus-Id        Disp.A | Volatile Uncorr. ECC |
| Fan  Temp  Perf  Pwr:Usage/Cap|         Memory-Usage | GPU-Util  Compute M. |
|                               |                      |               MIG M. |
|===============================+======================+======================|
|   0  Tesla P4            On   | 00000000:00:08.0 Off |                    0 |
| N/A   69C    P0    66W /  75W |   6941MiB /  7680MiB |     90%      Default |
|                               |                      |                  N/A |
+-------------------------------+----------------------+----------------------+
+-----------------------------------------------------------------------------+
| Processes:                                                                  |
|  GPU   GI   CI        PID   Type   Process name                  GPU Memory |
|        ID   ID                                                   Usage      |
|=============================================================================|
|    0   N/A  N/A    309535      C   python                           6939MiB |
+-----------------------------------------------------------------------------+


可以发现第三部分的进程信息不再是空了,能看到一个PID为309535的进程在使用GPU,进程名是python占用显存6939MB。总的Memory-Usage是6941MB。二者几乎一样。


最终在我的云服务器上跑了75分钟…… 好吧。


模型预测


上面的脚本执行完成后,会训练出一个最终的模型,保存到THUCNews/saved_dict/bert.ckpt中。接下来我们尝试使用这个模型做一下预测。原项目中作者没有封装预测的代码,但我们可以从项目issue中找到其他人分享的预测代码。比如这个:https://github.com/649453932/Bert-Chinese-Text-Classification-Pytorch/issues/72


把代码复制下来保存成 pred.py 。另外这个issue中的预测代码运行过程中可能报这个错


RuntimeError: Expected all tensors to be on the same device, but found at least two devices, cuda:0 and cpu! (when checking argument for argument index in method wrapper__index_select)


同样参考issue中其他网友提供的解决方案。修改build_predict_text() 方法中的ids、token、mask的代码,加上.cuda()即可:


ids = torch.LongTensor([token_ids]).cuda()
    seq_len = torch.LongTensor([seq_len]).cuda()
    mask = torch.LongTensor([mask]).cuda()


由于训练模型时用的数据集是新闻及其分类,所以模型的预测功能就是对新闻做分类。现在我们找一条最近的新闻来做一下预测。


热搜里找到一条新闻:【兰州野生动物园观光车侧翻事故新进展:2人经抢救无效死亡】新闻时间是2022年5月2日,模型训练用的数据集是2019年的,所以肯定不包含这条新闻。让我们来看看它能不能准确分类。修改main函数:


if __name__ == '__main__':
    print(predict("兰州野生动物园观光车侧翻事故新进展:2人经抢救无效死亡"))


运行一下我们的pred.py得到结果:


society


也就是社会新闻,还是比较准的。

版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。

相关文章
如何设置阿里云服务器安全组?阿里云安全组规则详细解说
阿里云安全组设置详细图文教程(收藏起来) 阿里云服务器安全组设置规则分享,阿里云服务器安全组如何放行端口设置教程。阿里云会要求客户设置安全组,如果不设置,阿里云会指定默认的安全组。那么,这个安全组是什么呢?顾名思义,就是为了服务器安全设置的。安全组其实就是一个虚拟的防火墙,可以让用户从端口、IP的维度来筛选对应服务器的访问者,从而形成一个云上的安全域。
19808 0
阿里云服务器如何登录?阿里云服务器的三种登录方法
购买阿里云ECS云服务器后如何登录?场景不同,阿里云优惠总结大概有三种登录方式: 登录到ECS云服务器控制台 在ECS云服务器控制台用户可以更改密码、更换系.
29172 0
阿里云服务器ECS登录用户名是什么?系统不同默认账号也不同
阿里云服务器Windows系统默认用户名administrator,Linux镜像服务器用户名root
16455 0
阿里云服务器端口号设置
阿里云服务器初级使用者可能面临的问题之一. 使用tomcat或者其他服务器软件设置端口号后,比如 一些不是默认的, mysql的 3306, mssql的1433,有时候打不开网页, 原因是没有在ecs安全组去设置这个端口号. 解决: 点击ecs下网络和安全下的安全组 在弹出的安全组中,如果没有就新建安全组,然后点击配置规则 最后如上图点击添加...或快速创建.   have fun!  将编程看作是一门艺术,而不单单是个技术。
20700 0
腾讯云服务器 设置ngxin + fastdfs +tomcat 开机自启动
在tomcat中新建一个可以启动的 .sh 脚本文件 /usr/local/tomcat7/bin/ export JAVA_HOME=/usr/local/java/jdk7 export PATH=$JAVA_HOME/bin/:$PATH export CLASSPATH=.
14900 0
阿里云服务器怎么设置密码?怎么停机?怎么重启服务器?
如果在创建实例时没有设置密码,或者密码丢失,您可以在控制台上重新设置实例的登录密码。本文仅描述如何在 ECS 管理控制台上修改实例登录密码。
23581 0
阿里云服务器ECS远程登录用户名密码查询方法
阿里云服务器ECS远程连接登录输入用户名和密码,阿里云没有默认密码,如果购买时没设置需要先重置实例密码,Windows用户名是administrator,Linux账号是root,阿小云来详细说下阿里云服务器远程登录连接用户名和密码查询方法
22359 0
+关注
61
文章
2
问答
文章排行榜
最热
最新
相关电子书
更多
JS零基础入门教程(上册)
立即下载
性能优化方法论
立即下载
手把手学习日志服务SLS,云启实验室实战指南
立即下载