【菜菜的CV进阶之路 - 深度学习环境搭建】配置Ubuntu深度学习环境

六、配置Ubuntu深度学习环境

1、安装Google chrome

使用wget下载最新的Google Chrome .deb软件包：

wget https://dl.google.com/linux/direct/google-chrome-stable_current_amd64.deb

更多地址可参考：在Deepin v20系统中下载和安装谷歌Chrome最新版deb软件包。

在Ubuntu 20.04上安装软件包需要管理权限，以具有sudo特权的用户身份运行以下命令，以在系统上安装Chrome .deb软件包：

sudo apt install ./google-chrome-stable_current_amd64.deb

出现提示时，输入您的用户密码，安装将开始，它会自动安装，结束后即意味着Google Chrome浏览器安装结束。

启动Google Chrome浏览器

在活动搜索栏中，键入“Google Chrome”，然后单击图标以启动该应用程序：

或输入命令行：

google-chrome

2、在Ubuntu下的Markdown编辑器Typora的安装与配置

来源：https://jasonkayzk.github.io/2019/09/04/Ubuntu%E4%B8%8B%E5%AE%89%E8%A3%85Typora/

3、安装pycharm

参考：

https://blog.csdn.net/feimeng116/article/details/105837483

**【错误】tar:归档中找不到 **

tar: 由于前次错误，将以上次的错误状态退出

tar -zxvf xxxx -C /usr/local 要使用这个 -C参数

-C 切换到指定目录 因为不是在当前文件夹解压的，要去别的文件夹解压，所以必须要加这个参数

sudo tar -zxvf pycharm-professional-2020.3.3.tar.gz -C /opt/pycharm/

Ubuntu命令行快捷启动Pycharm

pycharm安装目录为/home/dell/pycharm-community-2018.1.2/bin。那么安装完成之后系统不会给pycharm添加系统路径，只有把终端切换到安装目录/home/dell/pycharm-community-2018.1.2/bin下才能输入命令’matlab‘启动Matlab。。

方法：在目录/usr/local/bin里面创建一个指向Matlab安装目录/home/dell/pycharm-community-2018.1.2/bin的符号链接：（非默认安装需替换安装路径）

sudo ln -s /home/dell/pycharm-community-2018.1.2/bin/pycharm.sh /usr/local/bin/pycharm

然后启动pycharm，即可

sudo pycharm

4、Ubuntu 20.04 安装微信、QQ等

https://blog.csdn.net/xinjieyuan/article/details/104640921

https://zhuanlan.zhihu.com/p/144286142

【错误】安装完deepin的依赖后，系统崩溃

执行 apt --fix-broken install 安装依赖包后解决了。

保险起见，再执行 sudo apt update更新一下。

https://github.com/zq1997/deepin-wine

sudo apt install libjpeg62:i386       #解决微信无法查看发送图片问题

5、安装anaconda

Anaconda是用来管理环境和python库的软件。

这里选择安装轻量版的Miniconda3，在Terminal里面执行下列命令即可，建议全程回车（yes）使用默认设置：

wget https://repo.anaconda.com/miniconda/Miniconda3-latest-Linux-x86_64.sh #下载
sh Miniconda3-latest-Linux-x86_64.sh  #执行安装文件

然后一直按回车键，直到出现“Do you accept the license terms”, 输入“no”

出现“Anaconda3 will now be installed into this location: /home/xxx/anaconda3”，直接按回车键，安装在该目录中。

出现“Do you wish the installer to initialize Anaconda3 by running condo init?”, 输入“no”。

这时anaconda已经基本安装完成了。

sudo rm Miniconda3-latest-Linux-x86_64.sh  #删除安装文件

区分Ubuntu自带python和anaconda中的python

Linux中会自带python, Ubuntu20.04中自带python3,已经没有python2了。这时不区分不影响anaconda的正常使用，但pytorch和tensorflow对这Linux中自带的python3和anaconda中的python的使用需求不同，后期需要进行两者的切换。所以最好在这里就对他们进行区分。

先退回到根目录

$cd ~

用gedit打开.bashrc文件，并进行修改。

$sudo gedit .bashrc

利用vim打开.bashrc文件

在文件最后加入以下命令：

alias python3="/usr/bin/python3.8"            (非命令文字删除)\\给系统自带的python起一个别名，就叫python3
export PATH="/home/xxx/anaconda3/bin:$PATH"                (非命令文字删除)\\anaconda3中的python
保存即可。

继续在终端中对刚才修改的. bashrc文件执行以下。

$source .bashrc

试试刚才进行区分的设置。

进行了这样的区分后，以后可以根据输入的不同对两种python进行任意地切换了。

6、安装显卡驱动

gpu驱动安装分为：1. 禁用nouveau, 2. 卸载旧的驱动（如果你是第一次安装驱动，这步可以省略），3.gcc安装，4，安装驱动

【注】：这部分参考https://www.cnblogs.com/fanminhao/p/8902296.html。

禁用nouveau

Ubuntu系统集成的显卡驱动程序是nouveau，它是第三方为NVIDIA开发的开源驱动，我们需要先将其屏蔽才能安装NVIDIA官方驱动。 所以我们要先把驱动加到黑名单blacklist.conf里。

// 修改属性
$sudo chmod 666 /etc/modprobe.d/blacklist.conf  
//用gedit打开
$sudo gedit /etc/modprobe.d/blacklist.conf
// 在最后一行加入以下几句，保存退出
blacklist vga16fb
blacklist nouveau
blacklist rivafb
blacklist rivatv
blacklist nvidiafb
// 对刚才修改的文件进行更新
$sudo update-initramfs -u

记得重启计算机，打开终端检查nouveau是否被禁用

$lsmod | grep nouveau \\若执行完该句，没有任何输出，则nouveau被成功禁用

卸载旧的驱动

如果你是第一次安装gpu驱动，这一步可以省略。当然如果你不是第一次安装驱动，亲测也可以忽略这一步。

$sudo apt-get remove --purge nvidia*

安装gcc

必须先安装gcc, 才能安装gpu驱动。

$sudo apt-get  install  build-essential \\安装gcc,不要怀疑，就是build-essential，我也不知道为啥
$gcc --version \\检查gcc是否安装成功

这里我只安装了gcc，gpu驱动就可以成功安装了，如果你执行到下面，提示你make，g++没有安装的话，再回来执行以下语句进行安装即可。

$sudo apt-get install g++
$sudo apt-get install make

下载对应版本的gpu驱动

安装gpu驱动的方法分为2种：ppa源安装和利用run文件进行安装。

这里推荐使用run文件安装。因此需要根据你的显卡类型选择合适的run文件下载，官网下载链接（速度较快，可直接使用）：gpu驱动下载链接.

安装驱动

先按Ctrl+Alt+F1，关闭图形界面（过程中出现星号则证明需要输入密码）。再在新出现的界面输入以下命令：

$sudo service lightdm stop

然后cd进入到下载好的.run文件目录中（我安装的是Ubuntu20.04中文版，所以直接下载后的目录为/home/xxx/下载，但是这里不会正常显示中文，因此推荐把下载后的.run文件换个位置再进行下面的操作。

//以移动后的目录为/homg/xxx/为例
$cd /home/xxx/
//修改权限
$sudo chmod a+x NVIDIA-Linux-x86_64-xxx.run
//执行安装
$sudo ./NVIDIA-Linux-x86_64-xxx.run -no-x-check -no-nouveau-check -no-opengl-files

过程中根据提示，选择Accept等。

如果出现错误：

verifying archive integrity... error

可能是版本没有对上或安装包没有下好（我第二次安装才成功），可以从官网或从[这里][http://http.download.nvidia.com/XFree86/Linux-x86_64/460.56/]重新下载，再次尝试就好了。

//执行此语句，出现显卡信息则证明安装成功。
$nvidia-smi

7、cuda安装

安装cuda

由于系统不同，每个人安装cuda的语句不尽相同，在该页面中链接: 选择合适的cuda版本进行安装

然后直接根据下载页面的语句提示安装即可。

【错误】there is enough space in /tmp and that the installation package is not corrupt：

这个错误有两种可能：

1、/tmp空间不足，cuda一个文件就4gb，我只给系统盘分了32gb，解决方法，使用磁盘空间更大的/home：

首先在/home目录下新建一个tmp文件夹

sudo mkdir /home/tmp

然后更改文件夹权限

sudo mkdir /home/tmp
sudo chmod 1777 /home/tmp
export TMPDIR=/home/tmp

之后再输入

sudo sh cuda_11.1.1_450.80.02_linux.run --tmpdir=/home/tmp

2、如果以上方法还是报错，考虑是否下载的文件有问题：

比如出现错误：ubuntu段错误（核心已转储）

使用ulimit -a命令查看内容如下：

core file size (blocks, -c) 0
data seg size (kbytes, -d) unlimited
scheduling priority (-e) 0
file size (blocks, -f) unlimited
pending signals (-i) 31239
max locked memory (kbytes, -l) 65536
max memory size (kbytes, -m) unlimited
open files (-n) 1024
pipe size (512 bytes, -p) 8
POSIX message queues (bytes, -q) 819200
real-time priority (-r) 0
stack size (kbytes, -s) 8192
cpu time (seconds, -t) unlimited
max user processes (-u) 31239
virtual memory (kbytes, -v) unlimited
file locks (-x) unlimited
发现stack size 大小只有8192太小了
使用命令：

ulimit -s 102400

将stack size 改为100m问题解决。

如果还是不行则考虑是否使用了不稳定的下载方式，比如使用了SSR的ipv6（我改成校园网，再用上面的方法安装就ok了TT…）。

配置环境

类似于以上章节中区分两种python的环境，这里也要打开.bashrc文件添加路径。

$sudo gedit ~/.bashrc \\进入vim界面。输入字母i，进入编辑模式
\\在bashrc文件中输入以下命令，注意修改你的cuda版本
export D_LIBRARY_PATH=$LD_LIBRARY_PATH:/usr/local/cuda-11.1/lib64
export PATH=$PATH:/usr/local/cuda-11.1/bin
export CUDA_HOME=$CUDA_HOME:/usr/local/cuda-11.1
\\输入完成后退出

\\这时候返回终端了
$source ~/.bashrc \\运行.bashrc文件

安装完成检查

nvcc --version

8、cuDNN安装

cudnn的安装相比以上过程就简洁多了～但是在Nvidia下载cudnn文件时稍微有点麻烦，你需要先注册一个Nvidia账号，再填写一个调查问卷。

然后才能进入cudnn的正式下载页面。链接: 选择合适的cudnn版本进行安装

根据你的cuda版本和电脑系统，选择合适的cudnn进行下载（大概1G多，需要一段时间进行下载）。

下载好后，将.tz文件进行解压缩。选择下载第一个，cuDNN Library！我下载的是cudnn-11.0-linux-x64-v8.0.4.30。

下载到本地后，解压后文件里面有cuda文件夹，cd到cuda文件夹后执行后续命令：

$cd /home/xxx/ \\cd到目录

记得在你创建的虚拟环境中进行：

创建Deeplearning的环境

\\这步中Deeplearning可以换成任何你喜欢的名字
$conda create -n Deeplearning python=3.8
\\查看你创建的环境
$conda env list
\\激活创建的环境
$conda activate Deeplearning
\\关闭环境
$conda deactivate

激活环境：

$ conda activate Deeplearning \\Deeplearning是我上面起的名字

【错误】CommandNotFoundError: Your shell has not been properly configured to use ‘conda activate’.

解决方法：

# 激活环境
source activate
# 退出环境
source deactivate

然后：就可以正常用了：

之后输入以下命令：

sudo cp cuda/include/cudnn.h /usr/local/cuda/include/ 
sudo cp cuda/lib64/libcudnn* /usr/local/cuda/lib64/ 
sudo chmod a+r /usr/local/cuda/include/cudnn.h 
sudo chmod a+r /usr/local/cuda/lib64/libcudnn* 

cudNN就安装好了。

9、pytorch-gpu安装

https://blog.csdn.net/m0_37412775/article/details/109355044#commentBox

在“四、pytorch-cpu安装”中已经展示了如何安装pytorch-cpu版本了，这可以让你在不使用gpu时也能对代码进行调试验证，也就是import torch是可以正常导入的，但torch.cuda.is_available()会返回False。这时我们安装pytorch-gpu版本。

安装过程十分简单，截止2020年10月31日，开心的是pytorch已经支持cuda11.1了。所以打开官网，选择对应版本进行安装（下图以pip安装为例）。

在终端输入

pip install torch==1.7.0+cu110 torchvision==0.8.1+cu110 torchaudio===0.7.0 -f https://download.pytorch.org/whl/torch_stable.html

超级快就可以搞定！然后进行终极验证。

AIEarth是一个由众多领域内专家博主共同打造的学术平台，旨在建设一个拥抱智慧未来的学术殿堂！【平台地址：https://devpress.csdn.net/aiearth】 很高兴认识你！加入我们共同进步！