linux搭建miniconda+cuda+pytoch深度学习环境

本文涉及的产品
模型在线服务 PAI-EAS,A10/V100等 500元 1个月
交互式建模 PAI-DSW,5000CU*H 3个月
模型训练 PAI-DLC,5000CU*H 3个月
简介: 本文以图文结合的方式,详细记录了linux操作系统搭建miniconda+cuda+pytoch深度学习环境的步骤,供大家参考学习。

本文以图文结合的方式,详细记录了linux操作系统搭建miniconda+cuda+pytoch深度学习环境的步骤,供大家参考学习。
一、gpu服务器准备
首先注册九天毕昇人工智能平台,注册之后有免费的gpu服务器可以使用,注册后点击右上角的控制台,然后点击单机训练-->新建实例
image.png
image.png
然后对实例名称进行命名,选择资源套餐。
image.png
新建实例之后,点击启动,然后点击jupyter,然后在other选项中选择以terminal。
image.png
二、miniconda安装
进入官网miniconda官网
https://docs.conda.io/projects/miniconda/en/latest/),按照官网的命令进行安装
image.png
1、运行以下命令,创建miniconda3目录,和下载miniconda3
mkdir -p ~/miniconda3
wget https://repo.anaconda.com/miniconda/Miniconda3-latest-Linux-x86_64.sh -O ~/miniconda3/miniconda.sh
image.png
2、运行以下命令,安装miniconda3
bash ~/miniconda3/miniconda.sh -b -u -p ~/miniconda3

image.png
3、运行以下命令,删除miniconda3包
rm -rf ~/miniconda3/miniconda.sh
image.png

4、安装完成后,运行以下命令,初始化终端Shell,以便我们可以直接运行conda。
~/miniconda3/bin/conda init bash
~/miniconda3/bin/conda init zsh
image.png
5、验证
关闭终端,重新打开终端,输入python查看安装的python版本号。
image.png
6、Conda源查看
查看conda下载源,可以看到为阿里云镜像。如果是国外的anaconda地址,建议为国内的源。
运行conda info,查看目前的源
image.png
三、cuda配置
1、运行nvcc --version命令,查看服务器默认的cuda版本
image.png
2、运行echo $PATH命令,查看当前服务器的默认路径,可以看到cuda的默认路径为/usr/local/cuda/bin
image.png
3、运行ls -l /usr/local查看local目录中的详细信息。
image.png
可以看到cuda -> /usr/local/cuda-10.1,这是一个软连接,指向cuda10.1这个目录。
从上面可以看出,服务器中有两个cuda版本(10.1和11.7),服务器默认是10.1,由于10.1相对比较低。
4、下面修改服务器默认cuda版本,更改为cuda-11.7
(1)运行cd /usr/local/命令,进入/usr/local/目录下
(2)运行sudo rm -rf /usr/local/cuda命令,删除原来的软链接
(3)运行sudo ln -s /usr/local/cuda-11.7 /usr/local/cuda命令,生成新的软链接
(4)运行nvcc --version,再次查看cuda版本
image.png
四、pytorch下载安装
1、创建虚拟环境
运行conda create --name d2l python=3.9 -y命令,创建一个新的conda环境,名称叫d2l,虚拟环境安装在目录(/root/.local/conda/envs/ailearn)下
image.png
image.png
2、查看系统中刚才创建的虚拟环境d2l
运行conda info --envs命令可以查看创建的虚拟环境d2l
image.png
3、激活虚拟环境d2l
运行conda activate d2l,激活虚拟环境,准备安装pytorch
image.png
4、安装pytorch1.13.1版本
运行pip install torch==1.13.1 torchvision==0.14.1 torchaudio==0.13.1命令,安装pytorch、torchvision、torchaudio三个包

image.png
5、运行pip list查看虚拟环境中已安装的包
image.png
6、验证pytorch是GPU版本还是cpu版本
image.png
print(torch.cuda.is_available())为true,表示为gpu版本,
print(torch.cuda.device_count())表示查看gpu的数量。
7、查看gpu显存占用和总大小
运行nvidia-smi,可以看到目前显存占用为0,总大小为8000M
image.png

至此,深度学习环境准备完毕。

相关实践学习
部署Stable Diffusion玩转AI绘画(GPU云服务器)
本实验通过在ECS上从零开始部署Stable Diffusion来进行AI绘画创作,开启AIGC盲盒。
目录
相关文章
|
7天前
|
Ubuntu 网络协议 Linux
【附安装包】CentOS7(Linux)详细安装教程(手把手图文详解版)
【附安装包】CentOS7(Linux)详细安装教程(手把手图文详解版)
55 2
|
17天前
|
机器学习/深度学习 人工智能 PyTorch
【Deepin 20深度探索】一键解锁Linux深度学习潜能:从零开始安装Pytorch,驾驭AI未来从Deepin出发!
【8月更文挑战第2天】随着人工智能的迅猛发展,深度学习框架Pytorch已成为科研与工业界的必备工具。Deepin 20作为优秀的国产Linux发行版,凭借其流畅的用户体验和丰富的软件生态,为深度学习爱好者提供理想开发平台。本文引导您在Deepin 20上安装Pytorch,享受Linux下的深度学习之旅。
39 12
|
1月前
|
存储 安全 Ubuntu
Linux dump命令教程
绍了Linuxdump命令的功能,包括用于备份整个文件系统的全备份和增量备份,以及如何在不同Linux发行版中安装和使用dump命令。
56 16
|
26天前
|
网络协议 Unix Linux
网安人必须人手一份的《Linux私房教程》,GitHub星标286K!
Linux是一套免费使用和自由传播的操作系统内核,是一个基于POSIX和Unix的多用户、多任务支持多线程和多CPU的操作系统内核。它能运行主要的Unix工具软件、应用程序和网络协议。它支持32位和64位硬件。Linux继承了Unix以网络为核心的设计思想,是一个性能稳定的多用户网络操作系统内核。 作为网络安全的初学者,Linux基础知识和常用命令是我们的必备技能,我们不能只会操作Windows相关的工具。一方面很多网站都是基于Linux环境搭建,比如LAMP,其安全性更好;另一方面,很多命令或工具都集成在了Linux相关环境中,比如Kali等。 今天给小伙伴们分享一份Linux私房教程,这份
|
15天前
|
分布式计算 Java Linux
【Deepin 20系统】Linux 系统安装Spark教程及使用
在Deepin 20系统上安装和使用Apache Spark的详细教程,包括安装Java JDK、下载和解压Spark安装包、配置环境变量和Spark配置文件、启动和关闭Spark集群的步骤,以及使用Spark Shell和PySpark进行简单操作的示例。
15 0
|
1月前
|
Ubuntu Unix Linux
Linux Vim最全面的教程
Linux Vim最全面的教程
|
1月前
|
机器学习/深度学习 自然语言处理 TensorFlow
使用Python实现深度学习模型:序列建模与生成模型的博客教程
【7月更文挑战第2天】 使用Python实现深度学习模型:序列建模与生成模型的博客教程
29 1
|
2月前
|
安全 Linux 测试技术
Kali Linux渗透测试教程:解锁黑客之门
Kali Linux渗透测试教程:解锁黑客之门
|
1月前
|
机器学习/深度学习 TensorFlow 算法框架/工具
使用Python实现深度学习模型:迁移学习与领域自适应教程
【7月更文挑战第3天】 使用Python实现深度学习模型:迁移学习与领域自适应教程
21 0
|
1月前
|
Ubuntu Linux 开发工具
Linux Vim最全面的教程
Linux Vim最全面的教程
52 0