深度学习:在阿里云上搭建notebook深度学习开发环境

本文涉及的产品
智能开放搜索 OpenSearch行业算法版,1GB 20LCU 1个月
实时数仓Hologres,5000CU*H 100GB 3个月
实时计算 Flink 版,5000CU*H 3个月
简介: 随着AIGC浪潮席卷,再次迎来深度学习热潮。《动手学深度学习 PyTorch版》这本书,注重实战演练,通过手动运行、编写源码可很好的加深对深度学习理论的理解,该书在B站等网站上还有李沐录制的讲解视频,降低了学习门槛,值得推荐。在阿里云上搭建notebook开发环境过程中踩过一些坑,此文可避免读者重复踩坑。

以在Ubuntu 18.04 64系统搭建pytorch开发环境,并安装《动手学深度学习 PyTorch版》学习包为例:

 

1、 创建ECS实例,设置用户名及登录密码(使用ecs-user登录,如果使用root安装,后续部分安装包会提示有权限风险)。

注意:如果选择GPU实例,需在实例创建时选择安装cuda 11.4

image.png

2、 设置安全组配置,配置出方向端口22,并在源IP中加入本机IP

3、 Ssh到云ECS

4、 ECS上安装相关软件包:

Asudo apt-get update

B安装gcc编译器(可选,系统中通常已有)sudo apt install build-essential

C、安装Python,以3.8为例:sudo apt install python3.8

D、安装miniconda

1、 下载安装包:注意miniconda包需选择对应python版本的包

wget https://repo.anaconda.com/miniconda/Miniconda3-py38_23.3.1-0-Linux-x86_64.sh

2、 运行安装脚本,并初始化:bash Miniconda3-py38_23.3.1-0-Linux-x86_64.sh

3、(可在2中完成)初始化终端 Shell,以便运conda~/miniconda3/bin/conda init

4、 初始化完成后,运行bash命令,即可进入conda环境:bash

5、创建个新的环境(可选):conda create --name aigc python=3.8 -y

6、激活aigc环境(可选):conda activate aigc

E、安装jupyterpip install jupyter

F、安装pyTorchconda install pytorch torchvision torchaudio

G、安装d2l包:pip install d2l==0.17.6

5、安装解压工具及git工具:sudo apt install unzip    安装gitsudo apt install git

6、下载d2l notebook示例代码,并解压:

mkdir d2l-zh && cd d2l-zh    wget https://zh-v2.d2l.ai/d2l-zh-2.0.0.zip

unzip d2l-zh-2.0.0.zip

7、本地便携机上执行如下命令,将云ECS8888端口映射到本地:

ssh -L8888:localhost:8888 ecs-user@ecs公网IP

8、在ECS上运行jupyterjupyter notebook

9、在本地浏览器登录jupyter(填写运行notebook时,展示的正确URL):

http://localhost:8888/?token= rEI***

 

 

参考:https://zh-v2.d2l.ai/chapter_installation/index.html

 

相关实践学习
2分钟自动化部署人生模拟器
本场景将带你借助云效流水线Flow实现人生模拟器小游戏的自动化部署
7天玩转云服务器
云服务器ECS(Elastic Compute Service)是一种弹性可伸缩的计算服务,可降低 IT 成本,提升运维效率。本课程手把手带你了解ECS、掌握基本操作、动手实操快照管理、镜像管理等。了解产品详情: https://www.aliyun.com/product/ecs
相关文章
|
3月前
|
机器学习/深度学习 人工智能 调度
显著提升深度学习 GPU 利用率,阿里云拿下国际网络顶会优胜奖!
显著提升深度学习 GPU 利用率,阿里云拿下国际网络顶会优胜奖!
266 7
|
6月前
|
机器学习/深度学习 弹性计算 自然语言处理
【阿里云弹性计算】深度学习训练平台搭建:阿里云 ECS 与 GPU 实例的高效利用
【5月更文挑战第28天】阿里云ECS结合GPU实例为深度学习提供高效解决方案。通过弹性计算服务满足大量计算需求,GPU加速训练。用户可按需选择实例规格,配置深度学习框架,实现快速搭建训练平台。示例代码展示了在GPU实例上使用TensorFlow进行训练。优化包括合理分配GPU资源和使用混合精度技术,应用涵盖图像识别和自然语言处理。注意成本控制及数据安全,借助阿里云推动深度学习发展。
257 2
|
6月前
|
机器学习/深度学习 人工智能 分布式计算
阿里云PAI:一站式AI研发平台,引领深度学习潮流
阿里云PAI:一站式AI研发平台,引领深度学习潮流 随着人工智能的飞速发展,深度学习框架已经成为AI研发的核心工具。然而,选择合适的深度学习框架并不容易,需要考虑的因素包括计算性能、易用性、支持的算法组件等多种因素。今天,我们就来介绍一款一站式AI研发平台——阿里云PAI,看看它如何解决这些痛点。
334 1
|
机器学习/深度学习 弹性计算
阿里云最新产品手册——云基础产品与基础设施——计算——云服务器ECS——应用场景——深度学习
阿里云最新产品手册——云基础产品与基础设施——计算——云服务器ECS——应用场景——深度学习自制脑图
308 1
|
存储 机器学习/深度学习 人工智能
喜马拉雅基于阿里云机器学习平台PAI-HybridBackend的深度学习模型训练优化实践
喜马拉雅AI云借助阿里云提供的HybridBackend开源框架,实现了其推荐模型在 GPU 上的高效训练。
|
机器学习/深度学习 人工智能 异构计算
《阿里云异构计算平台——加速AI深度学习创新》电子版地址
阿里云异构计算平台——加速AI深度学习创新
143 0
《阿里云异构计算平台——加速AI深度学习创新》电子版地址
|
机器学习/深度学习
《阿里云 Kubernetes+Kubeflow – 加速深度学习实验的利器》电子版地址
阿里云 Kubernetes+Kubeflow – 加速深度学习实验的利器
231 0
《阿里云 Kubernetes+Kubeflow – 加速深度学习实验的利器》电子版地址
|
机器学习/深度学习 人工智能 Cloud Native
阿里云机器学习平台 PAI宣布集成国产深度学习框架 OneFlow
在云栖大会上,阿里云机器学习PAI平台宣布集成自研深度学习框架OneFlow,进一步提升对国产算法框架的支持。PAI可以在架构上实现包括对国际主流、国内自研在内的任何第三方深度学习框架的支持。
阿里云机器学习平台 PAI宣布集成国产深度学习框架 OneFlow
|
机器学习/深度学习 5G TensorFlow
本地没有环境跑深度学习模型? 阿里云天池实验室它不香吗
前几天做深度学习模型训练使用 Google 的 colab 总是掉,搞得很烦。然后那天我队友 “叶伏天” 和我说有一个类似于 Google colab 的平台,可以训练,虽然也有 8 小时的限时,但是这两个我可以替换使用,甚至一起跑实验,显卡配置也可以满足我的需求训练模型的需求
3067 0
本地没有环境跑深度学习模型? 阿里云天池实验室它不香吗
|
机器学习/深度学习 并行计算 Ubuntu
GPU配置太麻烦?来试试Docker一键配置GPU深度学习开发环境吧
docker环境无需安装cuda、cuDNN,docker镜像安装完毕后,就都好了,一键部署好之后,可以随意迁移,再也不用环境发愁了。
1047 1