本地没有环境跑深度学习模型? 阿里云天池实验室它不香吗

简介: 前几天做深度学习模型训练使用 Google 的 colab 总是掉,搞得很烦。然后那天我队友 “叶伏天” 和我说有一个类似于 Google colab 的平台,可以训练,虽然也有 8 小时的限时,但是这两个我可以替换使用,甚至一起跑实验,显卡配置也可以满足我的需求训练模型的需求

一、前言


前几天做深度学习模型训练使用 Google 的 colab 总是掉,搞得很烦。然后那天我队友 “叶伏天” 和我说有一个类似于 Google colab 的平台,可以训练,虽然也有 8 小时的限时,但是这两个我可以替换使用,甚至一起跑实验,显卡配置也可以满足我的需求训练模型的需求。这个平台就是阿里云天池实验室。


二、阿里天池实验室


进入网页,选择天池Notebook:https://tianchi.aliyun.com/



然后点击我的实验室,图右红框为最近建立的项目:



进入下面的界面后点击新建,就会出现红色箭头的项目,一般想跑自己的项目就可以设置成私有,完成后点击右侧蓝色编辑框,即可进入界面:



进入到这个界面就可以看到一些基本的操作空间,点击 File 可以新建Jupyter Notebook,点击帮助文档,里面会有一些常见的问题和操作。新建之后就可以查看你的文件路径或者点击新建终端 Terminal 也可以。




三、基本使用


说明一下,阿里云天池实验室你可以自由地上传自己的压缩包文件,解压命令为:


!unzip你的导包文件名.zip


解压后可以在终端黑窗用指令查看路径进行操作。



使用 pwd 命令进行操作显示路劲,ls命令查看文件下的目录,cd切换到指定目录,unzip命令可以解压缩文件。


解压文件可能会出现报错:





当时上传的数据、代码和各种文件总共有 900 多MB,上传好了进去发现 unzip 不出来,又在网络情况好的情况下,重新将数据和代码打包成 zip 文件再上传,解决了问题。


新建好notebook,查看所安装的包:


!piplist


查看 GPU 信息:


!nvidia-smi


查看 GPU 能否使用:


importtensorflowastfprint(tf.test.is_gpu_available())
# True


返回 True 则说明可以正常使用


查看当前路径:


!pwd


进入指定路径:


importosos.chdir("路径") 


安装缺少的第三方库,比如说安装 tensorflow-gpu 版本:


!pipinstalltensorflow-gpu==1.4.0--user


安装tensorflow


!pipinstalltensorflow==1.4.0--user


训练的话按照平时执行 .py 文件的方法就行


!pythontrain_model.py


显示GPU已加载:


开始训练:


训练产生的文件:



由于这个阿里云只有 5G 的空间,使用的数据不要太大了,一般训练模型也够用了。总之免费的使用,也是挺不错的,主要是要使用GPU


说明:tensorflow和keras的版本适配,可以参考下面的网站

https://docs.floydhub.com/guides/environments/

相关实践学习
部署Stable Diffusion玩转AI绘画(GPU云服务器)
本实验通过在ECS上从零开始部署Stable Diffusion来进行AI绘画创作,开启AIGC盲盒。
目录
相关文章
|
搜索推荐 异构计算 Python
|
网络协议 IDE Ubuntu
阿里云天池大赛之Docker练习场
阿里云天池大赛之Docker练习场
431 0
阿里云天池大赛之Docker练习场
|
机器学习/深度学习 自然语言处理
Understanding and Improving Layer Normalization | NIPS 2019 论文解读
作者们认为,前向归一化并非LN起作用的唯一因素,均值和方差也是重要原因。它们改变了后向梯度的中心和范围。同时,作者还发现,LN的参数,包括bias和gain,并非总是能够提升模型表现,甚至它们可能会增加过拟合的风险。因此,为了解决这个问题,作者们提出了自适应的LN(简称AdaNorm)。AdaNorm将LN中的bias和gain替换成线性映射函数的输出。这个函数能够自适应地根据不同的输入调整权重。作者们在七个数据集上做了实验都表明AdaNorm能够取得更好的效果。同时可以看到,AdaNorm缓解了过拟合的问题,并且给训练带来更好的收敛效果。
18512 0
Understanding and Improving Layer Normalization | NIPS 2019 论文解读
|
开发工具 git
Jupyter Lab操作文档
**Jupyter Lab 概览:**集成编辑器、终端和自定义组件的环境。可定制主题、显示行号、切换语言。使用时,了解界面布局,通过`Ctrl+Enter`运行代码,`Shift+Enter`前进,`Alt+Enter`新建行。利用Markdown写作,通过Terminal执行命令,用快捷键提升效率,如`a/b`增删单元格,`m/y`切换模式。文件上传下载可使用OBS或终端工具。
Jupyter Lab操作文档
|
机器学习/深度学习 存储 Shell
Google Colab免费GPU大揭晓:超详细使用攻略
Google Colab免费GPU大揭晓:超详细使用攻略
|
机器学习/深度学习 监控 数据可视化
深度学习模型训练可视化(TensorBoard可视化)
深度学习模型训练可视化(TensorBoard可视化)
394 0
|
机器学习/深度学习 人工智能 自然语言处理
构建未来:使用Python进行深度学习模型训练
【5月更文挑战第17天】 在这篇文章中,我们将深入探讨如何使用Python进行深度学习模型的训练。我们将首先介绍深度学习的基本概念,然后详细讲解如何使用Python的Keras库来创建和训练一个深度学习模型。我们还将讨论如何优化模型的性能,以及如何避免常见的错误。无论你是深度学习的新手,还是有经验的开发者,这篇文章都将为你提供有价值的信息。
|
机器学习/深度学习 弹性计算 TensorFlow
阿里云GPU加速:大模型训练与推理的全流程指南
随着深度学习和大规模模型的普及,GPU成为训练和推理的关键加速器。本文将详细介绍如何利用阿里云GPU产品完成大模型的训练与推理。我们将使用Elastic GPU、阿里云深度学习镜像、ECS(云服务器)等阿里云产品,通过代码示例和详细说明,带你一步步完成整个流程。
3166 0
|
API Windows
怎么申请 bing api key
1:打开网址 https://login.live.com/ 注册帐号并登录(点击上图中的登录按钮即可),在新窗口点击下方的“立即注册”(有帐号的可以直接登录)2:填写相关信息(推荐使用hotmail邮箱),填写完毕后点击下方的 即可PS:国家或地区请勿选择‘中国’,否则会出现‘在你的市场中未提供...
19485 1
|
网络安全 数据安全/隐私保护
SSH远程免密登录的两种方式
服务器之间经常需要有一些跨服务器的操作,此时就需要我们在一台服务器上登录到另外一台服务器,若是人为操作时我们都可以每次输入密码进行远程登录,但要是程序需要跨服务器时,每次输入密码就不现实了,所以我们需要免密登录
21296 0
SSH远程免密登录的两种方式