本地没有环境跑深度学习模型? 阿里云天池实验室它不香吗

简介: 前几天做深度学习模型训练使用 Google 的 colab 总是掉,搞得很烦。然后那天我队友 “叶伏天” 和我说有一个类似于 Google colab 的平台,可以训练,虽然也有 8 小时的限时,但是这两个我可以替换使用,甚至一起跑实验,显卡配置也可以满足我的需求训练模型的需求

一、前言


前几天做深度学习模型训练使用 Google 的 colab 总是掉,搞得很烦。然后那天我队友 “叶伏天” 和我说有一个类似于 Google colab 的平台,可以训练,虽然也有 8 小时的限时,但是这两个我可以替换使用,甚至一起跑实验,显卡配置也可以满足我的需求训练模型的需求。这个平台就是阿里云天池实验室。


二、阿里天池实验室


进入网页,选择天池Notebook:https://tianchi.aliyun.com/



然后点击我的实验室,图右红框为最近建立的项目:



进入下面的界面后点击新建,就会出现红色箭头的项目,一般想跑自己的项目就可以设置成私有,完成后点击右侧蓝色编辑框,即可进入界面:



进入到这个界面就可以看到一些基本的操作空间,点击 File 可以新建Jupyter Notebook,点击帮助文档,里面会有一些常见的问题和操作。新建之后就可以查看你的文件路径或者点击新建终端 Terminal 也可以。




三、基本使用


说明一下,阿里云天池实验室你可以自由地上传自己的压缩包文件,解压命令为:


!unzip你的导包文件名.zip


解压后可以在终端黑窗用指令查看路径进行操作。



使用 pwd 命令进行操作显示路劲,ls命令查看文件下的目录,cd切换到指定目录,unzip命令可以解压缩文件。


解压文件可能会出现报错:





当时上传的数据、代码和各种文件总共有 900 多MB,上传好了进去发现 unzip 不出来,又在网络情况好的情况下,重新将数据和代码打包成 zip 文件再上传,解决了问题。


新建好notebook,查看所安装的包:


!piplist


查看 GPU 信息:


!nvidia-smi


查看 GPU 能否使用:


importtensorflowastfprint(tf.test.is_gpu_available())
# True


返回 True 则说明可以正常使用


查看当前路径:


!pwd


进入指定路径:


importosos.chdir("路径") 


安装缺少的第三方库,比如说安装 tensorflow-gpu 版本:


!pipinstalltensorflow-gpu==1.4.0--user


安装tensorflow


!pipinstalltensorflow==1.4.0--user


训练的话按照平时执行 .py 文件的方法就行


!pythontrain_model.py


显示GPU已加载:


开始训练:


训练产生的文件:



由于这个阿里云只有 5G 的空间,使用的数据不要太大了,一般训练模型也够用了。总之免费的使用,也是挺不错的,主要是要使用GPU


说明:tensorflow和keras的版本适配,可以参考下面的网站

https://docs.floydhub.com/guides/environments/

相关实践学习
基于阿里云DeepGPU实例,用AI画唯美国风少女
本实验基于阿里云DeepGPU实例,使用aiacctorch加速stable-diffusion-webui,用AI画唯美国风少女,可提升性能至高至原性能的2.6倍。
目录
相关文章
|
12天前
|
机器学习/深度学习 人工智能 算法
【服装识别系统】图像识别+Python+人工智能+深度学习+算法模型+TensorFlow
服装识别系统,本系统作为图像识别方面的一个典型应用,使用Python作为主要编程语言,并通过TensorFlow搭建ResNet50卷积神经算法网络模型,通过对18种不同的服装('黑色连衣裙', '黑色衬衫', '黑色鞋子', '黑色短裤', '蓝色连衣裙', '蓝色衬衫', '蓝色鞋子', '蓝色短裤', '棕色鞋子', '棕色短裤', '绿色衬衫', '绿色鞋子', '绿色短裤', '红色连衣裙', '红色鞋子', '白色连衣裙', '白色鞋子', '白色短裤')数据集进行训练,最后得到一个识别精度较高的H5格式模型文件,然后基于Django搭建Web网页端可视化操作界面,实现用户在界面中
35 1
【服装识别系统】图像识别+Python+人工智能+深度学习+算法模型+TensorFlow
|
2天前
|
机器学习/深度学习 PyTorch 算法框架/工具
图神经网络是一类用于处理图结构数据的神经网络。与传统的深度学习模型(如卷积神经网络CNN和循环神经网络RNN)不同,
图神经网络是一类用于处理图结构数据的神经网络。与传统的深度学习模型(如卷积神经网络CNN和循环神经网络RNN)不同,
15 9
|
1天前
|
机器学习/深度学习 自然语言处理 TensorFlow
使用Python实现深度学习模型:文本生成与自然语言处理
【7月更文挑战第14天】 使用Python实现深度学习模型:文本生成与自然语言处理
25 12
|
2天前
|
机器学习/深度学习 TensorFlow 算法框架/工具
使用Python实现深度学习模型:图像风格迁移与生成
【7月更文挑战第13天】 使用Python实现深度学习模型:图像风格迁移与生成
9 2
|
3天前
|
机器学习/深度学习 安全 TensorFlow
使用Python实现深度学习模型:模型安全与防御
【7月更文挑战第12天】 使用Python实现深度学习模型:模型安全与防御
9 1
|
4天前
|
机器学习/深度学习 物联网 TensorFlow
使用Python实现深度学习模型:在嵌入式设备上的部署
【7月更文挑战第11天】 使用Python实现深度学习模型:在嵌入式设备上的部署
10 2
|
7天前
|
机器学习/深度学习 Prometheus 监控
使用Python实现深度学习模型:模型监控与性能优化
【7月更文挑战第8天】 使用Python实现深度学习模型:模型监控与性能优化
20 4
|
5天前
|
机器学习/深度学习 TensorFlow 算法框架/工具
使用Python实现深度学习模型:跨平台模型移植与部署
【7月更文挑战第10天】 使用Python实现深度学习模型:跨平台模型移植与部署
10 1
|
6天前
|
机器学习/深度学习 并行计算 TensorFlow
使用Python实现深度学习模型:分布式训练与模型并行化
【7月更文挑战第9天】 使用Python实现深度学习模型:分布式训练与模型并行化
18 1
|
10天前
|
机器学习/深度学习 算法 文件存储
使用Python实现深度学习模型:神经架构搜索与自动机器学习
【7月更文挑战第5天】 使用Python实现深度学习模型:神经架构搜索与自动机器学习
25 2