本地没有环境跑深度学习模型? 阿里云天池实验室它不香吗

简介: 前几天做深度学习模型训练使用 Google 的 colab 总是掉,搞得很烦。然后那天我队友 “叶伏天” 和我说有一个类似于 Google colab 的平台,可以训练,虽然也有 8 小时的限时,但是这两个我可以替换使用,甚至一起跑实验,显卡配置也可以满足我的需求训练模型的需求

一、前言


前几天做深度学习模型训练使用 Google 的 colab 总是掉,搞得很烦。然后那天我队友 “叶伏天” 和我说有一个类似于 Google colab 的平台,可以训练,虽然也有 8 小时的限时,但是这两个我可以替换使用,甚至一起跑实验,显卡配置也可以满足我的需求训练模型的需求。这个平台就是阿里云天池实验室。


二、阿里天池实验室


进入网页,选择天池Notebook:https://tianchi.aliyun.com/



然后点击我的实验室,图右红框为最近建立的项目:



进入下面的界面后点击新建,就会出现红色箭头的项目,一般想跑自己的项目就可以设置成私有,完成后点击右侧蓝色编辑框,即可进入界面:



进入到这个界面就可以看到一些基本的操作空间,点击 File 可以新建Jupyter Notebook,点击帮助文档,里面会有一些常见的问题和操作。新建之后就可以查看你的文件路径或者点击新建终端 Terminal 也可以。




三、基本使用


说明一下,阿里云天池实验室你可以自由地上传自己的压缩包文件,解压命令为:


!unzip你的导包文件名.zip


解压后可以在终端黑窗用指令查看路径进行操作。



使用 pwd 命令进行操作显示路劲,ls命令查看文件下的目录,cd切换到指定目录,unzip命令可以解压缩文件。


解压文件可能会出现报错:





当时上传的数据、代码和各种文件总共有 900 多MB,上传好了进去发现 unzip 不出来,又在网络情况好的情况下,重新将数据和代码打包成 zip 文件再上传,解决了问题。


新建好notebook,查看所安装的包:


!piplist


查看 GPU 信息:


!nvidia-smi


查看 GPU 能否使用:


importtensorflowastfprint(tf.test.is_gpu_available())
# True


返回 True 则说明可以正常使用


查看当前路径:


!pwd


进入指定路径:


importosos.chdir("路径") 


安装缺少的第三方库,比如说安装 tensorflow-gpu 版本:


!pipinstalltensorflow-gpu==1.4.0--user


安装tensorflow


!pipinstalltensorflow==1.4.0--user


训练的话按照平时执行 .py 文件的方法就行


!pythontrain_model.py


显示GPU已加载:


开始训练:


训练产生的文件:



由于这个阿里云只有 5G 的空间,使用的数据不要太大了,一般训练模型也够用了。总之免费的使用,也是挺不错的,主要是要使用GPU


说明:tensorflow和keras的版本适配,可以参考下面的网站

https://docs.floydhub.com/guides/environments/

相关实践学习
在云上部署ChatGLM2-6B大模型(GPU版)
ChatGLM2-6B是由智谱AI及清华KEG实验室于2023年6月发布的中英双语对话开源大模型。通过本实验,可以学习如何配置AIGC开发环境,如何部署ChatGLM2-6B大模型。
目录
相关文章
|
3月前
|
机器学习/深度学习 算法 定位技术
Baumer工业相机堡盟工业相机如何通过YoloV8深度学习模型实现裂缝的检测识别(C#代码UI界面版)
本项目基于YOLOv8模型与C#界面,结合Baumer工业相机,实现裂缝的高效检测识别。支持图像、视频及摄像头输入,具备高精度与实时性,适用于桥梁、路面、隧道等多种工业场景。
319 27
|
2月前
|
机器学习/深度学习 数据可视化 算法
深度学习模型结构复杂、参数众多,如何更直观地深入理解你的模型?
深度学习模型虽应用广泛,但其“黑箱”特性导致可解释性不足,尤其在金融、医疗等敏感领域,模型决策逻辑的透明性至关重要。本文聚焦深度学习可解释性中的可视化分析,介绍模型结构、特征、参数及输入激活的可视化方法,帮助理解模型行为、提升透明度,并推动其在关键领域的安全应用。
239 0
|
18天前
|
机器学习/深度学习 存储 PyTorch
Neural ODE原理与PyTorch实现:深度学习模型的自适应深度调节
Neural ODE将神经网络与微分方程结合,用连续思维建模数据演化,突破传统离散层的限制,实现自适应深度与高效连续学习。
55 3
Neural ODE原理与PyTorch实现:深度学习模型的自适应深度调节
|
3月前
|
机器学习/深度学习 人工智能 PyTorch
AI 基础知识从 0.2 到 0.3——构建你的第一个深度学习模型
本文以 MNIST 手写数字识别为切入点,介绍了深度学习的基本原理与实现流程,帮助读者建立起对神经网络建模过程的系统性理解。
326 15
AI 基础知识从 0.2 到 0.3——构建你的第一个深度学习模型
|
3月前
|
机器学习/深度学习 人工智能 自然语言处理
AI 基础知识从 0.3 到 0.4——如何选对深度学习模型?
本系列文章从机器学习基础出发,逐步深入至深度学习与Transformer模型,探讨AI关键技术原理及应用。内容涵盖模型架构解析、典型模型对比、预训练与微调策略,并结合Hugging Face平台进行实战演示,适合初学者与开发者系统学习AI核心知识。
290 15
|
10月前
|
机器学习/深度学习 数据采集 TensorFlow
使用Python实现智能食品消费模式分析的深度学习模型
使用Python实现智能食品消费模式分析的深度学习模型
270 70
|
3月前
|
机器学习/深度学习 人工智能 自然语言处理
深度学习模型、算法与应用的全方位解析
深度学习,作为人工智能(AI)的一个重要分支,已经在多个领域产生了革命性的影响。从图像识别到自然语言处理,从语音识别到自动驾驶,深度学习无处不在。本篇博客将深入探讨深度学习的模型、算法及其在各个领域的应用。
483 3
|
4月前
|
机器学习/深度学习 存储 PyTorch
PyTorch + MLFlow 实战:从零构建可追踪的深度学习模型训练系统
本文通过使用 Kaggle 数据集训练情感分析模型的实例,详细演示了如何将 PyTorch 与 MLFlow 进行深度集成,实现完整的实验跟踪、模型记录和结果可复现性管理。文章将系统性地介绍训练代码的核心组件,展示指标和工件的记录方法,并提供 MLFlow UI 的详细界面截图。
154 2
PyTorch + MLFlow 实战:从零构建可追踪的深度学习模型训练系统
|
8月前
|
机器学习/深度学习 数据采集 自然语言处理
深度学习实践技巧:提升模型性能的详尽指南
深度学习模型在图像分类、自然语言处理、时间序列分析等多个领域都表现出了卓越的性能,但在实际应用中,为了使模型达到最佳效果,常规的标准流程往往不足。本文提供了多种深度学习实践技巧,包括数据预处理、模型设计优化、训练策略和评价与调参等方面的详细操作和代码示例,希望能够为应用实战提供有效的指导和支持。
|
10月前
|
机器学习/深度学习 数据可视化 TensorFlow
使用Python实现深度学习模型的分布式训练
使用Python实现深度学习模型的分布式训练
395 73

热门文章

最新文章