使用 NAS 提交单击 PyTorch 迁移学习任务|学习笔记

本文涉及的产品
交互式建模 PAI-DSW,5000CU*H 3个月
文件存储 NAS,50GB 3个月
简介: 快速学习使用 NAS 提交单击 PyTorch 迁移学习任务。

开发者学堂课程【PAL 平台学习路线:机器学习入门到应用:使用 NAS 提交单击 PyTorch 迁移学习任务】学习笔记,与课程紧密联系,让用户快速学习知识。

课程地址:https://developer.aliyun.com/learning/course/855/detail/14239


使用 NAS 提交单击 PyTorch 迁移学习任务

 

内容介绍:

一、前提条件和使用限制

二、使用 NAS 提交单击 PyTorch 迁移学习任务步骤

 

一、前提条件和使用限制

使用 PAI-DLC 和 NAS,基于 PyTorch 进行离线迁移训练,在进行迁移学习任务时,有两个前提条件和一个使用限制

(1) 前提条件:

选择合适的地域,创建通用型 NAS 文件系统

创建一个挂载 NAS  PAI-DSW 实例

(2) 使用限制:

本次操作仅支持 PAI-DLC 公共资源组的工作集群

 

二、使用 NAS 提交单击 PyTorch 迁移学习任务步骤

1.步骤一∶准备数据

(1)使用的数据已经存放在公开地址直接下载解压后即可使用

进入 PAI-DSW 开发环境登录 PAI 的控制台,在左侧导航栏->模型开发训练->交互式建模( DSW )

 image.png

页面上方,选择使用服务的地域

image.png

选择实例打开 DSW 的环境

image.png

(2)PAI-DSW 开发环境->单击 Other 中的 Terminal,即可打开Terminal

 image.png

(3)下载数据,单击页面左上方的文件夹图标创建文件夹

例如命名为 pytorch_transfer_learning_;

image.png

在 Terminal 里面使用 cd  pytorch_transfer_learning 命令进入到已经创建的这个文件夹下

image.png

进入到文件夹,通过

Wgethttps://pai-public-data.cos-cn-beijing.aliyuncm.com/hol-pytorch-transfer-cv/data,tar.gz

命令下载数据集

 image.png

下载完成之后,使用tar -xf ./data.tar.gz 命令解压数据

image.png

在左侧右键单击已经解压的数据文件,快捷菜单中单击 rename 将该文件命名 input,便于后续的操作

image.png

2.步骤二∶准备训练代码和模型存储文件夹

(1)在同一个 PAI-DSW 实例内,将训练代码下载到 NAS 文件系统使用 Wget  https://pai-public-data.cos-cn-beijing.aliyuncm.com

/hol-pytorch-transfer-cv/data,tar.gz

命令下载训练代码

image.png

(2) pytorch_transfer_learning 文件夹下,创建名为 output 的文件夹,用于存储训练完成的模型

 image.png

(3)查看 pytorch_transfer_learning 文件夹的内容

Input:包含了训练数据文件夹,

Output:存储了模型存储的文件夹

main.py:训练代码。

文件夹下包括 data.tar.gz文件

 image.png

3.步骤三∶新增数据配置

(1)进入 PAI-DLC Dashboard,

在左侧导航栏中找到模型开发和训练->云原生深度学习训练(DLC)->PAI-DLC 管理控制台找到类型为公共资源组的工作集群

image.png

单击操作类型为公共资源组工作集群列下的集群控制台

 image.png

(2)进入到 DLC 训练界面在左侧导航栏,单击“数据配置”

(3)在“数据配置”页面,单击“新增数据配置”

(4)在“新增数据配置”页面,配置相应的参数

在对名称和 NAS 文件系统 id 进行复制后点击提交。

image.png

(5)单击提交

image.png

4.步骤四:创建任务

(1)进入 PAI-DLC Dashboard

image.png

在左侧导航栏中,模型开发和训练->云原生深度学习训练(DLC)->PAI-DLC 管理控制台找到类型为公共资源组的工作集群

 image.png

单击操作公共资源组的工作集群列下的集群控制台

image.png

(2)进入到 DLC 训练界面,在左侧导航栏,点击任务列表->选择“新建”>“新建任务”

(3)在新建任务页面,配置相应参数

需要对任务名称,节点镜象任务类型,数据配置以及执行命令和三方库配置进行参数信息填写

 image.png

在任务配资源配置下,选择节点配置为 GPU

(4)在配置完信息之后,单击提交

5.步骤五:查看任务详情和日志结果

(1) PAI-DLC Dashboard 左侧导航栏,单击任务列表

(2)在任务列表页面,单击任务的名称

(3)在任务详情页面,即可查看任务的基本信息及任务配置等信息

image.png

(4)在任务详情页面底部的实例区域,单击目标实例操作列下的日志,即可查看日志结果

image.png

日志的结果如下同所示

image.png

相关实践学习
基于ECS和NAS搭建个人网盘
本场景主要介绍如何基于ECS和NAS快速搭建个人网盘。
阿里云文件存储 NAS 使用教程
阿里云文件存储(Network Attached Storage,简称NAS)是面向阿里云ECS实例、HPC和Docker的文件存储服务,提供标准的文件访问协议,用户无需对现有应用做任何修改,即可使用具备无限容量及性能扩展、单一命名空间、多共享、高可靠和高可用等特性的分布式文件系统。 产品详情:https://www.aliyun.com/product/nas
相关文章
|
1月前
|
机器学习/深度学习 算法 PyTorch
【PyTorch实战演练】自调整学习率实例应用(附代码)
【PyTorch实战演练】自调整学习率实例应用(附代码)
40 0
|
2月前
|
自然语言处理 PyTorch 算法框架/工具
自然语言生成任务中的5种采样方法介绍和Pytorch代码实现
在自然语言生成任务(NLG)中,采样方法是指从生成模型中获取文本输出的一种技术。本文将介绍常用的5中方法并用Pytorch进行实现。
120 0
|
4月前
|
数据可视化 PyTorch 算法框架/工具
使用PyTorch搭建VGG模型进行图像风格迁移实战(附源码和数据集)
使用PyTorch搭建VGG模型进行图像风格迁移实战(附源码和数据集)
115 1
|
8月前
|
机器学习/深度学习 缓存 监控
Pytorch学习笔记(7):优化器、学习率及调整策略、动量
Pytorch学习笔记(7):优化器、学习率及调整策略、动量
347 0
Pytorch学习笔记(7):优化器、学习率及调整策略、动量
|
8天前
|
机器学习/深度学习 PyTorch 算法框架/工具
PyTorch与迁移学习:利用预训练模型提升性能
【4月更文挑战第18天】PyTorch支持迁移学习,助力提升深度学习性能。预训练模型(如ResNet、VGG)在大规模数据集(如ImageNet)训练后,可在新任务中加速训练,提高准确率。通过选择模型、加载预训练权重、修改结构和微调,可适应不同任务需求。迁移学习节省资源,但也需考虑源任务与目标任务的相似度及超参数选择。实践案例显示,预训练模型能有效提升小数据集上的图像分类任务性能。未来,迁移学习将继续在深度学习领域发挥重要作用。
|
1月前
|
机器学习/深度学习 算法 PyTorch
【PyTorch实战演练】深入剖析MTCNN(多任务级联卷积神经网络)并使用30行代码实现人脸识别
【PyTorch实战演练】深入剖析MTCNN(多任务级联卷积神经网络)并使用30行代码实现人脸识别
55 2
|
1月前
|
机器学习/深度学习 PyTorch 算法框架/工具
通过实例学习Pytorch加载权重.load_state_dict()与保存权重.save()
通过实例学习Pytorch加载权重.load_state_dict()与保存权重.save()
13 0
|
1月前
|
机器学习/深度学习 算法 PyTorch
PyTorch使用Tricks:学习率衰减 !!
PyTorch使用Tricks:学习率衰减 !!
39 0
|
1月前
|
机器学习/深度学习 算法 PyTorch
从零开始学习线性回归:理论、实践与PyTorch实现
从零开始学习线性回归:理论、实践与PyTorch实现
从零开始学习线性回归:理论、实践与PyTorch实现
|
3月前
|
机器学习/深度学习 编解码 PyTorch
Pytorch迁移学习使用MobileNet v3网络模型进行猫狗预测二分类
MobileNet v1是MobileNet系列中的第一个版本,于2017年由Google团队提出。其主要目标是设计一个轻量级的深度神经网络,能够在移动设备和嵌入式系统上进行图像分类和目标检测任务,并且具有较高的计算效率和较小的模型大小。