使用 NAS 提交单击 PyTorch 迁移学习任务|学习笔记

本文涉及的产品
模型训练 PAI-DLC,100CU*H 3个月
交互式建模 PAI-DSW,每月250计算时 3个月
模型在线服务 PAI-EAS,A10/V100等 500元 1个月
简介: 快速学习使用 NAS 提交单击 PyTorch 迁移学习任务。

开发者学堂课程【PAL 平台学习路线:机器学习入门到应用:使用 NAS 提交单击 PyTorch 迁移学习任务】学习笔记,与课程紧密联系,让用户快速学习知识。

课程地址:https://developer.aliyun.com/learning/course/855/detail/14239


使用 NAS 提交单击 PyTorch 迁移学习任务

 

内容介绍:

一、前提条件和使用限制

二、使用 NAS 提交单击 PyTorch 迁移学习任务步骤

 

一、前提条件和使用限制

使用 PAI-DLC 和 NAS,基于 PyTorch 进行离线迁移训练,在进行迁移学习任务时,有两个前提条件和一个使用限制

(1) 前提条件:

选择合适的地域,创建通用型 NAS 文件系统

创建一个挂载 NAS  PAI-DSW 实例

(2) 使用限制:

本次操作仅支持 PAI-DLC 公共资源组的工作集群

 

二、使用 NAS 提交单击 PyTorch 迁移学习任务步骤

1.步骤一∶准备数据

(1)使用的数据已经存放在公开地址直接下载解压后即可使用

进入 PAI-DSW 开发环境登录 PAI 的控制台,在左侧导航栏->模型开发训练->交互式建模( DSW )

 image.png

页面上方,选择使用服务的地域

image.png

选择实例打开 DSW 的环境

image.png

(2)PAI-DSW 开发环境->单击 Other 中的 Terminal,即可打开Terminal

 image.png

(3)下载数据,单击页面左上方的文件夹图标创建文件夹

例如命名为 pytorch_transfer_learning_;

image.png

在 Terminal 里面使用 cd  pytorch_transfer_learning 命令进入到已经创建的这个文件夹下

image.png

进入到文件夹,通过

Wgethttps://pai-public-data.cos-cn-beijing.aliyuncm.com/hol-pytorch-transfer-cv/data,tar.gz

命令下载数据集

 image.png

下载完成之后,使用tar -xf ./data.tar.gz 命令解压数据

image.png

在左侧右键单击已经解压的数据文件,快捷菜单中单击 rename 将该文件命名 input,便于后续的操作

image.png

2.步骤二∶准备训练代码和模型存储文件夹

(1)在同一个 PAI-DSW 实例内,将训练代码下载到 NAS 文件系统使用 Wget  https://pai-public-data.cos-cn-beijing.aliyuncm.com

/hol-pytorch-transfer-cv/data,tar.gz

命令下载训练代码

image.png

(2) pytorch_transfer_learning 文件夹下,创建名为 output 的文件夹,用于存储训练完成的模型

 image.png

(3)查看 pytorch_transfer_learning 文件夹的内容

Input:包含了训练数据文件夹,

Output:存储了模型存储的文件夹

main.py:训练代码。

文件夹下包括 data.tar.gz文件

 image.png

3.步骤三∶新增数据配置

(1)进入 PAI-DLC Dashboard,

在左侧导航栏中找到模型开发和训练->云原生深度学习训练(DLC)->PAI-DLC 管理控制台找到类型为公共资源组的工作集群

image.png

单击操作类型为公共资源组工作集群列下的集群控制台

 image.png

(2)进入到 DLC 训练界面在左侧导航栏,单击“数据配置”

(3)在“数据配置”页面,单击“新增数据配置”

(4)在“新增数据配置”页面,配置相应的参数

在对名称和 NAS 文件系统 id 进行复制后点击提交。

image.png

(5)单击提交

image.png

4.步骤四:创建任务

(1)进入 PAI-DLC Dashboard

image.png

在左侧导航栏中,模型开发和训练->云原生深度学习训练(DLC)->PAI-DLC 管理控制台找到类型为公共资源组的工作集群

 image.png

单击操作公共资源组的工作集群列下的集群控制台

image.png

(2)进入到 DLC 训练界面,在左侧导航栏,点击任务列表->选择“新建”>“新建任务”

(3)在新建任务页面,配置相应参数

需要对任务名称,节点镜象任务类型,数据配置以及执行命令和三方库配置进行参数信息填写

 image.png

在任务配资源配置下,选择节点配置为 GPU

(4)在配置完信息之后,单击提交

5.步骤五:查看任务详情和日志结果

(1) PAI-DLC Dashboard 左侧导航栏,单击任务列表

(2)在任务列表页面,单击任务的名称

(3)在任务详情页面,即可查看任务的基本信息及任务配置等信息

image.png

(4)在任务详情页面底部的实例区域,单击目标实例操作列下的日志,即可查看日志结果

image.png

日志的结果如下同所示

image.png

相关实践学习
基于ECS和NAS搭建个人网盘
本场景主要介绍如何基于ECS和NAS快速搭建个人网盘。
阿里云文件存储 NAS 使用教程
阿里云文件存储(Network Attached Storage,简称NAS)是面向阿里云ECS实例、HPC和Docker的文件存储服务,提供标准的文件访问协议,用户无需对现有应用做任何修改,即可使用具备无限容量及性能扩展、单一命名空间、多共享、高可靠和高可用等特性的分布式文件系统。 产品详情:https://www.aliyun.com/product/nas
相关文章
|
2月前
|
PyTorch Linux 算法框架/工具
pytorch学习一:Anaconda下载、安装、配置环境变量。anaconda创建多版本python环境。安装 pytorch。
这篇文章是关于如何使用Anaconda进行Python环境管理,包括下载、安装、配置环境变量、创建多版本Python环境、安装PyTorch以及使用Jupyter Notebook的详细指南。
331 1
pytorch学习一:Anaconda下载、安装、配置环境变量。anaconda创建多版本python环境。安装 pytorch。
|
2月前
|
PyTorch 算法框架/工具
Pytorch学习笔记(五):nn.AdaptiveAvgPool2d()函数详解
PyTorch中的`nn.AdaptiveAvgPool2d()`函数用于实现自适应平均池化,能够将输入特征图调整到指定的输出尺寸,而不需要手动计算池化核大小和步长。
192 1
Pytorch学习笔记(五):nn.AdaptiveAvgPool2d()函数详解
|
2月前
|
算法 PyTorch 算法框架/工具
Pytorch学习笔记(九):Pytorch模型的FLOPs、模型参数量等信息输出(torchstat、thop、ptflops、torchsummary)
本文介绍了如何使用torchstat、thop、ptflops和torchsummary等工具来计算Pytorch模型的FLOPs、模型参数量等信息。
369 2
|
2月前
|
PyTorch 算法框架/工具
Pytorch学习笔记(六):view()和nn.Linear()函数详解
这篇博客文章详细介绍了PyTorch中的`view()`和`nn.Linear()`函数,包括它们的语法格式、参数解释和具体代码示例。`view()`函数用于调整张量的形状,而`nn.Linear()`则作为全连接层,用于固定输出通道数。
117 0
Pytorch学习笔记(六):view()和nn.Linear()函数详解
|
2月前
|
PyTorch 算法框架/工具
Pytorch学习笔记(四):nn.MaxPool2d()函数详解
这篇博客文章详细介绍了PyTorch中的nn.MaxPool2d()函数,包括其语法格式、参数解释和具体代码示例,旨在指导读者理解和使用这个二维最大池化函数。
182 0
Pytorch学习笔记(四):nn.MaxPool2d()函数详解
|
2月前
|
PyTorch 算法框架/工具
Pytorch学习笔记(三):nn.BatchNorm2d()函数详解
本文介绍了PyTorch中的BatchNorm2d模块,它用于卷积层后的数据归一化处理,以稳定网络性能,并讨论了其参数如num_features、eps和momentum,以及affine参数对权重和偏置的影响。
246 0
Pytorch学习笔记(三):nn.BatchNorm2d()函数详解
|
2月前
|
机器学习/深度学习 PyTorch TensorFlow
Pytorch学习笔记(二):nn.Conv2d()函数详解
这篇文章是关于PyTorch中nn.Conv2d函数的详解,包括其函数语法、参数解释、具体代码示例以及与其他维度卷积函数的区别。
279 0
Pytorch学习笔记(二):nn.Conv2d()函数详解
|
2月前
|
PyTorch 算法框架/工具
Pytorch学习笔记(七):F.softmax()和F.log_softmax函数详解
本文介绍了PyTorch中的F.softmax()和F.log_softmax()函数的语法、参数和使用示例,解释了它们在进行归一化处理时的作用和区别。
499 1
Pytorch学习笔记(七):F.softmax()和F.log_softmax函数详解
|
6月前
|
机器学习/深度学习 自然语言处理 算法
【从零开始学习深度学习】49.Pytorch_NLP项目实战:文本情感分类---使用循环神经网络RNN
【从零开始学习深度学习】49.Pytorch_NLP项目实战:文本情感分类---使用循环神经网络RNN
|
2月前
|
机器学习/深度学习 缓存 PyTorch
pytorch学习一(扩展篇):miniconda下载、安装、配置环境变量。miniconda创建多版本python环境。整理常用命令(亲测ok)
这篇文章是关于如何下载、安装和配置Miniconda,以及如何使用Miniconda创建和管理Python环境的详细指南。
523 0
pytorch学习一(扩展篇):miniconda下载、安装、配置环境变量。miniconda创建多版本python环境。整理常用命令(亲测ok)