开发者学堂课程【PAL 平台学习路线:机器学习入门到应用:阿里云机器学习 PAI-DSW 介绍】学习笔记,与课程紧密联系,让用户快速学习知识。
课程地址:https://developer.aliyun.com/learning/course/855/detail/14229
阿里云机器学习 PAI-DSW 介绍
内容介绍:
一、PAI-DSW 产品简介
二、底层架构
三、版本区别
四、产品使用演示
PAI-DSW 是一个怎样的产品,以及它的底层架构,目前的版本区别,产品的演示。从创建实例,管理实例到保存进项到导出进项这个流程来进行产品的演示。
一、PAI-DSW 产品简介
它作为一款简单、清亮,即开即用的在线交互式开发环境,为用户提供了在云端就可以简单,快速卡起能力。同时底层支持了绑定存储,使得文件可以做永久化的存储和分享。还可以通过 ESCMB 的方式讲 PAI-DSW 获得的训练模型部署为接口,对外提供模型服务,从而实现了一站式的学习。
二、底层架构
在产品的架构上我们从最底层的计算资源,网络,以及存储资源做容器做虚拟化技术的一个整合。在上层构建了PAI-DSW 来支持各种各样的开源算法框架。包括但不限制于 Sklearn/TensorFlow/PyTorch 等等。同时在这上层支持了各种场景的应用。包括数据科学、支持学习、以及深度学习等。在阿里巴巴集团内外等多个场景和行业都有非常深度的使用。
三、版本区别
针对于 DSW 的两个产品进行简要的介绍
1、首先是商用付费的个人版本。
支持 GPU,同时在付费方式上支持按量付费及后付费的方式。
在内存以及 CPU 核数和实力存储空间的限制上是自行选择没有上限的。同时在网络访问上也没有限制。最后在ROOT权限以及运行环境 IMAGE 选择的功能上都是支持的。
2、免费的探索者版本
支持 GPU 同时在付费方式上支持限时免费的模式。
在内存和 CPU 核数上是2个 CPU 加4GB 的内存。对于实例存储空间的限制来说,是5GB 的空间限制。对于网络访问来说,CPU 型没有限制而 GPU 型不能访问公网。
目前探索者版本不支持 ROOT 权限和运行环境 IMAGE 选择。
四、产品使用演示
在登录阿里云官网之后可以点击产品下的人工智能一栏,入口在机器学习平台 PAI 下面。进入之后可以看到产品规格页面一栏下的 DSW 探索者版本,可以点击进去进行体验。
在点击进入之后只要登陆阿里云账号就可以快速拉起一个实例。
如果之前没有拉起过实例的话,需要等待10秒左右的时间。后续如果拉起的话就可以直接打开使用了。
进入这个页面之后可以看到 DSW 实际上是集成了 RELB 的同时内置了丰富的数据开发和机器学习的算法以及多种的计算资源。
可以使用 NOTEBOOK 来进行相关代码的编写以及命令行的输入。
看完了免费的探索者版本现在可以前往控制台查看个人版本的实例。
在模型开发和训练的交互式建模页面可以查询到个人版本的所有实例。
在 DSW 的页面下点击创建实例来创建一个新的 DSW 实例。
在机器学习的购买页面,可以对实例名称进行命名。其他的属性选择默认的选项。
而存储是实例自带存储盘为临时存储。在删除之后会清空。如果需要数据永久化的存储,可以配置一个文件系统。
点击前往控制台创建一个新的系统
这里可以选择通用型的 NAS 文件系统,由于之前已经购买过,选择之前使用过的文件存储方式。
在选择镜像的时候有两个选择方式,官方镜像和自定义的镜像。
可以输入官方可以公共访问的地址来进行镜像的配置,这里选择官方的镜像即可。点击确认订单进行购买。实例会等待一段时间进行创建。
在实例创建完成之后,可以在 DSW 的界面列表下看到实例名称为 DEMO 的实例,状态是正在运行中。打开这个DSW实例,进入到 DSW 页面之后可以在左侧看到两级功能导航栏,分别是文件的查看模块、天池模块、运行模块、commons 模块、教程模块、属性查看模块以及相关的功能子模块。
在右侧的 console 组界面下可以点击 notebook 下的 python3,来打开一个 python 文件。进入到交互式的python编程界面之后,点击右上角选择一个目前正在进行的 kernel。这一选择是 python3,同时可以在项目里面进行一个编程。在编程完成之后选择导出文件。
有两种到处方式:1、条件导航栏下选择该文件右键点击下载即可;2、点击 file 下的导出 notebook导出python格式的一个文件。
更多的说明可以点击左侧第四个文件查看,里面包括了任务配置
数据分析、机器学习、资源管理等说明。可以点击其中一个说明文档,这里是 PAIAUTOML 超参调优进阶,可以编制相关的代码进行跟步骤的操作。
更多的帮助文档可以点击右上方的帮助文档进行说明的查看。在使用说明下面列出了创建实例、管理实例以及MaxCompute 的读写操作。
更多的实践案例可以在页面中看到一些具体的开发者的最佳实践。
同时 DSW 也支持 API 来进行管理,大家可以使用 pythonSDK 来管理 DSW 实例的生命周期。
在 DSW 实例编写完代码之后,可以点击列表右侧的保存连接进行镜像的保存。在这里可以自定义镜像的名称。如果镜像命名空间和镜像仓库没有新建的话可以创建新的命名空间和新的镜像仓库,进行保存。
保存完成的镜像可以在镜像仓库内查看到具体的地址;同时在创建新的实例的时候也可以复制该地址到自定义镜像进行实例的创建。