开发者学堂课程【PAL 平台学习路线:机器学习入门到应用:如何使用 PAI-Studio 可视化构建模型到部署】学习笔记,与课程紧密联系,让用户快速学习知识。
课程地址:https://developer.aliyun.com/learning/course/855/detail/14228
如何使用 PAI-Studio 可视化构建模型到部署
内容介绍:
一、内容总述
二、演示
一、内容总述
如何使用 PAI-Studio 可视化构建模型到部署的一系列流程;PAI-Studio 内置的把语种算法组件,通过算法组件用户可以通过拖拉拽的方式构建机器学习和深度学习的流程。
二、演示
首先登录 PAI 控制台。确认完成实名认证,在左侧的导航栏选择模型的开发和训练,选择可视化建模,再此页面单击创建项目。
在创建项目的对话框中。选择 MAXcompute 的计费类型并且输入项目名称,其他参数可使用默认配置。之后选择使用的 GPU 项目才能使用深度学习组件。PAI 支持使用 MAXcompute 和 OSS 储存数据。
单机 PAI 的项目操作列下的进入机器学习,MC 主要用来储存表结构数据,用于常规算法。而 OSS 储存结构包括非结构化储存数据用于深度学习算法。点击首页可在项目里创建实验,可以新建空白实验或者从模板里面选择。
Studio 提供的可视化学习允许用户使用拖拉拽的方式实现0代码开发人工智能。同时 Studio 里面预置了算法组件,可以将组件拖入画布中,然后通过箭头将不同的组件拼接为实验,还可以将拼接好的实验保存为模板再次使用。
机器学习工作流需要首先配置数据源。读取数据表组件用于读取 MAX-compute 数据源,默认读取本项目的表数据。如果跨项目读取数据就要在表前添加工程名,这个 PAI-online-project 项目下的表都是公开的,任何用户都可以使用。在右侧表选择页面,输入已经创建的表名,然后点击字段信息页可以查看输入表的字段、数据类型以及前十条记录范围。
然后对原始数据进行数据预处理。在表的列表将数据预处理下的类型转换和归一化组件拖入画布中。之后在表组件列表中工具下的SQL副本拖入画布中。然后再依次拖入整个机器学习流程需要的组件。拆分组件可以将数据集拆分为训练集和测试集。然后拖入逻辑回归二分类的算法模型。之后再依次拖入测试集和混淆矩阵以及最后的评估模型的组件。
现在用箭头将机器学习的各流程的组件拼接为更完整的组件,可以将拼接好的组件保存为模板下次使用。
单机画布中的 SQL 脚本组件,在右侧 SQL 脚本编辑框中输入 SQL 可以将字符型字段转化为数值型。点击执行到此处后,选择转化类型组件和归一化组件,在右侧的字段设置页中选择所有字段。拆分方式如无特殊需求可以按照默认的比例拆分。
单机画布中的逻辑回归二分类组件,在右侧字段设置页签,将目标列设置成 ifhealth 再将训练特征列设置为除目标外的所有列。如下图所示:
然后单机预测组件,选择执行到此处。然后同样的单机预测组件,在右侧字段设置页签,将目标列设置为 ifhealth;然后将训练特征列设置成除目标列外的所有列。同样将混淆矩阵也做相应的设置。
在二分类评估这里也把原始的标签列名选择为 ifhealth,单机执行该组件。
当每一个组件的旁边都出现这样的绿色对勾之后就证明每一步都是跑通了的。
PAI-Studio 还提供了数据可视化的功能,将统计分析下的全表统计-1拖入画布,并与数据预处理中的组件拼接为实验。这里我们将他把数据转化类型的组件拼接在一起。在右侧字段设置的地方选择所有字段,右键选择执行该节点。
执行结束后右键单击画布中的全表统计组件在快捷菜单单击查看数据可以查看数据的全表统计信息。
同样在实验运行结束后右键单击画布中的二分类评估组件,点击查看评估报告,在图表页可以查看在不同参数的情况下二分类训练模型下的 ROC 曲线。
运行好的实验会保存在我的实验,也可以从首页的模板直接创建刚刚运行的实验。大概需要等待10秒左右的时间,等待实验从模板中创建。创建成功的实验就和刚刚运行的实验是一样的。
运行好的模型可以部署成在线服务,也可以运行成离线调度实验。现在将刚刚跑好的模型部署成在线服务,选择逻辑回归二分类。
会自动跳转到 PAI-EAS 模型在线服务,只要自定义模型名称,选择所需要的资源类型,点击确定即可部署模型还可以选择模型部署占用的资源。需要稍等一会,会显示在创建中。
当模型状态从部署中到运营中就说明模型成功部署为一个服务了。
如果不需要的时候可以选择停止操作,防止产生不必要的费用产生。
这个案例内使用的组件都是机器学习上的组件。如果想要使用深度学习的组件,需要确保已经开启了GPU的资源。
深度学习框架组件包括 tensorflow、caffe、MXMet、pytorch 深度学习框架。在使用深度学习框架训练数据之前需要上传训练数据对象 OSS 数据中。算法在运行时从指定 OSS 目录中读取数据。算法在执行访问同一区域下 OSS 中,数据是不产生流量费用。访问其他地域的OSS会产生流量费用。读取数据表时默认读取 ODPS 的数据表。如果要读取OSS的数据就要选择读取 OSS 的这个组件。
PAI-Studio 还包括时间序列文本和针对金融场景的金融板块等组件。