如何使用 PAI-Studio 可视化构建模型到部署|学习笔记

本文涉及的产品
交互式建模 PAI-DSW,5000CU*H 3个月
简介: 快速学习如何使用 PAI-Studio 可视化构建模型到部署。

开发者学堂课程【PAL 平台学习路线:机器学习入门到应用:如何使用 PAI-Studio 可视化构建模型到部署】学习笔记,与课程紧密联系,让用户快速学习知识。

课程地址:https://developer.aliyun.com/learning/course/855/detail/14228


如何使用 PAI-Studio 可视化构建模型到部署

 

内容介绍:

一、内容总述

二、演示

 

一、内容总述

如何使用 PAI-Studio 可视化构建模型到部署的一系列流程;PAI-Studio 内置的把语种算法组件,通过算法组件用户可以通过拖拉拽的方式构建机器学习和深度学习的流程。

 

二、演示

首先登录 PAI 控制台。确认完成实名认证,在左侧的导航栏选择模型的开发和训练,选择可视化建模,再此页面单击创建项目。

 图片47.png

在创建项目的对话框中。选择 MAXcompute 的计费类型并且输入项目名称,其他参数可使用默认配置。之后选择使用的 GPU 项目才能使用深度学习组件。PAI 支持使用 MAXcompute 和 OSS 储存数据。

单机 PAI 的项目操作列下的进入机器学习,MC 主要用来储存表结构数据,用于常规算法。而 OSS 储存结构包括非结构化储存数据用于深度学习算法。点击首页可在项目里创建实验,可以新建空白实验或者从模板里面选择。

Studio 提供的可视化学习允许用户使用拖拉拽的方式实现0代码开发人工智能。同时 Studio 里面预置了算法组件,可以将组件拖入画布中,然后通过箭头将不同的组件拼接为实验,还可以将拼接好的实验保存为模板再次使用。

机器学习工作流需要首先配置数据源。读取数据表组件用于读取 MAX-compute 数据源,默认读取本项目的表数据。如果跨项目读取数据就要在表前添加工程名,这个 PAI-online-project 项目下的表都是公开的,任何用户都可以使用。在右侧表选择页面,输入已经创建的表名,然后点击字段信息页可以查看输入表的字段、数据类型以及前十条记录范围。

然后对原始数据进行数据预处理。在表的列表将数据预处理下的类型转换和归一化组件拖入画布中。之后在表组件列表中工具下的SQL副本拖入画布中。然后再依次拖入整个机器学习流程需要的组件。拆分组件可以将数据集拆分为训练集和测试集。然后拖入逻辑回归二分类的算法模型。之后再依次拖入测试集和混淆矩阵以及最后的评估模型的组件。

现在用箭头将机器学习的各流程的组件拼接为更完整的组件,可以将拼接好的组件保存为模板下次使用。

图片48.png

单机画布中的 SQL 脚本组件,在右侧 SQL 脚本编辑框中输入 SQL 可以将字符型字段转化为数值型。点击执行到此处后,选择转化类型组件和归一化组件,在右侧的字段设置页中选择所有字段。拆分方式如无特殊需求可以按照默认的比例拆分。

单机画布中的逻辑回归二分类组件,在右侧字段设置页签,将目标列设置成 ifhealth 再将训练特征列设置为除目标外的所有列。如下图所示:

 图片49.png

然后单机预测组件,选择执行到此处。然后同样的单机预测组件,在右侧字段设置页签,将目标列设置为 ifhealth;然后将训练特征列设置成除目标列外的所有列。同样将混淆矩阵也做相应的设置。

在二分类评估这里也把原始的标签列名选择为 ifhealth,单机执行该组件。

 图片50.png

当每一个组件的旁边都出现这样的绿色对勾之后就证明每一步都是跑通了的。

PAI-Studio 还提供了数据可视化的功能,将统计分析下的全表统计-1拖入画布,并与数据预处理中的组件拼接为实验。这里我们将他把数据转化类型的组件拼接在一起。在右侧字段设置的地方选择所有字段,右键选择执行该节点。

执行结束后右键单击画布中的全表统计组件在快捷菜单单击查看数据可以查看数据的全表统计信息。

同样在实验运行结束后右键单击画布中的二分类评估组件,点击查看评估报告,在图表页可以查看在不同参数的情况下二分类训练模型下的 ROC 曲线。

 图片51.png

运行好的实验会保存在我的实验,也可以从首页的模板直接创建刚刚运行的实验。大概需要等待10秒左右的时间,等待实验从模板中创建。创建成功的实验就和刚刚运行的实验是一样的。

运行好的模型可以部署成在线服务,也可以运行成离线调度实验。现在将刚刚跑好的模型部署成在线服务,选择逻辑回归二分类。

会自动跳转到 PAI-EAS 模型在线服务,只要自定义模型名称,选择所需要的资源类型,点击确定即可部署模型还可以选择模型部署占用的资源。需要稍等一会,会显示在创建中。

当模型状态从部署中到运营中就说明模型成功部署为一个服务了。

如果不需要的时候可以选择停止操作,防止产生不必要的费用产生。

这个案例内使用的组件都是机器学习上的组件。如果想要使用深度学习的组件,需要确保已经开启了GPU的资源。

深度学习框架组件包括 tensorflow、caffe、MXMet、pytorch 深度学习框架。在使用深度学习框架训练数据之前需要上传训练数据对象 OSS 数据中。算法在运行时从指定 OSS 目录中读取数据。算法在执行访问同一区域下 OSS 中,数据是不产生流量费用。访问其他地域的OSS会产生流量费用。读取数据表时默认读取 ODPS 的数据表。如果要读取OSS的数据就要选择读取 OSS 的这个组件。

PAI-Studio 还包括时间序列文本和针对金融场景的金融板块等组件

相关实践学习
使用PAI-EAS一键部署ChatGLM及LangChain应用
本场景中主要介绍如何使用模型在线服务(PAI-EAS)部署ChatGLM的AI-Web应用以及启动WebUI进行模型推理,并通过LangChain集成自己的业务数据。
机器学习概览及常见算法
机器学习(Machine Learning, ML)是人工智能的核心,专门研究计算机怎样模拟或实现人类的学习行为,以获取新的知识或技能,重新组织已有的知识结构使之不断改善自身的性能,它是使计算机具有智能的根本途径,其应用遍及人工智能的各个领域。 本课程将带你入门机器学习,掌握机器学习的概念和常用的算法。
相关文章
|
18天前
|
机器学习/深度学习 数据采集 人工智能
构建高效机器学习模型的五大技巧
【4月更文挑战第7天】 在数据科学迅猛发展的今天,机器学习已成为解决复杂问题的重要工具。然而,构建一个既精确又高效的机器学习模型并非易事。本文将分享五种提升机器学习模型性能的有效技巧,包括数据预处理、特征工程、模型选择、超参数调优以及交叉验证。这些方法不仅能帮助初学者快速提高模型准确度,也为经验丰富的数据科学家提供了进一步提升模型性能的思路。
|
23天前
|
机器学习/深度学习 数据采集 算法
构建高效机器学习模型的最佳实践
【4月更文挑战第3天】在数据驱动的时代,构建高效的机器学习模型已成为解决复杂问题的关键。本文将探讨一系列实用的技术策略,旨在提高模型的性能和泛化能力。我们将从数据预处理、特征工程、模型选择、超参数调优到集成学习等方面进行详细讨论,并通过实例分析展示如何在实践中应用这些策略。
17 1
|
3天前
|
机器学习/深度学习 数据采集 人工智能
构建高效机器学习模型的最佳实践
【4月更文挑战第23天】在数据驱动的时代,机器学习已成为创新的核心动力。本文深入探讨了构建高效机器学习模型的关键步骤,包括数据预处理、特征工程、模型选择、训练技巧以及性能评估。通过实例分析与经验总结,旨在为从业者提供一套实用的技术指南,帮助他们在复杂数据环境中提升模型的准确性和泛化能力。
|
2天前
|
机器学习/深度学习 算法 搜索推荐
Python用机器学习算法进行因果推断与增量、增益模型Uplift Modeling智能营销模型
Python用机器学习算法进行因果推断与增量、增益模型Uplift Modeling智能营销模型
30 12
|
8天前
|
机器学习/深度学习 存储 算法
PYTHON集成机器学习:用ADABOOST、决策树、逻辑回归集成模型分类和回归和网格搜索超参数优化
PYTHON集成机器学习:用ADABOOST、决策树、逻辑回归集成模型分类和回归和网格搜索超参数优化
30 7
|
8天前
|
机器学习/深度学习 算法 数据处理
构建自定义机器学习模型:Scikit-learn的高级应用
【4月更文挑战第17天】本文探讨了如何利用Scikit-learn构建自定义机器学习模型,包括创建自定义估计器、使用管道集成数据处理和模型、深化特征工程以及调优与评估模型。通过继承`BaseEstimator`和相关Mixin类,用户可实现自定义算法。管道允许串联多个步骤,而特征工程涉及多项式特征和自定义变换。模型调优可借助交叉验证和参数搜索工具。掌握这些高级技巧能提升机器学习项目的效果和效率。
|
10天前
|
机器学习/深度学习 数据采集 算法
构建高效机器学习模型:从特征工程到模型调优
【4月更文挑战第16天】 在数据驱动的时代,机器学习已成为解决复杂问题的关键工具。本文旨在分享一套实用的技术流程,帮助读者构建高效的机器学习模型。我们将重点讨论特征工程的重要性、选择合适算法的策略,以及通过交叉验证和网格搜索进行模型调优的方法。文章的目标是为初学者提供一个清晰的指南,同时为有经验的实践者提供一些高级技巧。
|
10天前
|
机器学习/深度学习 人工智能 分布式计算
R和Python机器学习:广义线性回归glm,样条glm,梯度增强,随机森林和深度学习模型分析
R和Python机器学习:广义线性回归glm,样条glm,梯度增强,随机森林和深度学习模型分析
15 0
|
16天前
|
机器学习/深度学习 JavaScript 前端开发
机器学习模型部署:使用Python和Vue搭建用户友好的预测界面
【4月更文挑战第10天】本文介绍了如何使用Python和Vue.js构建机器学习模型预测界面。Python作为机器学习的首选语言,结合Vue.js的前端框架,能有效部署模型并提供直观的预测服务。步骤包括:1) 使用Python训练模型并保存;2) 创建Python后端应用提供API接口;3) 利用Vue CLI构建前端项目;4) 设计Vue组件实现用户界面;5) 前后端交互通过HTTP请求;6) 优化用户体验;7) 全面测试并部署。这种技术组合为机器学习模型的实用化提供了高效解决方案,未来有望更加智能和个性化。
|
20天前
|
机器学习/深度学习 数据采集 算法
构建高效机器学习模型:从数据预处理到模型优化
【4月更文挑战第6天】本文聚焦于机器学习模型的开发流程,旨在提供一套系统的方法论以构建出更高效的模型。我们将深入探讨数据预处理的重要性,特征工程的策略,以及如何通过交叉验证和超参数调优来提升模型性能。文章不仅涉及理论分析,还包括了实际案例的代码实现,为读者呈现一个从数据处理到模型部署的完整蓝图。
14 0