机器学习PAI-Designer基础

本文涉及的产品
智能开放搜索 OpenSearch行业算法版,1GB 20LCU 1个月
检索分析服务 Elasticsearch 版,2核4GB开发者规格 1个月
实时计算 Flink 版,5000CU*H 3个月
简介: 机器学习PAI-Designer基础

开发者学习笔记【阿里云人工智能工程师ACA认证(2023版):机器学习PAI-Designer基础】

课程地址https://edu.aliyun.com/course/3112108/lesson/19258


机器学习PAI-Designer基础


内容介绍

一、 PAI-Designer的定义

二、 PAI-Designer的组件

三、 PAI-Designer的前置知识

四、 PAI-Designer的优势

五、 PAI-Designer的功能特性

六、 PAI-Designer的应用场景

七、 本节回顾

 

一、PAI-Designer的定义


PAI-Designer 界面如下图所示,是为开发者提供可视化、拖拽式的机器学习、深度学习实验开发环境、帮助用户实现零代码开发人工智能相关服务。

图片420.png界面面左边是预制的功能,菜单里的内容可以直接从左边拖拽至右边,可以用来做可视化建模,进入页面之后可以看到工作流,工作流是进行机器学习时的工作过程。


可以在左边拖拉常用的组件到右边的画布上,来组合设计工作流,设计完成之后,点击屏幕上的运行来执行调试工作流,在这里可以对数据进行预处理和可视化,进行算法的建模,对模型进行评估。
这个系统里内置了数百个成熟的机器学习算法,覆盖商品推荐、金融风控、广告预测等场景。

该平台支持 maxicomputer、DLC、Flink 等等计算资源进行大规模的分布式的运算

 

二、PAI-Designer的组件


PAI-Designer组件十分丰富,它不需要编程,是零代码的方式进行机器学习,但内置的组件可以完成绝大部分的任务。

1.传统机器学习组件:包括数据预处理、特征工程、统计分析、异常检测、推荐算法、时间序列及网络分析等算法组件。

2.深度学习框架组件:包括视觉类算法、语音类算法、自然语言处理算法及 TensorFlow、MXNet及PYTorch 等深度学习框架。例如,图上的流程是先读 OSS 数据,然后到达 TensorFlow,TensorFlow 可以选择版本、代码文件等

3.自定义算法组件:包括 SQL 脚本、Python 脚本、PyAlink 脚本等自定义算法组件,可以满足更加定制化的算法工作流串联需求。
图片421.png



三、PAI-Designer的前置知识


PAI-Designer 的目标是图形化的进行编程,能够实现零代码的开发。应用PAI-Designer 需要对经典机器学习、深度学习理论知识有一定的了解。
图形化的工具只是方便简单直观的做这些事情,只有理解理论知识才能知道要做什么以及这些工作流程的设计会产生的结果,结果是否符合预期等。
图片422.png

使用 PAI-Designer 要对 Python 的开发有一定了解。因为做自定义的算法组件时,可以写 Python 的脚本。

 

四、PAI-Designer的优势


支持的开发场景:传统机器学习算法及深度学习开发。

模型开发:拖拽式开发,极大的提高了效率

模型调参:平台自动调参
运行环境:云端实例,配有 CPU 和  GPU

可视化:支持可视化操作
图片423.png

PAI-Designer能够降低机器学习开发的难度,让开发的过程更有效率.

 

五、PAI-Designer的应用特性:


PAI-Designer 支持阿里云主子账号登录方式,如果使用子账号,则需要主账号对其进行授权就可以。

PAI-Designer 支持使用模板或手动创建工作流。通过模板可以快速创建工作流,运行成功之后,直接进行模型部署。

进行模型训练时,PAI-Designer 提供可视化大屏,同时,可以通过实验对照组对比对个训练任务,辅助获得最佳模型。

PAI-Designer 支持工作空间内的工作流协作共享。
图片424.png

 

六、PAI-Designer的应用场景


图片425.png

商品推荐:通过 PAI-Designer 协同过滤算法搭建的商品业务推荐

金融风控案例:通过 PAI-Designer 图算法组件搭建的金融风控案例,可以快速定位人群中的相互信用关系。

新闻文本分类:通过 PAI-Designer 文本组件搭建的文本自动分类案例

心脏病预测:通过 PAI-Designer 文本组件搭建的心脏自动诊断案例。

 

七、本节回顾


通过本节的学习我们了解了 PAI-Designer ,为开发者提供了可视化,拖拽式的机器学习和深度学习的实验开发环境,帮助用户实现零代码的开发人工智能相关服务。

PAI-Designer 的功能特性包括丰富的算法组件、流批一体化训练、AutoML 功能,可视化开发体验。

最后介绍了一些  PAI-Designer 的应用场景,涵盖商品推荐金融风控案例,新闻文本分类,心脏病预测。

相关实践学习
使用PAI-EAS一键部署ChatGLM及LangChain应用
本场景中主要介绍如何使用模型在线服务(PAI-EAS)部署ChatGLM的AI-Web应用以及启动WebUI进行模型推理,并通过LangChain集成自己的业务数据。
机器学习概览及常见算法
机器学习(Machine Learning, ML)是人工智能的核心,专门研究计算机怎样模拟或实现人类的学习行为,以获取新的知识或技能,重新组织已有的知识结构使之不断改善自身的性能,它是使计算机具有智能的根本途径,其应用遍及人工智能的各个领域。 本课程将带你入门机器学习,掌握机器学习的概念和常用的算法。
相关文章
|
5天前
|
人工智能 JSON 算法
魔搭支持在阿里云人工智能平台PAI上进行模型训练、部署了!
现在,魔搭上的众多模型支持在阿里云人工智能平台PAI-Model Gallery上使用阿里云算力资源进行模型训练和部署啦!
|
2天前
|
人工智能 调度 芯片
PAI训练服务:云上大模型训练新篇章
本文介绍了通用AI时代下的新训练方法及PAI平台的优化。随着大模型时代的到来,算力需求激增,硬件和网络通信成为瓶颈。PAI平台通过自动容错、3D健康检测等技术确保训练稳定性;通过资源配额、智能调度等提高性价比;并推出PAI-TorchAcc和PAI-ChatLearn两大引擎,分别实现高效训练加速和灵活的对齐训练,显著提升训练性能与效果。这些改进解决了大规模AI训练中的关键问题,提升了效率和稳定性。
|
2天前
|
人工智能 容灾 Serverless
AI推理新纪元,PAI全球化模型推理服务的创新与实践
本次分享主题为“AI推理新纪元,PAI全球化模型推理服务的创新与实践”,由阿里云高级产品经理李林杨主讲。内容涵盖生成式AI时代推理服务的变化与挑战、play IM核心引擎的优势及ES专属网关的应用。通过LM智能路由、多模态异步生成等技术,PAI平台实现了30%以上的成本降低和显著性能提升,确保全球客户的业务稳定运行并支持异地容灾,目前已覆盖16个地域,拥有10万张显卡的推理集群。
|
4月前
|
机器学习/深度学习 算法 数据挖掘
Python数据分析革命:Scikit-learn库,让机器学习模型训练与评估变得简单高效!
在数据驱动时代,Python 以强大的生态系统成为数据科学的首选语言,而 Scikit-learn 则因简洁的 API 和广泛的支持脱颖而出。本文将指导你使用 Scikit-learn 进行机器学习模型的训练与评估。首先通过 `pip install scikit-learn` 安装库,然后利用内置数据集进行数据准备,选择合适的模型(如逻辑回归),并通过交叉验证评估其性能。最终,使用模型对新数据进行预测,简化整个流程。无论你是新手还是专家,Scikit-learn 都能助你一臂之力。
173 8
|
5月前
|
机器学习/深度学习 API 网络架构
"解锁机器学习超级能力!Databricks携手Mlflow,让模型训练与部署上演智能风暴,一触即发,点燃你的数据科学梦想!"
【8月更文挑战第9天】机器学习模型的训练与部署流程复杂,涵盖数据准备、模型训练、性能评估及部署等步骤。本文详述如何借助Databricks与Mlflow的强大组合来管理这一流程。首先需在Databricks环境内安装Mlflow库。接着,利用Mlflow跟踪功能记录训练过程中的参数与性能指标。最后,通过Mlflow提供的模型服务功能,采用REST API或Docker容器等方式部署模型。这一流程充分利用了Databricks的数据处理能力和Mlflow的生命周期管理优势。
200 7
|
5月前
|
机器学习/深度学习 运维 算法
【阿里天池-医学影像报告异常检测】3 机器学习模型训练及集成学习Baseline开源
本文介绍了一个基于XGBoost、LightGBM和逻辑回归的集成学习模型,用于医学影像报告异常检测任务,并公开了达到0.83+准确率的基线代码。
82 9
|
5月前
|
机器学习/深度学习 人工智能 自然语言处理
基于PAI-QuickStart搭建一站式模型训练服务体验
【8月更文挑战第5天】基于PAI-QuickStart搭建一站式模型训练服务体验
161 0
|
5月前
|
机器学习/深度学习 存储 人工智能
【机器学习】Qwen1.5-14B-Chat大模型训练与推理实战
【机器学习】Qwen1.5-14B-Chat大模型训练与推理实战
552 0
|
6月前
|
机器学习/深度学习 存储 分布式计算
PAI机器学习平台如何进行分布式训练?
【7月更文挑战第1天】PAI机器学习平台如何进行分布式训练?
154 1
|
6月前
|
机器学习/深度学习 算法 数据挖掘
Python数据分析革命:Scikit-learn库,让机器学习模型训练与评估变得简单高效!
【7月更文挑战第27天】在数据驱动时代,Python以丰富的库成为数据科学首选。Scikit-learn因简洁高效而备受青睐,引领数据分析革命。本文引导您使用Scikit-learn简化机器学习流程。首先通过`pip install scikit-learn`安装库。接着使用内置数据集简化数据准备步骤,例如加载Iris数据集。选择合适的模型,如逻辑回归,并初始化与训练模型。利用交叉验证评估模型性能,获取准确率等指标。最后,应用训练好的模型进行新数据预测。Scikit-learn为各阶段提供一站式支持,助力数据分析项目成功。
84 0