阿里云机器学习平台PAI使用简明教程(一)

本文涉及的产品
模型训练 PAI-DLC,100CU*H 3个月
交互式建模 PAI-DSW,每月250计算时 3个月
模型在线服务 PAI-EAS,A10/V100等 500元 1个月
简介: 阿里云机器学习平台是构建在阿里云MaxCompute(原ODPS)计算平台之上,集数据处理、建模、离线预测、在线预测为一体的机器学习平台。很多用户在初次使用PAI过程中因为对平台比较陌生,总是会遇到这样或那样的困惑。本文以通用的机器学习流程为指导,结合PAI平台逐一介绍数据准备、模型搭建与训练、模型部署与调用,将目前PAI平台的主要操作流程做一个梳理。本文的主要目的是做PAI平台使用流程的演示,所以算法上选择最简单的线性回归算法,便于用户的理解和操作。

操作

数据准备


1、DataStudio中创建数据表

_

  • SQL脚本
CREATE TABLE `lm_test_input` (
    `value` bigint,
    `output1` bigint
) ;

2、数据导入

目前支持多种方式将数据导入到表,如果是大数据量导入,请使用 tunnel客户端工具导入数据到表中。本示例使用的数据量较少,直接通过SQL脚本的方式导入数据。
  • SQL脚本
INSERT into table lm_test_input values (1,2);

INSERT into table lm_test_input values (2,4);

INSERT into table lm_test_input values (3,6);

INSERT into table lm_test_input values (4,8);

INSERT into table lm_test_input values (5,10);

select * from lm_test_input; --查看导入的数据

3、数据表
_


模型搭建与训练


1、新建空表实验

_

2、拖入组件“源/目标的”读数据表模块,配置:
_

3、拖入组件“工具”SQL脚本模块,用于读入数据:
_

4、拖入组件“数据预处理”拆分模块,用于将原数据集拆分为训练集和测试集:
_

5、拖入组件“机器学习”线性回归模块,分别指定特征及标签,用于训练模型:
_

6、拖入组件“机器学习”预测模块,用于预测测试集的情况:
_

7、整个流程:
_

8、点击运行按钮运行整个模型,当然也可以点击到具体的模块选择运行到此处,还可以分别查询各个模块的运行结果:

_

9、运行的结果:

_


模型的部署与调用

机器学习模型在线部署功能可以将您的模型一键部署为Restful API,您可以通过HTTP请求的方式进行调用。

1、部署模型

注意: 模型正常运行后才能部署,并不是搭建的实验都能生成模型,普通的数值处理不能生成模型,常见的可以生成模型算法包括:GBDT二分类、线性支持向量机、逻辑回归二分类、逻辑回归多分类、随机森林、KMeans、线性回归、GBDT回归(GBDT回归算法不支持int型数据格式输入,所以在部署前请注意GBDT算法输入应为Double型)、Tensorflow等。

_

2、Rest调用的参数
_

3、在线调试

_

4、程序调用(value:100)

实例Demo下载 地址

_

5、监控

_

6、目前直接测试API功能默认分配的是二级域名,二级域名仅供测试使用,有每天1000次的访问限制。如果您有更大需求,请在分组管理界面单击绑定域名,对该API所在的分组进行域名绑定。


更多参考

什么是阿里云机器学习

机器学习

相关实践学习
使用PAI+LLaMA Factory微调Qwen2-VL模型,搭建文旅领域知识问答机器人
使用PAI和LLaMA Factory框架,基于全参方法微调 Qwen2-VL模型,使其能够进行文旅领域知识问答,同时通过人工测试验证了微调的效果。
机器学习概览及常见算法
机器学习(Machine Learning, ML)是人工智能的核心,专门研究计算机怎样模拟或实现人类的学习行为,以获取新的知识或技能,重新组织已有的知识结构使之不断改善自身的性能,它是使计算机具有智能的根本途径,其应用遍及人工智能的各个领域。 本课程将带你入门机器学习,掌握机器学习的概念和常用的算法。
相关文章
|
5月前
|
PyTorch 调度 算法框架/工具
阿里云PAI-DLC任务Pytorch launch_agent Socket Timeout问题源码分析
DLC任务Pytorch launch_agent Socket Timeout问题源码分析与解决方案
228 18
阿里云PAI-DLC任务Pytorch launch_agent Socket Timeout问题源码分析
|
5月前
|
数据可视化 Rust 机器学习/深度学习
mlop.ai 无脑使用教程 (机器学习工具 WandB/ClearML 的首个国区开源平替)
mlop.ai 是首个为国区用户优化的机器学习工具,全栈免费开源,是主流付费解决方案 ClearML/WandB 的开源平替。常规实验追踪的工具经常大幅人为降速,mlop因为底层为Rust代码,能轻松支持高频数据写入。如需更多开发者帮助或企业支持,敬请联系cn@mlop.ai
271 12
mlop.ai 无脑使用教程 (机器学习工具 WandB/ClearML 的首个国区开源平替)
|
5月前
|
机器学习/深度学习 人工智能 自然语言处理
阿里云人工智能平台 PAI 开源 EasyDistill 框架助力大语言模型轻松瘦身
本文介绍了阿里云人工智能平台 PAI 推出的开源工具包 EasyDistill。随着大语言模型的复杂性和规模增长,它们面临计算需求和训练成本的障碍。知识蒸馏旨在不显著降低性能的前提下,将大模型转化为更小、更高效的版本以降低训练和推理成本。EasyDistill 框架简化了知识蒸馏过程,其具备多种功能模块,包括数据合成、基础和进阶蒸馏训练。通过数据合成,丰富训练集的多样性;基础和进阶蒸馏训练则涵盖黑盒和白盒知识转移策略、强化学习及偏好优化,从而提升小模型的性能。
|
5月前
|
缓存 并行计算 测试技术
阿里云PAI-全模态模型Qwen2.5-Omni-7B推理浅试
阿里云PAI-全模态模型Qwen2.5-Omni-7B推理浅试
1098 12
|
6月前
|
人工智能 自然语言处理 运维
Qwen3 全尺寸模型支持通过阿里云PAI-ModelGallery 一键部署
Qwen3 是 Qwen 系列最新一代的大语言模型,提供了一系列密集(Dense)和混合专家(MOE)模型。目前,PAI 已经支持 Qwen3 全系列模型一键部署,用户可以通过 PAI-Model Gallery 快速开箱!
|
7月前
|
存储 人工智能 云栖大会
【云栖大会】阿里云设计中心 × 教育部协同育人项目成果展,PAI ArtLab助力高校AIGC教育新路径
【云栖大会】阿里云设计中心 × 教育部协同育人项目成果展,PAI ArtLab助力高校AIGC教育新路径
|
7月前
|
机器学习/深度学习 人工智能 自然语言处理
云上一键部署通义千问 QwQ-32B 模型,阿里云 PAI 最佳实践
3月6日阿里云发布并开源了全新推理模型通义千问 QwQ-32B,在一系列权威基准测试中,千问QwQ-32B模型表现异常出色,几乎完全超越了OpenAI-o1-mini,性能比肩Deepseek-R1,且部署成本大幅降低。并集成了与智能体 Agent 相关的能力,够在使用工具的同时进行批判性思考,并根据环境反馈调整推理过程。阿里云人工智能平台 PAI-Model Gallery 现已经支持一键部署 QwQ-32B,本实践带您部署体验专属 QwQ-32B模型服务。
|
8月前
|
人工智能 自然语言处理 物联网
阿里万相重磅开源,人工智能平台PAI一键部署教程来啦
阿里云视频生成大模型万相2.1(Wan)重磅开源!Wan2.1 在处理复杂运动、还原真实物理规律、提升影视质感以及优化指令遵循方面具有显著的优势,轻松实现高质量的视频生成。同时,万相还支持业内领先的中英文文字特效生成,满足广告、短视频等领域的创意需求。阿里云人工智能平台 PAI-Model Gallery 现已经支持一键部署阿里万相重磅开源的4个模型,可获得您的专属阿里万相服务。
|
8月前
|
人工智能 自然语言处理 网络安全
基于阿里云 Milvus + DeepSeek + PAI LangStudio 的低成本高精度 RAG 实战
阿里云向量检索服务Milvus版是一款全托管向量检索引擎,并确保与开源Milvus的完全兼容性,支持无缝迁移。它在开源版本的基础上增强了可扩展性,能提供大规模AI向量数据的相似性检索服务。凭借其开箱即用的特性、灵活的扩展能力和全链路监控告警,Milvus云服务成为多样化AI应用场景的理想选择,包括多模态搜索、检索增强生成(RAG)、搜索推荐、内容风险识别等。您还可以利用开源的Attu工具进行可视化操作,进一步促进应用的快速开发和部署。
|
8月前
|
人工智能 监控 开发者
阿里云PAI发布DeepRec Extension,打造稳定高效的分布式训练,并宣布开源!
阿里云PAI发布DeepRec Extension,打造稳定高效的分布式训练,并宣布开源!
146 0