开通 PAI 服务及准备数据 | 学习笔记

本文涉及的产品
交互式建模 PAI-DSW,每月250计算时 3个月
模型在线服务 PAI-EAS,A10/V100等 500元 1个月
模型训练 PAI-DLC,100CU*H 3个月
简介: 快速学习开通 PAI 服务及准备数据

开发者学堂课程【机器学习实战:开通 PAI 服务及准备数据】学习笔记,与课程紧密联系,让用户快速学习知识。

课程地址:https://developer.aliyun.com/learning/course/530/detail/7139


开通 PAI 服务及准备数据

登录使用阿里云机器学习 PAI

1、打开浏览器,最好是 crium,  因为存在不同浏览器之间的一个兼容问题。

在地址栏中输入 ww.aliyun.com,进入阿里云官网的首页。

image.png

2、点击控制台右上方的控制按钮,弹出一个登录按钮,输入账号跟密码进行登录。

登录成功之后就进入了阿里云的控制台。

image.png

左侧导航栏中有个大数据(数加),要使用的产品都在这个里面。如果是新创建的项目,在里面可能没有那么多项目。可以通过下图中的产品与服务按钮找到你所需要的产品

image.png

之前介绍中提到机器学习 PAI 适合阿里云服务 MA,跟大数据阿里云是绑定到一块的,而 Dataworks 就是使用 makesquite 的一个入口,

3、点击 Dataworks

image.png

上图中已经创建了一系列项目,点击创建项目,注意因为产品的更新迭代,用户看到的页面可能跟显示的画面有点区别,这个是没关系的,基本的东西都是一致的,只需要稍加熟悉就可以了。

4、点击创建项目,如下图所示,选择区域,选择计算引擎服务,选择MaxCompute, 选择按量付费,讯在机器学习按量付费,假如是第一次进入,按量付费之后有一个去购买,或者去沟通,需要点击那个去购买或者去沟通,返回之后才能选择按量付费,点击机器学习 pai,最下面是 Datawork 服务。

还可以选择数据集成,数据集成就是将其他数据通过 MaxCompute 加载到 Datawork 中。

image.png

点击下一步,填写项目名称,PAI-DEMO,显示名称为机器学习 PAI 演示项目,高级设置中都选择打开,Quota 组切换选择按量付费默认资源组,面向 pai 中,如果要使用当前的 pai 项目进行深度学习就需要打开 GPU,如果不需要则直接点击创建项目。

因为有重名,所以修改下名字,该为 PAI-DEMO-NEW, 点击创建项目。

创建完成之后,进入项目列表,

image.png

可以查看到新创建的项目正在初始化中,因为之前创建的 PAI-DEMO 为全局唯一的名字,所以一旦被占用就不可以使用这个项目名称来创建项目了。

刷新列表,查看到项目名称已经是正常的了。就创建了一个新项目,并且通过 MaxCompute 的这个服务,也创建了一个新的服务,然后进入这个项目中,将后期需要分析使用的数据先上传上去。

点击进入工作区,以下就是阿里云大数据 MaxCompute 项目开发运营的一个环境。

image.png

点击新建脚本,文件名称为 test,类型为 ODPS SQL, 会在其中写 sql 然后与MaxCompute 形成一个交互。

image.png

建表,

create table iris (Sepal_length double,sepal_width double,petal_length double,petal_width double,species string)

执行一下建表的语句,点击运行,这个时候执行的sql是在中,MaxCompute 是一个进行数据存储,服务的一个产品。

查看表是否存在,desc iris

image.png

查看所使用的数据集,其中包含了 150 条记录,其中包括花的一些基本数据,就是用这个数据集进行一些基本的统计分析,

image.png

返回 datawork 中,点击导入,将文件导入到 MaxCompute 中,点击导入,导入本地数据,找到 iris 文件点击进入。

image.png

然后通过上面页面将数据加载到 MaxCompute 中,分割符号:逗号,原始字符集:GBK,导入起始行:1,首行为标题选择是,然后点击下一步,

image.png

导入到表 iris 中,可以看到目标字段和原字段,点击上传,查看到文件上传已经结束。

检查是否上传,select*from iris,点击运行,这个时候就会到 MaxCompute 查 iris 中的记录状况,可以看到数据上传成功

image.png

相关实践学习
使用PAI+LLaMA Factory微调Qwen2-VL模型,搭建文旅领域知识问答机器人
使用PAI和LLaMA Factory框架,基于全参方法微调 Qwen2-VL模型,使其能够进行文旅领域知识问答,同时通过人工测试验证了微调的效果。
机器学习概览及常见算法
机器学习(Machine Learning, ML)是人工智能的核心,专门研究计算机怎样模拟或实现人类的学习行为,以获取新的知识或技能,重新组织已有的知识结构使之不断改善自身的性能,它是使计算机具有智能的根本途径,其应用遍及人工智能的各个领域。 本课程将带你入门机器学习,掌握机器学习的概念和常用的算法。
相关文章
|
1月前
|
机器学习/深度学习 数据采集 算法
量子机器学习入门:三种数据编码方法对比与应用
在量子机器学习中,数据编码方式决定了量子模型如何理解和处理信息。本文详解角度编码、振幅编码与基础编码三种方法,分析其原理、实现及适用场景,帮助读者选择最适合的编码策略,提升量子模型性能。
128 8
|
4月前
|
人工智能 监控 测试技术
云上AI推理平台全掌握 (1):PAI-EAS LLM服务一键压测
在AI技术飞速发展的今天,大语言模型(LLM)、多模态模型等前沿技术正深刻改变行业格局。推理服务是大模型从“实验室突破”走向“产业级应用”的必要环节,需直面高并发流量洪峰、低延时响应诉求、异构硬件优化适配、成本精准控制等复杂挑战。 阿里云人工智能平台 PAI 致力于为用户提供全栈式、高可用的推理服务能力。在本系列技术专题中,我们将围绕分布式推理架构、Serverless 弹性资源全球调度、压测调优和服务可观测等关键技术方向,展现 PAI 平台在推理服务侧的产品能力,助力企业和开发者在 AI 时代抢占先机,让我们一起探索云上 AI 推理的无限可能,释放大模型的真正价值!
|
4月前
|
缓存 人工智能 负载均衡
PAI 重磅发布模型权重服务,大幅降低模型推理冷启动与扩容时长
阿里云人工智能平台PAI 平台推出模型权重服务,通过分布式缓存架构、RDMA高速传输、智能分片等技术,显著提升大语言模型部署效率,解决模型加载耗时过长的业界难题。实测显示,Qwen3-32B冷启动时间从953秒降至82秒(降幅91.4%),扩容时间缩短98.2%。
|
6月前
|
机器学习/深度学习 算法 数据挖掘
PyTabKit:比sklearn更强大的表格数据机器学习框架
PyTabKit是一个专为表格数据设计的新兴机器学习框架,集成了RealMLP等先进深度学习技术与优化的GBDT超参数配置。相比传统Scikit-Learn,PyTabKit通过元级调优的默认参数设置,在无需复杂超参调整的情况下,显著提升中大型数据集的性能表现。其简化API设计、高效训练速度和多模型集成能力,使其成为企业决策与竞赛建模的理想工具。
189 12
PyTabKit:比sklearn更强大的表格数据机器学习框架
|
9月前
|
机器学习/深度学习 数据采集 JSON
Pandas数据应用:机器学习预处理
本文介绍如何使用Pandas进行机器学习数据预处理,涵盖数据加载、缺失值处理、类型转换、标准化与归一化及分类变量编码等内容。常见问题包括文件路径错误、编码不正确、数据类型不符、缺失值处理不当等。通过代码案例详细解释每一步骤,并提供解决方案,确保数据质量,提升模型性能。
348 88
|
9月前
|
机器学习/深度学习 数据采集 算法
机器学习在生物信息学中的创新应用:解锁生物数据的奥秘
机器学习在生物信息学中的创新应用:解锁生物数据的奥秘
773 36
|
9月前
|
机器学习/深度学习 人工智能
Diff-Instruct:指导任意生成模型训练的通用框架,无需额外训练数据即可提升生成质量
Diff-Instruct 是一种从预训练扩散模型中迁移知识的通用框架,通过最小化积分Kullback-Leibler散度,指导其他生成模型的训练,提升生成性能。
244 11
Diff-Instruct:指导任意生成模型训练的通用框架,无需额外训练数据即可提升生成质量
|
7月前
|
机器学习/深度学习 传感器 数据采集
基于机器学习的数据分析:PLC采集的生产数据预测设备故障模型
本文介绍如何利用Python和Scikit-learn构建基于PLC数据的设备故障预测模型。通过实时采集温度、振动、电流等参数,进行数据预处理和特征提取,选择合适的机器学习模型(如随机森林、XGBoost),并优化模型性能。文章还分享了边缘计算部署方案及常见问题排查,强调模型预测应结合定期维护,确保系统稳定运行。
707 0
|
9月前
|
人工智能 Kubernetes Cloud Native
跨越鸿沟:PAI-DSW 支持动态数据挂载新体验
本文讲述了如何在 PAI-DSW 中集成和利用 Fluid 框架,以及通过动态挂载技术实现 OSS 等存储介质上数据集的快速接入和管理。通过案例演示,进一步展示了动态挂载功能的实际应用效果和优势。
|
10月前
|
机器学习/深度学习 人工智能 自然语言处理
模型训练数据-MinerU一款Pdf转Markdown软件
MinerU是由上海人工智能实验室OpenDataLab团队开发的开源智能数据提取工具,专长于复杂PDF文档的高效解析与提取。它能够将含有图片、公式、表格等多模态内容的PDF文档转化为Markdown格式,同时支持从网页和电子书中提取内容,显著提升了AI语料准备的效率。MinerU具备高精度的PDF模型解析工具链,能自动识别乱码,保留文档结构,并将公式转换为LaTeX格式,广泛适用于学术、财务、法律等领域。
1320 4

热门文章

最新文章