开通 PAI 服务及准备数据 | 学习笔记

本文涉及的产品
模型在线服务 PAI-EAS,A10/V100等 500元 1个月
模型训练 PAI-DLC,5000CU*H 3个月
交互式建模 PAI-DSW,每月250计算时 3个月
简介: 快速学习开通 PAI 服务及准备数据

开发者学堂课程【机器学习实战:开通 PAI 服务及准备数据】学习笔记,与课程紧密联系,让用户快速学习知识。

课程地址:https://developer.aliyun.com/learning/course/530/detail/7139


开通 PAI 服务及准备数据

登录使用阿里云机器学习 PAI

1、打开浏览器,最好是 crium,  因为存在不同浏览器之间的一个兼容问题。

在地址栏中输入 ww.aliyun.com,进入阿里云官网的首页。

image.png

2、点击控制台右上方的控制按钮,弹出一个登录按钮,输入账号跟密码进行登录。

登录成功之后就进入了阿里云的控制台。

image.png

左侧导航栏中有个大数据(数加),要使用的产品都在这个里面。如果是新创建的项目,在里面可能没有那么多项目。可以通过下图中的产品与服务按钮找到你所需要的产品

image.png

之前介绍中提到机器学习 PAI 适合阿里云服务 MA,跟大数据阿里云是绑定到一块的,而 Dataworks 就是使用 makesquite 的一个入口,

3、点击 Dataworks

image.png

上图中已经创建了一系列项目,点击创建项目,注意因为产品的更新迭代,用户看到的页面可能跟显示的画面有点区别,这个是没关系的,基本的东西都是一致的,只需要稍加熟悉就可以了。

4、点击创建项目,如下图所示,选择区域,选择计算引擎服务,选择MaxCompute, 选择按量付费,讯在机器学习按量付费,假如是第一次进入,按量付费之后有一个去购买,或者去沟通,需要点击那个去购买或者去沟通,返回之后才能选择按量付费,点击机器学习 pai,最下面是 Datawork 服务。

还可以选择数据集成,数据集成就是将其他数据通过 MaxCompute 加载到 Datawork 中。

image.png

点击下一步,填写项目名称,PAI-DEMO,显示名称为机器学习 PAI 演示项目,高级设置中都选择打开,Quota 组切换选择按量付费默认资源组,面向 pai 中,如果要使用当前的 pai 项目进行深度学习就需要打开 GPU,如果不需要则直接点击创建项目。

因为有重名,所以修改下名字,该为 PAI-DEMO-NEW, 点击创建项目。

创建完成之后,进入项目列表,

image.png

可以查看到新创建的项目正在初始化中,因为之前创建的 PAI-DEMO 为全局唯一的名字,所以一旦被占用就不可以使用这个项目名称来创建项目了。

刷新列表,查看到项目名称已经是正常的了。就创建了一个新项目,并且通过 MaxCompute 的这个服务,也创建了一个新的服务,然后进入这个项目中,将后期需要分析使用的数据先上传上去。

点击进入工作区,以下就是阿里云大数据 MaxCompute 项目开发运营的一个环境。

image.png

点击新建脚本,文件名称为 test,类型为 ODPS SQL, 会在其中写 sql 然后与MaxCompute 形成一个交互。

image.png

建表,

create table iris (Sepal_length double,sepal_width double,petal_length double,petal_width double,species string)

执行一下建表的语句,点击运行,这个时候执行的sql是在中,MaxCompute 是一个进行数据存储,服务的一个产品。

查看表是否存在,desc iris

image.png

查看所使用的数据集,其中包含了 150 条记录,其中包括花的一些基本数据,就是用这个数据集进行一些基本的统计分析,

image.png

返回 datawork 中,点击导入,将文件导入到 MaxCompute 中,点击导入,导入本地数据,找到 iris 文件点击进入。

image.png

然后通过上面页面将数据加载到 MaxCompute 中,分割符号:逗号,原始字符集:GBK,导入起始行:1,首行为标题选择是,然后点击下一步,

image.png

导入到表 iris 中,可以看到目标字段和原字段,点击上传,查看到文件上传已经结束。

检查是否上传,select*from iris,点击运行,这个时候就会到 MaxCompute 查 iris 中的记录状况,可以看到数据上传成功

image.png

相关实践学习
使用PAI-EAS一键部署ChatGLM及LangChain应用
本场景中主要介绍如何使用模型在线服务(PAI-EAS)部署ChatGLM的AI-Web应用以及启动WebUI进行模型推理,并通过LangChain集成自己的业务数据。
机器学习概览及常见算法
机器学习(Machine Learning, ML)是人工智能的核心,专门研究计算机怎样模拟或实现人类的学习行为,以获取新的知识或技能,重新组织已有的知识结构使之不断改善自身的性能,它是使计算机具有智能的根本途径,其应用遍及人工智能的各个领域。 本课程将带你入门机器学习,掌握机器学习的概念和常用的算法。
相关文章
|
2天前
|
机器学习/深度学习 数据采集 数据处理
谷歌提出视觉记忆方法,让大模型训练数据更灵活
谷歌研究人员提出了一种名为“视觉记忆”的方法,结合了深度神经网络的表示能力和数据库的灵活性。该方法将图像分类任务分为图像相似性和搜索两部分,支持灵活添加和删除数据、可解释的决策机制以及大规模数据处理能力。实验结果显示,该方法在多个数据集上取得了优异的性能,如在ImageNet上实现88.5%的top-1准确率。尽管有依赖预训练模型等限制,但视觉记忆为深度学习提供了新的思路。
9 2
|
24天前
|
机器学习/深度学习 存储 人工智能
揭秘机器学习背后的神秘力量:如何高效收集数据,让AI更懂你?
【10月更文挑战第12天】在数据驱动的时代,机器学习广泛应用,从智能推荐到自动驾驶。本文以电商平台个性化推荐系统为例,探讨数据收集方法,包括明确数据需求、选择数据来源、编写代码自动化收集、数据清洗与预处理及特征工程,最终完成数据的训练集和测试集划分,为模型训练奠定基础。
37 3
|
25天前
|
机器学习/深度学习 算法 Python
“探秘机器学习的幕后英雄:梯度下降——如何在数据的海洋中寻找那枚失落的钥匙?”
【10月更文挑战第11天】梯度下降是机器学习和深度学习中的核心优化算法,用于最小化损失函数,找到最优参数。通过计算损失函数的梯度,算法沿着负梯度方向更新参数,逐步逼近最小值。常见的变种包括批量梯度下降、随机梯度下降和小批量梯度下降,各有优缺点。示例代码展示了如何用Python和NumPy实现简单的线性回归模型训练。掌握梯度下降有助于深入理解模型优化机制。
27 2
|
2月前
|
机器学习/深度学习 数据采集 监控
探索机器学习:从数据到决策
【9月更文挑战第18天】在这篇文章中,我们将一起踏上一段激动人心的旅程,穿越机器学习的世界。我们将探讨如何通过收集和处理数据,利用算法的力量来预测未来的趋势,并做出更加明智的决策。无论你是初学者还是有经验的开发者,这篇文章都将为你提供新的视角和思考方式。
|
28天前
|
机器学习/深度学习 算法 数据处理
EM算法对人脸数据降维(机器学习作业06)
本文介绍了使用EM算法对人脸数据进行降维的机器学习作业。首先通过加载ORL人脸数据库,然后分别应用SVD_PCA、MLE_PCA及EM_PCA三种方法实现数据降维,并输出降维后的数据形状。此作业展示了不同PCA变种在人脸数据处理中的应用效果。
29 0
|
2月前
|
机器学习/深度学习 数据采集 算法
利用未标记数据的半监督学习在模型训练中的效果评估
本文将介绍三种适用于不同类型数据和任务的半监督学习方法。我们还将在一个实际数据集上评估这些方法的性能,并与仅使用标记数据的基准进行比较。
187 8
|
1月前
|
机器学习/深度学习 算法 数据建模
【机器学习】类别不平衡数据的处理
【机器学习】类别不平衡数据的处理
|
3月前
|
监控 数据安全/隐私保护 异构计算
借助PAI-EAS一键部署ChatGLM,并应用LangChain集成外部数据
【8月更文挑战第8天】借助PAI-EAS一键部署ChatGLM,并应用LangChain集成外部数据
89 1
|
3月前
|
数据采集 机器学习/深度学习 算法
"揭秘数据质量自动化的秘密武器:机器学习模型如何精准捕捉数据中的‘隐形陷阱’,让你的数据分析无懈可击?"
【8月更文挑战第20天】随着大数据成为核心资源,数据质量直接影响机器学习模型的准确性和效果。传统的人工审查方法效率低且易错。本文介绍如何运用机器学习自动化评估数据质量,解决缺失值、异常值等问题,提升模型训练效率和预测准确性。通过Python和scikit-learn示例展示了异常值检测的过程,最后强调在自动化评估的同时结合人工审查的重要性。
90 2
|
3月前
|
机器学习/深度学习 JSON API
【Python奇迹】FastAPI框架大显神通:一键部署机器学习模型,让数据预测飞跃至Web舞台,震撼开启智能服务新纪元!
【8月更文挑战第16天】在数据驱动的时代,高效部署机器学习模型至关重要。FastAPI凭借其高性能与灵活性,成为搭建模型API的理想选择。本文详述了从环境准备、模型训练到使用FastAPI部署的全过程。首先,确保安装了Python及相关库(fastapi、uvicorn、scikit-learn)。接着,以线性回归为例,构建了一个预测房价的模型。通过定义FastAPI端点,实现了基于房屋大小预测价格的功能,并介绍了如何运行服务器及测试API。最终,用户可通过HTTP请求获取预测结果,极大地提升了模型的实用性和集成性。
232 1
下一篇
无影云桌面