机器学习 PAI 如何上传训练数据|学习笔记

本文涉及的产品
对象存储 OSS,20GB 3个月
模型训练 PAI-DLC,5000CU*H 3个月
模型在线服务 PAI-EAS,A10/V100等 500元 1个月
简介: 快速学习机器学习 PAI 如何上传训练数据。

开发者学堂课程【PAL 平台学习路线:机器学习入门到应用:机器学习 PAI 如何上传训练数据】学习笔记,与课程紧密联系,让用户快速学习知识。

课程地址:https://developer.aliyun.com/learning/course/855/detail/14234


机器学习 PAI 如何上传训练数据

 

内容介绍:

一、如何上传表结构的数据

二、非结构化数据上传

 

机器学习 PAI 平台支持两种结构数据的处理,一种是非结构化数据,一种是结构化数据。结构化数据就是通常见到的表结构。

 

一、如何上传表结构的数据

上传这样数据有两种方式,一种是通过 PAI 的 ID 环境;另一种是通过命令工具。通过 PAI 的 ID 环境上传数据建议数据不要超过20兆。首先看如何通过 ID 来创建一个表。

先有一个实验,之后点开数据源创建表。现在本地已经新建了一个样例的数据,这份数据一共包含四个字段

 图片26.png

现在支持的是直接从本地上传 TST 和 CSV 两种格式的数据。这些数据的字段间可以自定义的分割符还有行分隔符。这里建议使用 TST 格式上传。

选择好文件之后就可以新建表,现在新建一个叫 TST4的表。可以选择表的生命周期。这里设置每个字段的类型以及这个字段的名称。为了方便这里设置成 string 型。之后点击确定。这份数据就会通过 ID 环境自动上传到项目空间中。上传好的数据可以通过搜索拿到。之后点击右键查看数据就可以查看资源。

以上就是如何通过 ID 上传数据。

另一种方式就是通过 maxcompute(支持多种数据导入工具)的数据导入工具:常见的是 tunnel。可以在阿里云的搜索框中搜索 tunnel 就会看到很多数据上传的文档。

图片25.png

 

二、非结构化数据上传

非结构化数据常用图或者语言这样的数据,这些数据主要针对的 PAI 上面的深度学习的框架。

图片24.png

上图的深度学习框架的数据源是读 OSSbucket。bucket 是 OSS 的一个存储单元。

首先来到 OSS,在云计算基础服务,存储与 CDN 可以看到对象存储。注册一个账号并且申请购买 OSS 之后就可以进到下图页面:

图片23.png

然后需要新建一个 bucket,点击 bucket 进入到 image net。这里可以使用常规的云盘上传工具的方式进行操作。点击上传文件,就可以上传任何格式的文件。上传过后会建立一个任务,在任务执行的过程种不要刷新页面,刷新页面这个任务就会终止掉。OSS 也提供了一个命令行上传的工具。以上就是关于 PAI 的数据上传。

相关实践学习
使用PAI-EAS一键部署ChatGLM及LangChain应用
本场景中主要介绍如何使用模型在线服务(PAI-EAS)部署ChatGLM的AI-Web应用以及启动WebUI进行模型推理,并通过LangChain集成自己的业务数据。
机器学习概览及常见算法
机器学习(Machine Learning, ML)是人工智能的核心,专门研究计算机怎样模拟或实现人类的学习行为,以获取新的知识或技能,重新组织已有的知识结构使之不断改善自身的性能,它是使计算机具有智能的根本途径,其应用遍及人工智能的各个领域。 本课程将带你入门机器学习,掌握机器学习的概念和常用的算法。
相关文章
|
12天前
|
机器学习/深度学习 数据采集 人工智能
浅谈机器学习,聊聊训练过程,就酱!
本故事讲的是关于机器学习的基本概念和训练过程。通过这个故事,你将对机器学习有一个直观的了解。随后,当你翻阅关于机器学习的书籍时,也许会有不同的感受。如果你有感觉到任督二脉被打通了,那我真是太高兴了。如果没有,我再努努力 ヘ(・_|
27 0
浅谈机器学习,聊聊训练过程,就酱!
|
1月前
|
机器学习/深度学习 算法 决策智能
【机器学习】揭秘深度学习优化算法:加速训练与提升性能
【机器学习】揭秘深度学习优化算法:加速训练与提升性能
|
2月前
|
存储 人工智能 并行计算
Pai-Megatron-Patch:围绕Megatron-Core打造大模型训练加速生态
Pai-Megatron-Patch(https://github.com/alibaba/Pai-Megatron-Patch)是阿里云人工智能平台PAI研发的围绕Nvidia MegatronLM的大模型开发配套工具,旨在帮助开发者快速上手大模型,完成大模型(LLM)相关的高效分布式训练,有监督指令微调,下游任务评估等大模型开发链路。最近一年来,我们持续打磨Pai-Megatron-Patch的性能和扩展功能,围绕Megatron-Core(以下简称MCore)进一步打造大模型训练加速技术生态,推出更多的的训练加速、显存优化特性。
|
2月前
|
机器学习/深度学习 算法 数据挖掘
Python数据分析革命:Scikit-learn库,让机器学习模型训练与评估变得简单高效!
在数据驱动时代,Python 以强大的生态系统成为数据科学的首选语言,而 Scikit-learn 则因简洁的 API 和广泛的支持脱颖而出。本文将指导你使用 Scikit-learn 进行机器学习模型的训练与评估。首先通过 `pip install scikit-learn` 安装库,然后利用内置数据集进行数据准备,选择合适的模型(如逻辑回归),并通过交叉验证评估其性能。最终,使用模型对新数据进行预测,简化整个流程。无论你是新手还是专家,Scikit-learn 都能助你一臂之力。
119 8
|
2月前
|
机器学习/深度学习 Python
训练集、测试集与验证集:机器学习模型评估的基石
在机器学习中,数据集通常被划分为训练集、验证集和测试集,以评估模型性能并调整参数。训练集用于拟合模型,验证集用于调整超参数和防止过拟合,测试集则用于评估最终模型性能。本文详细介绍了这三个集合的作用,并通过代码示例展示了如何进行数据集的划分。合理的划分有助于提升模型的泛化能力。
|
1月前
|
机器学习/深度学习 算法
【机器学习】揭秘反向传播:深度学习中神经网络训练的奥秘
【机器学习】揭秘反向传播:深度学习中神经网络训练的奥秘
|
1月前
|
机器学习/深度学习 人工智能 自然语言处理
【MM2024】阿里云 PAI 团队图像编辑算法论文入选 MM2024
阿里云人工智能平台 PAI 团队发表的图像编辑算法论文在 MM2024 上正式亮相发表。ACM MM(ACM国际多媒体会议)是国际多媒体领域的顶级会议,旨在为研究人员、工程师和行业专家提供一个交流平台,以展示在多媒体领域的最新研究成果、技术进展和应用案例。其主题涵盖了图像处理、视频分析、音频处理、社交媒体和多媒体系统等广泛领域。此次入选标志着阿里云人工智能平台 PAI 在图像编辑算法方面的研究获得了学术界的充分认可。
【MM2024】阿里云 PAI 团队图像编辑算法论文入选 MM2024
|
19天前
|
机器学习/深度学习 算法 Java
机器学习、基础算法、python常见面试题必知必答系列大全:(面试问题持续更新)
机器学习、基础算法、python常见面试题必知必答系列大全:(面试问题持续更新)
|
27天前
|
机器学习/深度学习 人工智能 算法
【玉米病害识别】Python+卷积神经网络算法+人工智能+深度学习+计算机课设项目+TensorFlow+模型训练
玉米病害识别系统,本系统使用Python作为主要开发语言,通过收集了8种常见的玉米叶部病害图片数据集('矮花叶病', '健康', '灰斑病一般', '灰斑病严重', '锈病一般', '锈病严重', '叶斑病一般', '叶斑病严重'),然后基于TensorFlow搭建卷积神经网络算法模型,通过对数据集进行多轮迭代训练,最后得到一个识别精度较高的模型文件。再使用Django搭建Web网页操作平台,实现用户上传一张玉米病害图片识别其名称。
50 0
【玉米病害识别】Python+卷积神经网络算法+人工智能+深度学习+计算机课设项目+TensorFlow+模型训练
|
1月前
|
机器学习/深度学习 算法 Python
探索机器学习中的决策树算法:从理论到实践
【10月更文挑战第5天】本文旨在通过浅显易懂的语言,带领读者了解并实现一个基础的决策树模型。我们将从决策树的基本概念出发,逐步深入其构建过程,包括特征选择、树的生成与剪枝等关键技术点,并以一个简单的例子演示如何用Python代码实现一个决策树分类器。文章不仅注重理论阐述,更侧重于实际操作,以期帮助初学者快速入门并在真实数据上应用这一算法。
下一篇
无影云桌面