机器学习 PAI 介绍 | 学习笔记

本文涉及的产品
模型训练 PAI-DLC,100CU*H 3个月
对象存储 OSS,20GB 3个月
模型在线服务 PAI-EAS,A10/V100等 500元 1个月
简介: 快速学习机器学习 PAI 介绍

开发者学堂课程【机器学习实战:机器学习 PAI 介绍】学习笔记,与课程紧密联系,让用户快速学习知识。

课程地址:https://developer.aliyun.com/learning/course/530/detail/7138


机器学习 PAI 介绍

内容介绍

一、 特点

二、 产品组成

三、 PAI 支持的算法

四、 PAI 深度学习框架

五、 离线模型、在线模型

 

阿里云机器学习平台 PAI 是基于 MaxCompute 提供数据处理、建模、离线预测、在线预测等服务的大型机器学习平台,为算法开发者提供了丰富的 MPI、PS、BSP等编程框架和数据存取接口,同时提供了基于 Web 的可视化控制台,降低了使用门槛。因为 PAI 也支持阿里云的另一款产品 OSS 可视化存储,就是将数据存储到 OSS 中也可以使用 API 进行机器学习。

 

一、特点

1、 上手简单

通过对底层的分布式算法封装,提供拖拉拽的可视化操作环境。让数据挖掘的创建过程像搭积木一样简单

2、 算法丰富

提供特征工程、数据预处理、统计分析、机器学习、深度学习框架、预测估等超过100 种的算法组件。基本上常见的算法在机器学习 PAI 里面都可以看见。阿里云在机器学习中有非常多很成熟的应用。

3、—站式体验

除了提供模型训练功能,还提供了在线预测以及离线调度功能,让机器学习训练结果和业务可以无缝衔接。因为案例云提供了很多与大数据相关的产品,一个比较大的优势在于可以提供完整的解决方案,机器学习就是这种完整解决方案中的一个环节。并不是孤立存在的,所以对于用户来说就有了一种非常好的一站式体验。

4、 深度学习

目前支持 MXNet 、Caff 目前支持 MXNet 、Caff 的深度学习框架,平台底层提供 GPU 进行训练

5、 其他特点

image.png

高性能云端计算,降低存储和计算成本

阿里云机器学习平台 PAI 可以使用 MaxCompute 和对象存储 OSS,实际上MaxCompute 和 OSS 就是基于阿里底层服务计算存储的一个服务,其存储成本和计算成本都比较低,

API 提供了丰富的工具、算法库、降低技术门槛,

提供了基层的可视化拖拽操作完整的解决方案。

 

二、PAI 产品组成

1、 PAI 的产品组成比较多,包括基础设施有 CPU 集群,GPU 集群,FPGA 集群

2、 开放框架:

MPI、PS、Graph、TensorFlow、Caffe、MXNet 等

3、 模型与算法:

数理统计、数据预处理、特征工程、文本分析、关系网分析、回归分类、聚类和CNN、DNN、RNN 等。

4、 业务应用层:

信用评估、金融风控、疾病预测、图片分类、新闻分类、天气预测、路线分析和推荐系统等等。

5、 平台服务:

离线训练、评估和预测、模型可视化、在线预测和社区服务等等。

 

三、PAI 支持的算法

目前 PAI 支持的算法非常多,包括一千多种,下图已经不是最新的了,因为 PAI 算法一直在更新,包括预处理工作组件、特征工程、统计分析、常用机器学习算法和垂直应用、深度学习等等,还是非常丰富的

image.png

 

四、PAI 深度学习框架

1、TensorFlow  

2、Caffe  

3、MXNet

image.png

深度学习是机器学习研究中的一个新的领域,其动机在于建立、模拟人脑进行分析学习的神经网络,它模仿人脑的机制来解释数据,例如图像,声音和文本。

 

五、离线模型、在线预测

之前介绍 PAI 机器学习,也介绍了这种模型。在 PAI 中都支持。

image.png

相关实践学习
使用PAI-EAS一键部署ChatGLM及LangChain应用
本场景中主要介绍如何使用模型在线服务(PAI-EAS)部署ChatGLM的AI-Web应用以及启动WebUI进行模型推理,并通过LangChain集成自己的业务数据。
机器学习概览及常见算法
机器学习(Machine Learning, ML)是人工智能的核心,专门研究计算机怎样模拟或实现人类的学习行为,以获取新的知识或技能,重新组织已有的知识结构使之不断改善自身的性能,它是使计算机具有智能的根本途径,其应用遍及人工智能的各个领域。 本课程将带你入门机器学习,掌握机器学习的概念和常用的算法。
相关文章
|
1月前
|
人工智能 调度 芯片
PAI训练服务:云上大模型训练新篇章
本文介绍了通用AI时代下的新训练方法及PAI平台的优化。随着大模型时代的到来,算力需求激增,硬件和网络通信成为瓶颈。PAI平台通过自动容错、3D健康检测等技术确保训练稳定性;通过资源配额、智能调度等提高性价比;并推出PAI-TorchAcc和PAI-ChatLearn两大引擎,分别实现高效训练加速和灵活的对齐训练,显著提升训练性能与效果。这些改进解决了大规模AI训练中的关键问题,提升了效率和稳定性。
|
2月前
|
人工智能 JSON 算法
魔搭支持在阿里云人工智能平台PAI上进行模型训练、部署了!
现在,魔搭上的众多模型支持在阿里云人工智能平台PAI-Model Gallery上使用阿里云算力资源进行模型训练和部署啦!
|
1月前
|
人工智能 容灾 Serverless
AI推理新纪元,PAI全球化模型推理服务的创新与实践
本次分享主题为“AI推理新纪元,PAI全球化模型推理服务的创新与实践”,由阿里云高级产品经理李林杨主讲。内容涵盖生成式AI时代推理服务的变化与挑战、play IM核心引擎的优势及ES专属网关的应用。通过LM智能路由、多模态异步生成等技术,PAI平台实现了30%以上的成本降低和显著性能提升,确保全球客户的业务稳定运行并支持异地容灾,目前已覆盖16个地域,拥有10万张显卡的推理集群。
|
5月前
|
机器学习/深度学习 算法 数据挖掘
Python数据分析革命:Scikit-learn库,让机器学习模型训练与评估变得简单高效!
在数据驱动时代,Python 以强大的生态系统成为数据科学的首选语言,而 Scikit-learn 则因简洁的 API 和广泛的支持脱颖而出。本文将指导你使用 Scikit-learn 进行机器学习模型的训练与评估。首先通过 `pip install scikit-learn` 安装库,然后利用内置数据集进行数据准备,选择合适的模型(如逻辑回归),并通过交叉验证评估其性能。最终,使用模型对新数据进行预测,简化整个流程。无论你是新手还是专家,Scikit-learn 都能助你一臂之力。
220 8
|
6月前
|
机器学习/深度学习 API 网络架构
"解锁机器学习超级能力!Databricks携手Mlflow,让模型训练与部署上演智能风暴,一触即发,点燃你的数据科学梦想!"
【8月更文挑战第9天】机器学习模型的训练与部署流程复杂,涵盖数据准备、模型训练、性能评估及部署等步骤。本文详述如何借助Databricks与Mlflow的强大组合来管理这一流程。首先需在Databricks环境内安装Mlflow库。接着,利用Mlflow跟踪功能记录训练过程中的参数与性能指标。最后,通过Mlflow提供的模型服务功能,采用REST API或Docker容器等方式部署模型。这一流程充分利用了Databricks的数据处理能力和Mlflow的生命周期管理优势。
263 7
|
6月前
|
机器学习/深度学习 运维 算法
【阿里天池-医学影像报告异常检测】3 机器学习模型训练及集成学习Baseline开源
本文介绍了一个基于XGBoost、LightGBM和逻辑回归的集成学习模型,用于医学影像报告异常检测任务,并公开了达到0.83+准确率的基线代码。
94 9
|
6月前
|
机器学习/深度学习 人工智能 自然语言处理
基于PAI-QuickStart搭建一站式模型训练服务体验
【8月更文挑战第5天】基于PAI-QuickStart搭建一站式模型训练服务体验
201 0
|
6月前
|
机器学习/深度学习 存储 人工智能
【机器学习】Qwen1.5-14B-Chat大模型训练与推理实战
【机器学习】Qwen1.5-14B-Chat大模型训练与推理实战
655 0
|
7月前
|
机器学习/深度学习 存储 分布式计算
PAI机器学习平台如何进行分布式训练?
【7月更文挑战第1天】PAI机器学习平台如何进行分布式训练?
187 1
|
7月前
|
机器学习/深度学习 算法 数据挖掘
Python数据分析革命:Scikit-learn库,让机器学习模型训练与评估变得简单高效!
【7月更文挑战第27天】在数据驱动时代,Python以丰富的库成为数据科学首选。Scikit-learn因简洁高效而备受青睐,引领数据分析革命。本文引导您使用Scikit-learn简化机器学习流程。首先通过`pip install scikit-learn`安装库。接着使用内置数据集简化数据准备步骤,例如加载Iris数据集。选择合适的模型,如逻辑回归,并初始化与训练模型。利用交叉验证评估模型性能,获取准确率等指标。最后,应用训练好的模型进行新数据预测。Scikit-learn为各阶段提供一站式支持,助力数据分析项目成功。
108 0