看云栖说云栖 —— 机器学习PAI

本文涉及的产品
交互式建模 PAI-DSW,每月250计算时 3个月
实时计算 Flink 版,5000CU*H 3个月
模型在线服务 PAI-EAS,A10/V100等 500元 1个月
简介: 有关阿里云机器学习PAI平台近似的讲一讲。

以下是一段用蒙特卡洛法求PAI近似值的python程序
程序每迭代一百万次打印一下结果。

屏幕快照 2020-03-13 下午11.51.37.png

以下内容来自阿里云2019杭州云栖大会《机器学习专场》。
说实话,在这个分会场我听懂的东西并不太多。那我就近似的讲一讲吧,假如偏差比较大的话,那是因为迭代的次数还不够多。

开场演讲的题目叫做《机器学习平台的建设和思考》。
首先回顾了阿里云机器学习平台PAI的建设历程,最初在阿里巴巴也是各个业务团队自建机器学习平台,在2014年阿里云完成登月计划统一大数据分析平台后也开始统一机器学习平台,当时的叫法是大规模参数服务器。这个平台在2015年支撑了淘宝的千人前面的推荐,正好在2015年Google开源了TensorFlow,引发了深度学习的热潮,降低了算法开发的门槛,阿里云在2016年发布了PAI1.0,但是很多人还是希望使用深度学习,在2017年PAI 2.0发布,引入了深度学习,从2018年以来,PAI更加注重平台化和系统化,更加注重AI的自动化,让使用者更加关注模型本身,由PAI来完成各种异构硬件的高效优化和执行,加速用户上线业务模型的速度,通过PAI系统的优化能力来提高效率,降低成本。后面的几个演讲都是围绕PAI如何进行系统的优化来提高效率的,包括《支持超大规模稀疏数据训练的深度学习引擎PAI-Tensorflow》、《PAI-Blade 一站式通用推理优化框架》、《EFlops集群:面向大规模AI训练的硬件基础设施》。从打磨Tensorflow框架到推理引擎的优化、再到网络和硬件基础设施层面的优化,总之阿里巴巴有很多人用围绕深度学习做了大量的优化工作,比起自己攒机器鼓捣Tensorflow肯定是要事倍功半。

还有两个演讲分别是有关Flink和Spark生态的。
《PAI-Alink:基于Flink的通用算法平台》讲的是阿里巴巴基于Flink的在线实时机器学习库,包含常用的统计分析、机器学习、文本处理、推荐、异常检测等算法,覆盖了数据分析、建模和部署的全部流程。这个平台的关键优势是支持数十种数据源的流/批式读写。
批式读写支持:

  • MaxCompute
  • CSV
  • Mongo
  • MySQL
  • AliHbase
  • TDDL
  • 随机表/张量

流式读写:

  • MaxCompute
  • DataHub
  • CSV
  • Tair
  • MetaQ
  • Notify
  • SLS
  • Swift
  • AliHbase
  • TDDL
  • Surfire
  • TableStore
  • Kafka
  • ElasticSearch

从Flink 1.9开始,Flink原有的机器学习库FlinkML已经不再支持,转为使用Alink的算法,目标是覆盖SparkML的全部算法并在性能上持平或超过。

《基于Spark和TensorFlow的机器学习实践》讲的是在阿里云EMR托管Hadoop集群上的Tensorflow on Spark。假如您对Hadoop生态情有独钟,并希望使用Tensorflow也可以使用这个产品。
TensorFlow on Spark的设计目标包括:

  • 方便的与现有的Spark数据处理流程结合
  • 用户现有TensorFlow程序不需要改动就可以迁移
  • 支持TensorFlow的所有功能
  • 支持高效的数据传输,加速从特征工程到训练时间
  • PAI TensorFlow底层的通信优化及大量的算法组件
  • 快速支持各种框架接入,包括MXNet,Caffe

在客户分享环节,请到了携程和一家一站式育儿服务平台「亲宝宝」来进行分享。在携程的案例中主要使用了Flink和TensorFlow来进行异常检测的实时告警,而在亲宝宝的案例中使用MaxCompute和PAI来进行用户画像和个性化推荐。

前面讲了那么多,最后一个演讲《云原生一站式机器学习平台PAI》才是整体介绍PAI这个产品的。
PAI这个产品最大的应用场景就是手机淘宝的个性化推荐,手机淘宝拥有7.55亿移动月活用户、数十亿的商品、需要结合用户的购买力、兴趣、年龄、家庭等要素进行推荐。

从2012年发展到现在,目前整个PAI平台包括五大部分:

  • PAI-AutoLearning、自动学习,可零门槛使用。
  • PAI-Studio、可视化建模,通过拖拉拽的方式组合200种算法,可支持百亿特征样本。
  • PAI-DSW、NoteBook建模,提供jupyter开发环境和深度优化的TensorFlow实现神经网络的可视化编辑,新近增加pytorch支持。
  • PAI-EAS、模型在线服务,通过上述三种方式建立的模型可以一键部署到云端。
  • 智能生态市场、就像淘宝一样链接技术提供与业务需求方。
相关实践学习
使用PAI-EAS一键部署ChatGLM及LangChain应用
本场景中主要介绍如何使用模型在线服务(PAI-EAS)部署ChatGLM的AI-Web应用以及启动WebUI进行模型推理,并通过LangChain集成自己的业务数据。
机器学习概览及常见算法
机器学习(Machine Learning, ML)是人工智能的核心,专门研究计算机怎样模拟或实现人类的学习行为,以获取新的知识或技能,重新组织已有的知识结构使之不断改善自身的性能,它是使计算机具有智能的根本途径,其应用遍及人工智能的各个领域。 本课程将带你入门机器学习,掌握机器学习的概念和常用的算法。
目录
相关文章
|
2月前
|
存储 JSON 搜索推荐
“我在云栖大会等你”—来PAI Artlab定格你的云栖记忆!
在云栖大会上,通过PAI Artlab的ComfyUI,轻松生成个性化数字影像。只需几个简单步骤,即可将你的肖像融入大会经典场景,创造独特回忆。快来加入我们,让PAI Artlab为你的云栖之行增添一抹亮色!
|
2月前
|
机器学习/深度学习 算法 数据挖掘
Python数据分析革命:Scikit-learn库,让机器学习模型训练与评估变得简单高效!
在数据驱动时代,Python 以强大的生态系统成为数据科学的首选语言,而 Scikit-learn 则因简洁的 API 和广泛的支持脱颖而出。本文将指导你使用 Scikit-learn 进行机器学习模型的训练与评估。首先通过 `pip install scikit-learn` 安装库,然后利用内置数据集进行数据准备,选择合适的模型(如逻辑回归),并通过交叉验证评估其性能。最终,使用模型对新数据进行预测,简化整个流程。无论你是新手还是专家,Scikit-learn 都能助你一臂之力。
137 8
|
2月前
|
存储 搜索推荐 云栖大会
我在云栖大会等你——来PAI Artlab定格你的云栖记忆!
要使用PAI ArtLab平台生成个性化图像,请先注册阿里云账号并完成实名认证,然后访问PAI ArtLab并按提示授权开通服务。进入平台后,领取免费试用资源,并通过“ComfyUI”工具上传肖像照片,设定场景和参数,一键生成专属图像。如需调整效果,可修改Seed参数重新生成。平台采用按量计费模式,请确保领取免费资源以避免额外扣费。
71 3
|
3月前
|
机器学习/深度学习 API 网络架构
"解锁机器学习超级能力!Databricks携手Mlflow,让模型训练与部署上演智能风暴,一触即发,点燃你的数据科学梦想!"
【8月更文挑战第9天】机器学习模型的训练与部署流程复杂,涵盖数据准备、模型训练、性能评估及部署等步骤。本文详述如何借助Databricks与Mlflow的强大组合来管理这一流程。首先需在Databricks环境内安装Mlflow库。接着,利用Mlflow跟踪功能记录训练过程中的参数与性能指标。最后,通过Mlflow提供的模型服务功能,采用REST API或Docker容器等方式部署模型。这一流程充分利用了Databricks的数据处理能力和Mlflow的生命周期管理优势。
151 7
|
3月前
|
机器学习/深度学习 运维 算法
【阿里天池-医学影像报告异常检测】3 机器学习模型训练及集成学习Baseline开源
本文介绍了一个基于XGBoost、LightGBM和逻辑回归的集成学习模型,用于医学影像报告异常检测任务,并公开了达到0.83+准确率的基线代码。
71 9
|
3月前
|
机器学习/深度学习 人工智能 自然语言处理
基于PAI-QuickStart搭建一站式模型训练服务体验
【8月更文挑战第5天】基于PAI-QuickStart搭建一站式模型训练服务体验
130 0
|
3月前
|
机器学习/深度学习 存储 人工智能
【机器学习】Qwen1.5-14B-Chat大模型训练与推理实战
【机器学习】Qwen1.5-14B-Chat大模型训练与推理实战
381 0
|
4月前
|
机器学习/深度学习 存储 分布式计算
PAI机器学习平台如何进行分布式训练?
【7月更文挑战第1天】PAI机器学习平台如何进行分布式训练?
130 1
|
4月前
|
机器学习/深度学习 算法 数据挖掘
Python数据分析革命:Scikit-learn库,让机器学习模型训练与评估变得简单高效!
【7月更文挑战第27天】在数据驱动时代,Python以丰富的库成为数据科学首选。Scikit-learn因简洁高效而备受青睐,引领数据分析革命。本文引导您使用Scikit-learn简化机器学习流程。首先通过`pip install scikit-learn`安装库。接着使用内置数据集简化数据准备步骤,例如加载Iris数据集。选择合适的模型,如逻辑回归,并初始化与训练模型。利用交叉验证评估模型性能,获取准确率等指标。最后,应用训练好的模型进行新数据预测。Scikit-learn为各阶段提供一站式支持,助力数据分析项目成功。
73 0
|
4月前
|
机器学习/深度学习 人工智能 算法
【机器学习】大模型训练的深入探讨——Fine-tuning技术阐述与Dify平台介绍
【机器学习】大模型训练的深入探讨——Fine-tuning技术阐述与Dify平台介绍

热门文章

最新文章