像Google一样构建机器学习系统 - 在阿里云上搭建Kubeflow Pipelines

简介: 谈到机器学习工作流平台,Google的工程经验非常丰富,它的TensorFlow Extended机器学习平台支撑了Google的搜索,翻译,视频等核心业务;更重要的是其对机器学习领域工程效率问题的理解深刻,
+关注继续查看

本系列将利用阿里云容器服务,帮助您上手Kubeflow Pipelines.

介绍

机器学习的工程复杂度,除了来自于常见的软件开发问题外,还和机器学习数据驱动的特点相关。而这就带来了其工作流程链路更长,数据版本失控,实验难以跟踪、结果难以重现,模型迭代成本巨大等一系列问题。为了解决这些机器学习固有的问题,很多企业构建了内部机器学习平台来管理机器学习生命周期,其中最有名的是Google的Tensorflow Extended,Facebook的FBLearner Flow,Uber的Michelangelo,遗憾的是这些平台都需要绑定在公司内部的基础设施之上,无法彻底开源。而这些机器学习平台的骨架就是机器学习工作流系统,它可以让数据科学家灵活定义自己的机器学习流水线,重用已有的数据处理和模型训练能力,进而更好的管理机器学习生命周期。

1_overview

谈到机器学习工作流平台,Google的工程经验非常丰富,它的TensorFlow Extended机器学习平台支撑了Google的搜索,翻译,视频等核心业务;更重要的是其对机器学习领域工程效率问题的理解深刻,

Google的Kubeflow团队于2018年底开源了Kubeflow Pipelines(KFP), KFP的设计与Google内部机器学习平台TensorFlow Extended一脉相承,唯一的区别是KFP运行在Kubenretes的平台上,TFX是运行在Borg之上的。

什么是Kubeflow Pipelines

Kubeflow Pipelines平台包括:

  • 能够运行和追踪实验的管理控制台
  • 能够执行多个机器学习步骤的工作流引擎(Argo)
  • 用来自定义工作流的SDK,目前只支持Python

而Kubeflow Pipelines的目标在于:

  • 端到端的任务编排: 支持编排和组织复杂的机器学习工作流,该工作流可以被直接触发,定时触发,也可以由事件触发,甚至可以实现由数据的变化触发
  • 简单的实验管理: 帮助数据科学家尝试众多的想法和框架,以及管理各种试验。并实现从实验到生产的轻松过渡。
  • 通过组件化方便重用: 通过重用Pipelines和组件快速创建端到端解决方案,无需每次从0开始的重新构建。

在阿里云上运行Kubeflow Pipelines

看到Kubeflow Piplines的能力,大家是不是都摩拳擦掌,想一睹为快?但是目前国内想使用Kubeflow Pipeline有两个挑战:
1.Pipelines需要通过Kubeflow部署;而Kubeflow默认组件过多,同时通过Ksonnet部署Kubeflow也是很复杂的事情。 2.Pipelines本身和谷歌云平台有深度耦合,无法在运行其他云平台上或者裸金属服务器的环境。

为了方便国内的用户安装Kubeflow Pipelines,阿里云容器服务团队提供了基于Kustomize的Kubeflow Pipelines部署方案。和普通的Kubeflow基础服务不同,Kubeflow Pipelines需要依赖于mysql和minio这些有状态服务,也就需要考虑如何持久化和备份数据。在本例子中,我们借助阿里云SSD云盘作为数据持久化的方案,分别自动的为mysql和minio创建SSD云盘。

您可以在阿里云上尝试一下单独部署最新版本Kubeflow Pipelines。

前提条件

在Linux和Mac OS环境,可以执行

opsys=linux  # or darwin, or windows
curl -s https://api.github.com/repos/kubernetes-sigs/kustomize/releases/latest |\
  grep browser_download |\
  grep $opsys |\
  cut -d '"' -f 4 |\
  xargs curl -O -L
mv kustomize_*_${opsys}_amd64 /usr/bin/kustomize
chmod u+x /usr/bin/kustomize

在Windows环境,可以下载kustomize_2.0.3_windows_amd64.exe

  • 在阿里云容器服务创建Kubernetes集群, 可以参考 文档

部署过程

1.通过ssh访问Kubernetes集群,具体方式可以参考文档

2.下载源代码

yum install -y git
git clone --recursive https://github.com/aliyunContainerService/kubeflow-aliyun

3.安全配置

3.1 配置TLS证书。如果没有TLS证书,可以通过下列命令生成

yum install -y openssl
domain="pipelines.kubeflow.org"
openssl req -x509 -nodes -days 365 -newkey rsa:2048 -keyout kubeflow-aliyun/overlays/ack-auto-clouddisk/tls.key -out kubeflow-aliyun/overlays/ack-auto-clouddisk/tls.crt -subj "/CN=$domain/O=$domain"

如果您有TLS证书,请分别将私钥和证书保存到kubeflow-aliyun/overlays/ack-auto-clouddisk/tls.keykubeflow-aliyun/overlays/ack-auto-clouddisk/tls.crt

3.2 配置admin的登录密码

yum install -y httpd-tools
htpasswd -c kubeflow-aliyun/overlays/ack-auto-clouddisk/auth admin
New password:
Re-type new password:
Adding password for user admin

4.首先利用kustomize生成部署yaml

cd kubeflow-aliyun/
kustomize build overlays/ack-auto-clouddisk > /tmp/ack-auto-clouddisk.yaml

5.查看所在的Kubernetes集群节点所在的地域和可用区,并且根据其所在节点替换可用区,假设您的集群所在可用区为cn-hangzhou-g,可以执行下列命令

sed -i.bak 's/regionid: cn-beijing/regionid: cn-hangzhou/g' \
    /tmp/ack-auto-clouddisk.yaml

sed -i.bak 's/zoneid: cn-beijing-e/zoneid: cn-hangzhou-g/g' \
    /tmp/ack-auto-clouddisk.yaml

建议您检查一下/tmp/ack-auto-clouddisk.yaml修改是否已经设置

6.将容器镜像地址由gcr.io替换为registry.aliyuncs.com

sed -i.bak 's/gcr.io/registry.aliyuncs.com/g' \
    /tmp/ack-auto-clouddisk.yaml

建议您检查一下/tmp/ack-auto-clouddisk.yaml修改是否已经设置

7.调整使用磁盘空间大小, 比如需要调整磁盘空间为200G

sed -i.bak 's/storage: 100Gi/storage: 200Gi/g' \
    /tmp/ack-auto-clouddisk.yaml

8.验证pipelines的yaml文件

kubectl create --validate=true --dry-run=true -f /tmp/ack-auto-clouddisk.yaml

9.利用kubectl部署pipelines

kubectl create -f /tmp/ack-auto-clouddisk.yaml

10.查看访问pipelines的方式,我们通过ingress暴露pipelines服务,在本例子中,访问ip是112.124.193.271。而Pipelines管理控制台的链接是:https://112.124.193.271/pipeline/

kubectl get ing -n kubeflow
NAME             HOSTS   ADDRESS           PORTS     AGE
ml-pipeline-ui   *       112.124.193.271   80, 443   11m

11.访问pipelines管理控制台

如果使用自签发证书,会提示此链接非私人链接,请点击显示详细信息, 并点击访问此网站。

non_tls

请输入步骤2.2中的用户名admin和设定的密码

auth

这时就可以使用pipelines管理和运行训练任务了。

pipelines

Q&A

1.为什么这里要使用阿里云的SSD云盘?

这是由于阿里云的SSD云盘可以设置定期的自动备份,保证pipelines中的元数据不会丢失。

2.如何进行云盘备份?

如果您想备份云盘的内容,可以为云盘 手动创建快照 或者 为硬盘设置自动快照策略 按时自动创建快照。

3.如何清理Kubeflow Piplines部署?

这里的清理工作分为两个部分:

  • 删除Kubeflow Pipelines的组件
kubectl delete -f /tmp/ack-auto-clouddisk.yaml
  • 通过释放云盘分别释放mysql和minio存储对应的两个云盘

4.如何使用现有云盘作为数据库存储,而避免自动创建云盘?

请参考文档

总结

本文为您初步介绍了Kubeflow Pipelines的背景和其所要解决的问题,以及如何在阿里云上通过Kustomize快速构建一套服务于机器学习的Kubeflow Pipelines,后续我们会分享如何利用Kubeflow Pipelines开发一个完整的机器学习流程。

相关实践学习
Docker镜像管理快速入门
本教程将介绍如何使用Docker构建镜像,并通过阿里云镜像服务分发到ECS服务器,运行该镜像。
深入解析Docker容器化技术
Docker是一个开源的应用容器引擎,让开发者可以打包他们的应用以及依赖包到一个可移植的容器中,然后发布到任何流行的Linux机器上,也可以实现虚拟化,容器是完全使用沙箱机制,相互之间不会有任何接口。Docker是世界领先的软件容器平台。开发人员利用Docker可以消除协作编码时“在我的机器上可正常工作”的问题。运维人员利用Docker可以在隔离容器中并行运行和管理应用,获得更好的计算密度。企业利用Docker可以构建敏捷的软件交付管道,以更快的速度、更高的安全性和可靠的信誉为Linux和Windows Server应用发布新功能。 在本套课程中,我们将全面的讲解Docker技术栈,从环境安装到容器、镜像操作以及生产环境如何部署开发的微服务应用。本课程由黑马程序员提供。     相关的阿里云产品:容器服务 ACK 容器服务 Kubernetes 版(简称 ACK)提供高性能可伸缩的容器应用管理能力,支持企业级容器化应用的全生命周期管理。整合阿里云虚拟化、存储、网络和安全能力,打造云端最佳容器化应用运行环境。 了解产品详情: https://www.aliyun.com/product/kubernetes
目录
相关文章
|
9月前
|
机器学习/深度学习 存储 弹性计算
基于阿里云搭建全量push系统
push又称消息推送、消息触达。叫法有很多但目的只有一个,就是通过各种渠道或方式将指定内容告知到指定用户。所以我们也可以称之为通知。
138 0
基于阿里云搭建全量push系统
|
9月前
|
域名解析 XML 弹性计算
基于阿里云ecs的个人博客搭建实战
本文所涉及的代码出自以下博客文章,十分感谢下面各位大佬的分享 基于开源的wordpress Argon 主题制作人博客:solstice23 – Blog
206 0
基于阿里云ecs的个人博客搭建实战
|
9月前
|
存储 安全 对象存储
用阿里云对象存储OSS搭建个人网盘或企业网盘的方法
阿里云对象存储OSS是低成本高可靠的存储服务,使用阿里云OSS对象存储搭建个人网盘或企业网盘的方法
|
10月前
|
弹性计算 Linux
使用阿里云ECS搭建属于自己的wordpress个人博客体验
本文介绍了作者这段时间使用阿里云ECS的体验和搭建wordpress过程中遇到的一些问题和自己当时的想法,以及经过一个多星期的使用有哪些收获。
使用阿里云ECS搭建属于自己的wordpress个人博客体验
|
10月前
|
域名解析 关系型数据库 MySQL
阿里云轻量应用服务器怎么搭建网站?搭建WordPress博客全教程
阿里云轻量应用服务器WordPress应用镜像一键搭建WordPress博客,阿里云轻量应用服务器自带WordPress应用镜像,一键搭建WordPress博客网站,WordPress镜像环境基于Alibaba Cloud Linux3操作系统,PHP 8.1、MySQL 5.7和Nginx 1.22版本,阿里云百科来详细说下阿里云轻量应用服务器安装WordPress应用镜像全过程:
285 0
阿里云轻量应用服务器怎么搭建网站?搭建WordPress博客全教程
|
10月前
|
弹性计算 Shell
阿里云使用 emqx 搭建 MQTT 服务器
阿里云使用 emqx 搭建 MQTT 服务器
阿里云使用 emqx 搭建 MQTT 服务器
|
10月前
|
监控 Serverless 云计算
5 步!用阿里云 Serverless 搭建高质量的图片压缩工具
Serverless 是一种基于云计算的开发方法,它让开发人员可以专注于编写代码来解决业务问题,而不是处理服务器问题。它是独一无二的,因为它支持 Auto Scaling,执行应用程序所需的计算能力是按需分配的。并且使用一种称为事件驱动函数的模型来确定这些需求的范围。这就是 Serverless 架构,也称为功能即服务 (FaaS)。
5 步!用阿里云 Serverless 搭建高质量的图片压缩工具
|
10月前
阿里云的个人使用体验与关于阿里云个人博客搭建的补充
简单快速,通俗易懂易上手,体验满分10分给9.9分吧!!!
145 0
|
10月前
|
弹性计算 小程序 应用服务中间件
阿里云轻量应用服务器搭建微信小程序或企业官网够用吗?
阿里云2核2G轻量服务器搭建小程序或企业官网够用吗?
523 0
阿里云轻量应用服务器搭建微信小程序或企业官网够用吗?
|
10月前
|
Ubuntu Linux 虚拟化
使用阿里云镜像站NTP服务搭建NTP服务器(基于CentOS 7系统)
使用阿里云镜像站NTP服务搭建NTP服务器(基于CentOS 7系统)
813 0
使用阿里云镜像站NTP服务搭建NTP服务器(基于CentOS 7系统)
相关产品
容器镜像服务
容器服务Kubernetes版
推荐文章
更多