AI 助理
文档备案控制台
开发者社区 云原生 容器服务 文章 正文

Kubeflow实战系列：阿里云上小试TFJob

2018-06-13 11785
版权
版权声明：
本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《 阿里云开发者社区用户服务协议》和 《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写 侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。
简介： `tf-operator`是Kubeflow的第一个CRD实现，解决的是TensorFlow模型训练的问题，它提供了广泛的灵活性和可配置，可以与阿里云上的NAS，OSS无缝集成，并且提供了简单的UI查看训练的历史记录。

介绍

本系列将介绍如何在阿里云容器服务上运行Kubeflow方案, 本文介绍如何使用TfJob运行模型训练。

TFJob简介

模型训练是机器学习最主要的实践场景，尤其以使用机器学习框架TensorFlow进行模型训练最为流行，但是随着机器学习的平台由单机变成集群，这个问题变得复杂了。GPU的调度和绑定，涉及到分布式训练的编排和集群规约属性的配置（cluster spec）也成了数据科学家们巨大的负担。

为了解决这一问题，一个新的资源类型TFJob，即TensorFlow Job被定义出来了。通过这个资源类型，使用TensorFlow的数据科学家无需编写复杂的配置，只需要关注数据的输入，代码的运行和日志的输入输出。

TFJob 定义

简单介绍一下TFJob的定义， TFJob实际上遵循Kubernetes标准的API定义。本文介绍v1alpha1的版本，对于v1alpha2，Kubeflow 0.2会支持，目前仍在开发中。

TFJob 对象

属性 类型 描述
apiVersion string api版本，目前为 kubeflow.org/v1alpha1
kind string REST资源的类型. 这里是TFJob
metadata ObjectMeta 标准元数据定义.
spec TFJobSpec TensorFlow job的定义

其中spec 非常重要，以下是其定义。

TFJobSpec 对象

属性 类型 描述
ReplicaSpecs TFReplicaSpec 类型数组 定义一组参加TensorFlow模型训练的成员

具体的TFReplicaSpec定义:

TFReplicaSpec 对象

属性 类型 描述
TfReplicaType string 参加TensorFlow模型训练的成员类型， 可以是 MASTER, WORKER 或者 PS。当单机训练的时候，只需要指定Master类型。
Replicas int 当前成员类型的数量，默认为 1.
Template [PodTemplateSpec] 这里是完全遵循Kubernetes Pod模板的定义，具体可以参考 [Pod定义]

前提要求

  • Kubernetes集群包含GPU的能力

  • Kubeflow核心模块安装

可以通过以下命令确认tf-operator这个核心组件已经正常启动

kubectl get deploy -n kubeflow tf-job-operator
NAME              DESIRED   CURRENT   UP-TO-DATE   AVAILABLE   AGE
tf-job-operator   1         1         1            1           1m

运行TFJob进行训练

其实数据科学家运行模型训练关心的是三件事：

  1. 数据从哪里来
  2. 如何运行机器学习的代码
  3. 训练结果（模型和日志）到哪里去

对于运行在桌面机上的机器学习代码来说，这是很容易的事情；但是如果您的运行时环境是多台机器的集群环境，这个工作就变得复杂了。而TFJob希望机器学习训练的工程师们在集群的控制节点上实现中心化的配置管理，并且只需要了解如何编写和配置TFJob就能够像在单机上运行机器学习代码。

本文将提供三个例子阐述如何在云上使用数据和训练结果：

1. 数据和训练结果都在容器内

以下为示例yaml：

apiVersion: kubeflow.org/v1alpha1
kind: TFJob
metadata:
  name: mnist-simple-gpu
spec:
  replicaSpecs:
    - template:
        spec:
          containers:
            - image: registry.aliyuncs.com/kubeflow-images-public/tf-mnist:gpu
              name: tensorflow
              command: ["python", "/app/main.py"]
              resources:
                limits:
                  nvidia.com/gpu: 1
          restartPolicy: OnFailure

其中mnist代码来自 https://github.com/cheyang/tensorflow-sample-code/tree/master/tfjob/docker/mnist

将该模板保存到mnist-simple-gpu.yaml, 并且创建TFJob:

# kubectl create -f mnist-simple-gpu.yaml

现在可以看到TFJob资源已经被创建了：

# kubectl get tfjob
NAME               AGE
mnist-simple-gpu   1m

获得该TFJob的RUNTIME ID，这个RUNTIME ID是TFJob和其对应Pod之间的关联

# RUNTIMEID=$(kubectl get tfjob mnist-simple-gpu -o=jsonpath='{.spec.RuntimeId}')

根据RUNTIME ID查询对应执行该训练任务

# kubectl get po -lruntime_id=$RUNTIMEID
NAME                                   READY     STATUS    RESTARTS   AGE
mnist-simple-gpu-master-825k-0-23033   1/1       Running   0          1m

在Pod运行过程中，可以通过kubectl logs检查训练日志:

# kubectl logs mnist-simple-gpu-master-825k-0-23033 
[...]
2018-06-04 11:20:01.014330: I tensorflow/core/common_runtime/gpu/gpu_device.cc:1120] Creating TensorFlow device (/device:GPU:0) -> (device: 0, name: Tesla P100-PCIE-16GB, pci bus id: 0000:00:08.0, compute capability: 6.0)
2018-06-04 11:20:06.612938: I tensorflow/stream_executor/dso_loader.cc:139] successfully opened CUDA library libcupti.so.8.0 locally
Successfully downloaded train-images-idx3-ubyte.gz 9912422 bytes.
Extracting /data/tensorflow/input_data/train-images-idx3-ubyte.gz
Successfully downloaded train-labels-idx1-ubyte.gz 28881 bytes.
Extracting /data/tensorflow/input_data/train-labels-idx1-ubyte.gz
Successfully downloaded t10k-images-idx3-ubyte.gz 1648877 bytes.
Extracting /data/tensorflow/input_data/t10k-images-idx3-ubyte.gz
Successfully downloaded t10k-labels-idx1-ubyte.gz 4542 bytes.
Extracting /data/tensorflow/input_data/t10k-labels-idx1-ubyte.gz
Accuracy at step 0: 0.1446
Accuracy at step 10: 0.7515
Accuracy at step 20: 0.8397
Accuracy at step 30: 0.8606
...
Accuracy at step 980: 0.9642
Accuracy at step 990: 0.9662
Adding run metadata for 999
[...]

从日志中可以看到该训练过程需要先下载数据，再在GPU上进行训练，但是训练出来的结果只是留在了容器里，难于导出。

如果需要将模型导出，就需要借用Kubernetes的数据卷，我们来看一下第二个例子：

2. 将训练结果保存在OSS上

2.1 创建OSS数据卷kubeflow-oss,具体可以参考文档创建OSS Bucket

2.2 创建OSS的PV， 以下为示例oss-pv.yaml

apiVersion: v1
kind: PersistentVolume
metadata:
  name: kubeflow-oss-mnist
  labels:
    tfjob: kubeflow-oss-mnist
spec:
  capacity:
    storage: 10Gi
  accessModes:
    - ReadWriteMany
  storageClassName: oss
  flexVolume:
    driver: "alicloud/oss"
    options:
      bucket: "test-oss"
      url: "oss-cn-hangzhou.aliyuncs.com"
      akId: ***
      akSecret: ***
      otherOpts: "-o allow_other"

akId, akSecret为访问OSS 所需的 AccessKey

url为oss Bucket的访问域名，如果 Bucket 和 ECS 实例位于不同地域（Region），请选择 外网域名；如果位于相同地域，需要根据集群网络类型进行选择，若是 VPC 网络，请选择 VPC域名，若是经典网络，请选择 内网域名。

更多细节，请参考kubernetes配置数据卷

# kubectl create -f oss-pv.yaml
persistentvolume "kubeflow-oss-mnist" created

2.3 利用oss-pvc.yaml创建PVC

kind: PersistentVolumeClaim
apiVersion: v1
metadata:
  name: kubeflow-oss-mnist
spec:
  storageClassName: oss
  accessModes:
    - ReadWriteMany
  resources:
    requests:
      storage: 5Gi
  selector:
    matchLabels:
      tfjob: kubeflow-oss-mnist

具体命令：

# kubectl create -f oss-pvc.yaml
persistentvolumeclaim "kubeflow-oss-mnist" created

一旦完成，就可以运行kubectl get pvc检查pvc的创建结果:

# kubectl get pvc kubeflow-oss-mnist
NAME                 STATUS    VOLUME               CAPACITY   ACCESS MODES   STORAGECLASS   AGE
kubeflow-oss-mnist   Bound     kubeflow-oss-mnist   10Gi       RWX            oss            1d

2.4 创建TFJob

apiVersion: kubeflow.org/v1alpha1
kind: TFJob
metadata:
  name: mnist-simple-gpu-oss
spec:
  replicaSpecs:
    - template:
        spec:
          containers:
            - image: registry.aliyuncs.com/kubeflow-images-public/tf-mnist:gpu
              name: tensorflow
              env:
              - name: TEST_TMPDIR
                value: /data
              command: ["python", "/app/main.py"]
              resources:
                limits:
                  nvidia.com/gpu: 
              volumeMounts:
              - name: kubeflow-oss-mnist
                mountPath: "/data"
          volumes:
            - name: kubeflow-oss-mnist
              persistentVolumeClaim:
                claimName: kubeflow-oss-mnist
          restartPolicy: OnFailure

将该模板保存到mnist-simple-gpu-oss.yaml, 并且创建TFJob:

# kubectl create -f mnist-simple-gpu-oss.yaml
tfjob "mnist-simple-gpu-oss" created

一旦TFJob运行, 就能从OSS的客户端看到保存的模型文件，这些文件就会永远保存到OSS Bucket中。

oss_tfjobs

3. 利用NAS上的训练数据进行模型训练

3.1 创建NAS数据卷，并且设置与当前Kubernetes集群的同一个具体vpc的挂载点。操作详见文档

3.2 在NAS上创建 /tfdata/tensorflow/input_data的数据文件夹, 下载mnist训练所需要的数据

mkdir /nfs
mount -t nfs -o vers=4.0 xxxxxxx-rqx39.cn-hangzhou.nas.aliyuncs.com:/ /nfs
mkdir -p /nfs/tfdata/tensorflow/input_data
cd /nfs/tfdata/tensorflow/input_data
wget https://raw.githubusercontent.com/cheyang/tensorflow-sample-code/master/data/t10k-images-idx3-ubyte.gz
wget https://raw.githubusercontent.com/cheyang/tensorflow-sample-code/master/data/t10k-labels-idx1-ubyte.gz
wget https://raw.githubusercontent.com/cheyang/tensorflow-sample-code/master/data/train-images-idx3-ubyte.gz
wget https://raw.githubusercontent.com/cheyang/tensorflow-sample-code/master/data/train-labels-idx1-ubyte.gz
cd /
umount /nfs

3.3 创建NAS的PV， 以下为示例nas-pv.yaml

apiVersion: v1
kind: PersistentVolume
metadata:
  name: kubeflow-nas-mnist
  labels:
    tfjob: kubeflow-nas-mnist
spec:
  capacity:
    storage: 10Gi
  accessModes:
    - ReadWriteMany
  storageClassName: nas
  flexVolume:
    driver: "alicloud/nas"
    options:
      mode: "755"
      path: /tfdata
      server: xxxxxxx-rqx39.cn-hangzhou.nas.aliyuncs.com
      vers: "4.0"

3.4 利用nas-pvc.yaml创建PVC

kind: PersistentVolumeClaim
apiVersion: v1
metadata:
  name: kubeflow-nas-mnist
spec:
  storageClassName: nas
  accessModes:
    - ReadWriteMany
  resources:
    requests:
      storage: 5Gi
  selector:
    matchLabels:
      tfjob: kubeflow-nas-mnist

具体命令：

# kubectl create -f nas-pvc.yaml
persistentvolumeclaim "kubeflow-nas-mnist" created

3.5 创建TFJob

apiVersion: kubeflow.org/v1alpha1
kind: TFJob
metadata:
  name: mnist-simple-gpu-nas
spec:
  replicaSpecs:
    - template:
        spec:
          containers:
            - image: registry.aliyuncs.com/kubeflow-images-public/tf-mnist:gpu
              name: tensorflow
              env:
              - name: TEST_TMPDIR
                value: /tfdata
              command: ["python", "/app/main.py"]
              resources:
                limits:
                  nvidia.com/gpu: 
              volumeMounts:
              - name: kubeflow-nas-mnist
                mountPath: "/tfdata"
          volumes:
            - name: kubeflow-nas-mnist
              persistentVolumeClaim:
                claimName: kubeflow-nas-mnist
          restartPolicy: OnFailure

将该模板保存到mnist-simple-gpu-nas.yaml, 并且创建TFJob:

# kubectl create -f mnist-simple-gpu-nas.yaml
tfjob "mnist-simple-gpu-nas" created

通过kubectl logs检查训练日志, 可以看到这里的数据无需下载，直接解包就可以开始训练:

# kubectl logs mnist-simple-gpu-master-825k-0-23033 
[...]
2018-06-06 11:12:55.968267: I tensorflow/stream_executor/dso_loader.cc:139] successfully opened CUDA library libcupti.so.8.0 locally
Extracting /tfdata/tensorflow/input_data/train-images-idx3-ubyte.gz
Extracting /tfdata/tensorflow/input_data/train-labels-idx1-ubyte.gz
Extracting /tfdata/tensorflow/input_data/t10k-images-idx3-ubyte.gz
Extracting /tfdata/tensorflow/input_data/t10k-labels-idx1-ubyte.gz
Accuracy at step 0: 0.1446
Accuracy at step 10: 0.7515
Accuracy at step 20: 0.8397
Accuracy at step 30: 0.8606
...
Accuracy at step 980: 0.9642
Accuracy at step 990: 0.9662
Adding run metadata for 999
[...]

通过TFJob UI查看训练状态

1. 可以通过kubectl命令查看Tensorboard的外网访问ip, 在本例子里，外网ip为120.0.0.1

#  kubectl get svc -n kubeflow tf-job-dashboard
NAME               TYPE           CLUSTER-IP     EXTERNAL-IP    PORT(S)        AGE
tf-job-dashboard   LoadBalancer   172.19.9.247   120.0.0.1   80:30911/TCP   2d

注意由于Kubeflow的TFJob目前仅仅提供http访问，并不推荐在生产环境使用LoadBalancer模式的Service，建议在生产环境，可以使用kubectl proxy的模式访问

2. 查看TFJob的UI界面

tf-job-ui.jpg

总结

tf-operator是Kubeflow的第一个CRD实现，解决的是TensorFlow模型训练的问题，它提供了广泛的灵活性和可配置，可以与阿里云上的NAS，OSS无缝集成，并且提供了简单的UI查看训练的历史记录。可以称得上是数据科学家用于TensorFlow模型训练的利器，与此同时Kubeflow社区还提供了包括pytorch-operator等其他机器学习框架的支持。

文章标签：
容器服务Kubernetes版
域名与网站
GPU云服务器
文件存储 NAS
对象存储
日志服务
算法框架/工具
TensorFlow
对象存储
容器
异构计算
相关实践学习
深入解析Docker容器化技术
Docker是一个开源的应用容器引擎，让开发者可以打包他们的应用以及依赖包到一个可移植的容器中，然后发布到任何流行的Linux机器上，也可以实现虚拟化，容器是完全使用沙箱机制，相互之间不会有任何接口。Docker是世界领先的软件容器平台。开发人员利用Docker可以消除协作编码时“在我的机器上可正常工作”的问题。运维人员利用Docker可以在隔离容器中并行运行和管理应用，获得更好的计算密度。企业利用Docker可以构建敏捷的软件交付管道，以更快的速度、更高的安全性和可靠的信誉为Linux和Windows Server应用发布新功能。 在本套课程中，我们将全面的讲解Docker技术栈，从环境安装到容器、镜像操作以及生产环境如何部署开发的微服务应用。本课程由黑马程序员提供。     相关的阿里云产品：容器服务 ACK 容器服务 Kubernetes 版（简称 ACK）提供高性能可伸缩的容器应用管理能力，支持企业级容器化应用的全生命周期管理。整合阿里云虚拟化、存储、网络和安全能力，打造云端最佳容器化应用运行环境。 了解产品详情: https://www.aliyun.com/product/kubernetes
必嘫
目录
相关文章
redrose2100
|
NoSQL Redis
Kubernetes----部署单节点Redis
Kubernetes----部署单节点Redis
redrose2100
5827 1
luck_sugar
|
存储 机器学习/深度学习 Kubernetes
kubeflow系列：基于国内阿里云镜像解决kubeflow一键安装
google出品在国内都存在墙的问题，而kubeflow作为云原生的机器学习套件对团队的帮助很大，对于无条件的团队，基于国内镜像搭建kubeflow可以帮助大家解决不少麻烦，这里给大家提供一套基于国内阿里云镜像的kubeflow 0.6的安装方案。
luck_sugar
9913 0
kubeflow系列：基于国内阿里云镜像解决kubeflow一键安装
y2hr4cjzssnlm
|
Windows
关于Qt Creator项目中.pro文件中的相对路径
关于Qt Creator项目中.pro文件中的相对路径
y2hr4cjzssnlm
1393 0
萧元
|
弹性计算 容器 RDMA
在Kubernetes上使用RDMA
### RDMA RDMA(全称RemoteDirect Memory Access) 它为了解决网络传输中服务器端数据处理的延迟而产生。 它的原理是将待传输的数据从一台计算机的内存，直接传输到另一台计算机的内存，整个传输过程无需操作系统和协议栈的介入。
萧元
11309 0
jianz123
|
网络协议 网络安全 数据安全/隐私保护
windocs连接麒麟桌面---vnc软件
windocs连接麒麟桌面---vnc软件
jianz123
1085 0
请看我回答~
|
机器学习/深度学习 人工智能 自然语言处理
利用AI技术实现情感分析的探索之旅
【8月更文挑战第30天】本文将带你深入理解如何通过AI技术来执行情感分析，揭示这一过程的神秘面纱。我们将从基础理论出发，逐步引入实践操作，包括数据处理、模型选择和训练等步骤。你将看到，通过Python编程语言和一些专门的库，我们能够构建出可以识别文本情感倾向的模型。这不仅是一项有趣的技术挑战，更有着广泛的应用前景，比如在社交媒体监控、市场研究、客户服务等领域。无论你是AI技术的初学者，还是有一定基础的开发者，这篇文章都将为你打开一扇新的大门，让你对AI技术有更深的理解和认识。
请看我回答~
482 7
1288912195458132
|
存储 缓存 分布式计算
HDFS优化方案
HDFS优化方案
1288912195458132
374 2
wljslmz
|
SQL 中间件 数据库
Django 架构详解
【8月更文挑战第24天】
wljslmz
673 0
不闻
|
Prometheus Kubernetes Cloud Native
Flagger(应用自动发布)介绍和原理剖析
## 简介 [Flagger](https://github.com/weaveworks/flagger)是一个能使运行在k8s体系上的应用发布流程全自动(无人参与)的工具, 它能减少发布的人为关注时间, 并且在发布过程中能自动识别一些风险(例如:RT,成功率,自定义metrics)并回滚. ## 主要特性 ![features](https://intranetproxy.ali
不闻
5159 0
4yva5hg3m356w
|
资源调度 分布式计算 Kubernetes
Flink最全的集群部署攻略（推荐yarn实现企业级部署）
🍅程序员小王的博客：程序员小王的博客 🍅 欢迎点赞 👍 收藏 ⭐留言 📝 🍅 如有编辑错误联系作者，如果有比较好的文章欢迎分享给我，我会取其精华去其糟粕
4yva5hg3m356w
12880 3
Flink最全的集群部署攻略（推荐yarn实现企业级部署）