Kubernetes运行字节联邦学习开源框架KubeFate1.5.4版本-中篇(下)

本文涉及的产品
容器服务 Serverless 版 ACK Serverless,317元额度 多规格
容器服务 Serverless 版 ACK Serverless,952元额度 多规格
简介: Kubernetes运行字节联邦学习开源框架KubeFate1.5.4版本-中篇(下)

使用KubeFATE安装FATE


安装两联盟方,ID 分别 9999 与 10000
真实情况 这两方应该是完全独立、隔绝的组织
为了模拟现实情况 需要先为他们在Kubernetes上创建各自独立的命名空间(namespace)

创建命名空间

# 用来部署9999
kubectl create namespace fate-9999
# 用来部署10000
kubectl create namespace fate-10000

准备各自的集群配置文件

cp ./cluster_163.yaml fate-9999.yaml && cp ./cluster_163.yaml fate-10000.yaml
  • fate-9999.yaml

image.png


fate-10000.yaml


微信图片_20220430193628.png


192.168.100.123需要替换成你的MiniKube 机器地址

安装fate集群

kubefate cluster install -f ./fate-9999.yaml
kubefate cluster install -f ./fate-10000.yaml


KubeFATE 会创建两个任务去分别部署两个FATE集群

查看任务状态

cd /home/k8s
watch kubefate cluster ls

image.png


这个步骤需要到网易云镜像仓库去下载约 10GB 的镜像


验证FATE的部署


访问集群

kubefate cluster describe b1865111-4a7d-4159-aeb9-4c482262517c


image.png


Info->dashboard里包含

  • Jupyter Notebook 的访问地址
9999.notebook.kubefate.net
是让数据科学家进行建模分析的平台
已经集成了FATE-Clients
  • FATEBoard 的访问地址
9999.fateboard.kubefate.net
通过FATEBoard 来查询当前训练的状态
fate-10000的 Jupyter Notebook 和 FATEBoard 地址分别是
10000.notebook.kubefate.net 
10000.fateboard.kubefate.net

在浏览器访问 FATE 集群的机器上配置相关的Host信息

# 在本地电脑上操作
sudo vim /etc/hosts
sudo -- sh -c "echo \"47.117.116.243 9999.notebook.kubefate.net\" >> /etc/hosts"
sudo -- sh -c "echo \"47.117.116.243 9999.fateboard.kubefate.net\" >> /etc/hosts"
sudo -- sh -c "echo \"47.117.116.243 10000.notebook.kubefate.net\" >> /etc/hosts"
sudo -- sh -c "echo \"47.117.116.243 10000.fateboard.kubefate.net\" >> /etc/hosts"

4个Dashboards

image.png


我是本地配置'假'域名转发通过公网访问阿里云服务器
所以会提示域名未备案
kubefate在本地启动或内网环境内 不经过公网环境 则可以访问


后记


截止目前 把K8S环境和KubeFate多方集群环境搭建起来了
后续文章介绍下 如何使用该KubeFate做联邦任务以及Fate开源框架实现原理及运行流程简介


相关实践学习
通过Ingress进行灰度发布
本场景您将运行一个简单的应用,部署一个新的应用用于新的发布,并通过Ingress能力实现灰度发布。
容器应用与集群管理
欢迎来到《容器应用与集群管理》课程,本课程是“云原生容器Clouder认证“系列中的第二阶段。课程将向您介绍与容器集群相关的概念和技术,这些概念和技术可以帮助您了解阿里云容器服务ACK/ACK Serverless的使用。同时,本课程也会向您介绍可以采取的工具、方法和可操作步骤,以帮助您了解如何基于容器服务ACK Serverless构建和管理企业级应用。 学习完本课程后,您将能够: 掌握容器集群、容器编排的基本概念 掌握Kubernetes的基础概念及核心思想 掌握阿里云容器服务ACK/ACK Serverless概念及使用方法 基于容器服务ACK Serverless搭建和管理企业级网站应用
相关文章
|
1月前
|
存储 Kubernetes 持续交付
k8s学习
【10月更文挑战第1天】
82 4
|
24天前
|
Kubernetes 监控 Cloud Native
|
1月前
|
Kubernetes 应用服务中间件 nginx
k8s学习--YAML资源清单文件托管服务nginx
k8s学习--YAML资源清单文件托管服务nginx
k8s学习--YAML资源清单文件托管服务nginx
|
1月前
|
Kubernetes 监控 测试技术
k8s学习--基于Ingress-nginx实现灰度发布系统
k8s学习--基于Ingress-nginx实现灰度发布系统
100 2
k8s学习--基于Ingress-nginx实现灰度发布系统
|
1月前
|
Prometheus Kubernetes 监控
k8s学习--kubernetes服务自动伸缩之水平伸缩(pod副本伸缩)HPA详细解释与案例应用
k8s学习--kubernetes服务自动伸缩之水平伸缩(pod副本伸缩)HPA详细解释与案例应用
k8s学习--kubernetes服务自动伸缩之水平伸缩(pod副本伸缩)HPA详细解释与案例应用
|
25天前
|
Kubernetes Linux 测试技术
|
1月前
|
存储 Kubernetes 调度
|
1月前
|
Kubernetes Linux 开发工具
centos7通过kubeadm安装k8s 1.27.1版本
centos7通过kubeadm安装k8s 1.27.1版本
|
1月前
|
Kubernetes API 调度
k8s学习--pod的所有状态详解(图例展示)
k8s学习--pod的所有状态详解(图例展示)
138 1
|
1月前
|
Kubernetes JavaScript 前端开发
k8s学习--chart包开发(创建chart包)
k8s学习--chart包开发(创建chart包)