使用MiniKube部署联邦学习Fate的详细过程-上篇(下)

本文涉及的产品
容器服务 Serverless 版 ACK Serverless,952元额度 多规格
容器服务 Serverless 版 ACK Serverless,317元额度 多规格
简介: 使用MiniKube部署联邦学习Fate的详细过程-上篇(下)

启动minikube


systemctl enable docker.service
systemctl enable kubelet.service
minikube start --vm-driver=none
# 带有滚动日志
minikube start --vm-driver=none --alsologtostderr -v=8

image.png


原因是docker的Cgroup Driver和kubelet的Cgroup Driver不一致

两种解决方法

  • 修改docker的Cgroup Driver
vi /etc/docker/daemon.json
# 添加
"exec-opts": ["native.cgroupdriver=systemd"]
systemctl daemon-reload
systemctl restart docker
  • 修改kubelet的Cgroup Driver
vi /etc/systemd/system/kubelet.service.d/10-kubeadm.conf
# 增加
--cgroup-driver=cgroupfs
systemctl daemon-reload
systemctl restart kubelet

再次启动kubenate

image.png


两种处理方法

  • 关闭swap
swapoff  -a
sed -ri 's/.*swap.*/#&/' /etc/fstab
  • 通过参数忽略swap报错
# 在kubeadm初始化时增加--ignore-preflight-errors=Swap参数,注意Swap中S要大写
kubeadm init --ignore-preflight-errors=Swap
# 另外还要设置/etc/sysconfig/kubelet参数
sed -i 's/KUBELET_EXTRA_ARGS=/KUBELET_EXTRA_ARGS="--fail-swap-on=false"/' /etc/sysconfig/kubelet
在以往老版本中是必须要关闭swap的,但是现在新版又多了一个选择,可以通过参数指定,忽略swap报错

再次启动

image.png

yum install -y socat

再次启动

image.png

echo 1 > /proc/sys/net/bridge/bridge-nf-call-iptables
echo 1 > /proc/sys/net/bridge/bridge-nf-call-ip6tables

终于启动成功了 留下了幸福的眼泪

image.png

查看启动状态

minikube status

image.png

安装KuteFate


上传KuteFate包到虚拟机上

cd /home/fate
rz
tar -xzf ./kubefate-k8s-v1.3.0-a.tar.gz

image.png


启动KuteFate


cd /home/fate
# 停止启动
kubectl delete -f ./rbac-config.yaml
kubectl apply -f ./rbac-config.yaml

image.png


image.png


说明没有起来

查看所有pod

kubectl get pods -n kube-fate -o wide

image.png


查看某一个pod日志

kubectl describe pod kubefate-64d57cb855-9x89q -n kube-fate

image.png


默认调度程序0/1节点可用:1个节点有pod不能忍受的污点

节点是不可调度

# kubernetes出于安全考虑默认情况下无法在master节点上部署pod
kubectl get no -o yaml | grep taint -A 5

image.png


设置污点

kubectl taint nodes --all node-role.kubernetes.io/master=:NoSchedule --overwrite=true

image.png

节点总是会有一个污点node.kubernetes.io/not-ready该污点表示如果pod是not ready状态则不会调度该pod

查看节点信息

kubectl get nodes

image.png




忙了一天了 有点累了 这个问题留到下篇文章再处理吧


后记



接下来会介绍
1、节点和pod的污点/容忍这块如何处理
2、kubefate k8s启动
3、kubefate 验证启动效果(跑一个联邦学习模型训练demo)
4、linux服务器某一个分区磁盘空间不够的情况下如何扩容
相关实践学习
通过Ingress进行灰度发布
本场景您将运行一个简单的应用,部署一个新的应用用于新的发布,并通过Ingress能力实现灰度发布。
容器应用与集群管理
欢迎来到《容器应用与集群管理》课程,本课程是“云原生容器Clouder认证“系列中的第二阶段。课程将向您介绍与容器集群相关的概念和技术,这些概念和技术可以帮助您了解阿里云容器服务ACK/ACK Serverless的使用。同时,本课程也会向您介绍可以采取的工具、方法和可操作步骤,以帮助您了解如何基于容器服务ACK Serverless构建和管理企业级应用。 学习完本课程后,您将能够: 掌握容器集群、容器编排的基本概念 掌握Kubernetes的基础概念及核心思想 掌握阿里云容器服务ACK/ACK Serverless概念及使用方法 基于容器服务ACK Serverless搭建和管理企业级网站应用
相关文章
|
机器学习/深度学习 人工智能 安全
隐私计算FATE-核心概念与单机部署
隐私计算与传统数据使用方式相比,它不需要聚合各方数据搭建数据仓库,联邦学习在联合的过程中,多方机构之间的数据是不会进行共享的,实现数据的可用不可见;本文主要分享隐私计算平台Fate的相关基本概念,以及基于Docker的单机部署。
905 0
隐私计算FATE-核心概念与单机部署
|
Web App开发 测试技术 调度
浩若烟海事半功倍|利用Docker容器技术构建自动化分布式web测试集群Selenium Grid
“世界上有那么多城市,城市里有那么多的酒馆,可她,却偏偏走进了我的.....”,这是电影《卡萨布拉卡》中的一句著名独白,投射到现实生活中,与之类似的情况不胜枚举,这世界上有那么多的系统,系统中有那么多的浏览器,在只有一台测试机的前提下,难道我们只能排队一个一个地做兼容性测试吗?有没有效率更高的方法呢?为此我们提出一个更高效的解决方案:使用Docker+Selenium Grid。
浩若烟海事半功倍|利用Docker容器技术构建自动化分布式web测试集群Selenium Grid
|
XML JSON Kubernetes
【云原生Kubernetes系列第七篇】一文掌握k8s之YAML文件(少攀谈,多沉潜,清醒而独立)(一)
【云原生Kubernetes系列第七篇】一文掌握k8s之YAML文件(少攀谈,多沉潜,清醒而独立)(一)
254 0
|
JSON Kubernetes Cloud Native
【云原生Kubernetes系列第七篇】一文掌握k8s之YAML文件(少攀谈,多沉潜,清醒而独立)(二)
【云原生Kubernetes系列第七篇】一文掌握k8s之YAML文件(少攀谈,多沉潜,清醒而独立)(二)
310 0
【云原生Kubernetes系列第七篇】一文掌握k8s之YAML文件(少攀谈,多沉潜,清醒而独立)(二)
|
前端开发 Java 关系型数据库
【Docker】基于实例项目的集群部署(二)部署项目实例介绍与搭建 | 前后端分离项目
【Docker】基于实例项目的集群部署(二)部署项目实例介绍与搭建 | 前后端分离项目
175 0
【Docker】基于实例项目的集群部署(二)部署项目实例介绍与搭建 | 前后端分离项目
|
Kubernetes 网络安全 Docker
使用MiniKube部署联邦学习Fate的详细过程-上篇(中)
使用MiniKube部署联邦学习Fate的详细过程-上篇(中)
189 0
使用MiniKube部署联邦学习Fate的详细过程-上篇(中)
|
缓存 JavaScript 前端开发
如何使用本地 Docker 更好地开发?我们总结了这八条经验
如果你像我们一样需要运行许多不同的应用程序,那么将开发环境容器化可以极大地提高工作效率。这里有一些可以优化本地 Docker 环境的技巧。
308 0
如何使用本地 Docker 更好地开发?我们总结了这八条经验
|
Kubernetes 容器
Kubernetes运行字节联邦学习开源框架KubeFate1.5.4版本-中篇(下)
Kubernetes运行字节联邦学习开源框架KubeFate1.5.4版本-中篇(下)
189 0
Kubernetes运行字节联邦学习开源框架KubeFate1.5.4版本-中篇(下)
|
Kubernetes Docker 容器
Kubernetes运行字节联邦学习开源框架KubeFate1.5.3版本-中篇(上)
Kubernetes运行字节联邦学习开源框架KubeFate1.5.3版本-中篇(上)
193 0
Kubernetes运行字节联邦学习开源框架KubeFate1.5.3版本-中篇(上)