前言：
在此前已经部署了单master节点，但，出于集群稳定性的考虑，需要将其扩展为多master。原单master部署链接：kubernetes二进制安装教程单master_zsk_john的博客-CSDN博客
计划是在此基础上扩展，其中的细节还是比较多的，单master和多master的集群规划计划如下：
单master集群规划：
多master集群规划：
规划思路：
增加一台新的服务器，安装master节点所必须的三个组件：kube-apiserver，kube-controller-manager，kube-proxy，etcd由于已经是三个节点了，符合集群的奇数规定，因此，新服务器上不安装etcd，负载均衡软件使用的是nginx和keepalived，负载均衡不能安装在master节点上，因为会端口占用，因此，在两个work节点安装的。docker环境是不管哪个节点都必须安装的，kubelet是节点管理服务，因此，master和work节点都安装。
在实际的生产中，当然负载均衡应该是单独的部署在新服务器上。因服务器不够多，也是实验性质，因此，负载均衡安装在了两个work节点上。
扩展部署master节点步骤：
一，新服务器11上面安装ntp时间服务器，与其他服务器做免密配置，设定主机名，四台服务器的hosts内容如下；
[root@centos1 nginx-offline]# cat /etc/hosts 127.0.0.1 localhost localhost.localdomain localhost4 localhost4.localdomain4 ::1 localhost localhost.localdomain localhost6 localhost6.localdomain6 192.168.217.16 master k8s-master 192.168.217.17 slave1 k8s-node1 192.168.217.18 slave2 k8s-node2 192.168.217.11 master2 k8s-master2
hosts文件通过scp命令同步到所有节点。
新服务上安装docker 环境，可简单一点，如果前面是使用二进制安装的docker，在master服务器也就是16服务器上面执行命令：
scp /usr/bin/{docker,dockerd,docker-init,docker-proxy,ctr,runc,containerd,containerd-shim} 192.168.217.11:/usr/bin/ scp /etc/docker/daemon.json master2:/etc/docker scp /usr/lib/systemd/system/docker.service 192.168.217.11:/usr/lib/systemd/system/
在11服务器上执行命令，启动docker服务并查看docker状态是否正常：
systemctl enable docker && systemctl start docker && systemctl status docker
二，在Master2创建etcd证书目录：
mkdir -p /opt/etcd/ssl
在master节点，16服务器上，直接拷贝原有的master节点的现有文件到新服务器上，并做相关修改即可，命令如下：
scp -r /opt/kubernetes root@192.168.217.11:/opt scp -r /opt/cni/ root@192.168.217.11:/opt scp -r /opt/etcd/ssl root@192.168.217.11:/opt/etcd scp /usr/lib/systemd/system/kube* root@192.168.217.11:/usr/lib/systemd/system scp /usr/bin/kubectl root@192.168.217.11:/usr/bin
三，在master2节点，11服务器上，删除kubelet证书和kubeconfig文件：
删除的原因是kubelet服务会在启动的时候新生成这些文件，如果是旧的文件，将不会启动成功。
rm -f /opt/kubernetes/cfg/kubelet.kubeconfig rm -f /opt/kubernetes/ssl/kubelet*
四，仍然在master2节点， 11服务器上，修改配置文件（是三个配置文件，不要遗漏了哦）：
修改apiserver、kubelet和kube-proxy配置文件为本地IP： vim /opt/kubernetes/cfg/kube-apiserver.conf ... --bind-address=192.168.217.11 \ --advertise-address=192.168.217.11 \ ... vim /opt/kubernetes/cfg/kubelet.conf --hostname-override=k8s-master2 vi /opt/kubernetes/cfg/kube-proxy-config.yml hostnameOverride: k8s-master2
五，在11服务器上启动相关服务：
systemctl daemon-reload systemctl start kube-apiserver systemctl start kube-controller-manager systemctl start kube-scheduler systemctl start kubelet systemctl start kube-proxy systemctl enable kube-apiserver systemctl enable kube-controller-manager systemctl enable kube-scheduler systemctl enable kubelet systemctl enable kube-proxy
六，检测是否正常：
kubectl get cs NAME STATUS MESSAGE ERROR scheduler Healthy ok controller-manager Healthy ok etcd-1 Healthy {"health":"true"} etcd-2 Healthy {"health":"true"} etcd-0 Healthy {"health":"true"}
此时应该可以看到新的node节点了：
[root@centos1 nginx-offline]# k get no NAME STATUS ROLES AGE VERSION k8s-master Ready <none> 9d v1.18.3 k8s-master2 Ready <none> 172m v1.18.3 k8s-node1 Ready <none> 8d v1.18.3 k8s-node2 Ready <none> 8d v1.18.3
