Kubernetes v1.10+Keepalived HA集群墙内部署实践

简介: 众所周知,K8S安装难点在于镜像下载。查询网上许多关于K8S安装部署的文章,作者要么是将镜像下载使用的工作交给了读者完成,要么是放在共享云盘中,由读者下载后导入使用。都知道,如果你不是该云盘提供商的会员,镜像下载速度堪比蜗牛。

众所周知,K8S安装难点在于镜像下载。查询网上许多关于K8S安装部署的文章,作者要么是将镜像下载使用的工作交给了读者完成,要么是放在共享云盘中,由读者下载后导入使用。都知道,如果你不是该云盘提供商的会员,镜像下载速度堪比蜗牛。总之,三个字:”不方便“。基于最大化便利刚接触K8S的同行快速上手实践的目的,在参阅了众多同行关于K8S部署的文章,并经过反复实验验证后,将本人的实验成果在这里分享,希望可以帮助有需要的朋友。由于时间仓促,一些对本文撰写有价值的文章没有仔细考证作者和出处,在本文末尾的参阅文章中可能没有注明。如你发现本文中一些内容的原创属于你本人,请邮件联系本人处理。并在此感谢对本文创作产生帮助的作者。谢谢!

本文K8S集群高可用方案采用Keepalived。


实验环境

  1. 3台centos 1611版本虚拟机,mini安装。Linux localhost 3.10.0-514.el7.x86_64 #1 SMP Tue Nov 22 16:42:41 UTC 2016 x86_64 x86_64 x86_64 GNU/Linux
  2. docker version

    Client:
    Version: 1.13.1
    API version: 1.26
    Package version:
    Go version: go1.8.3
    Git commit: 774336d/1.13.1
    Built: Wed Mar 7 17:06:16 2018
    OS/Arch: linux/amd64
    Server:
    Version: 1.13.1
    API version: 1.26 (minimum version 1.12)
    Package version:
    Go version: go1.8.3
    Git commit: 774336d/1.13.1
    Built: Wed Mar 7 17:06:16 2018
    OS/Arch: linux/amd64
    Experimental: false

  3. etcd Version: 3.1.13
  4. kubeadm,kubelet,kubectl,kube-cni版本如下:

    -rw-r—r— 1 root root 18176678 Mar 30 00:08 5844c6be68e95a741f1ad403e5d4f6962044be060bc6df9614c2547fdbf91ae5-kubelet-1.10.0-0.x86_64.rpm
    -rw-r—r— 1 root root 17767206 Mar 30 00:07 8b0cb6654a2f6d014555c6c85148a5adc5918de937f608a30b0c0ae955d8abce-kubeadm-1.10.0-0.x86_64.rpm
    -rw-r—r— 1 root root 7945458 Mar 30 00:07 9ff2e28300e012e2b692e1d4445786f0bed0fd5c13ef650d61369097bfdd0519-kubectl-1.10.0-0.x86_64.rpm
    -rw-r—r— 1 root root 9008838 Mar 5 21:56 fe33057ffe95bfae65e2f269e1b05e99308853176e24a4d027bc082b471a07c0-kubernetes-cni-0.6.0-0.x86_64.rpm

  5. k8s网络组件:flannel:v0.10.0-amd64
  6. 实验网络规划如下:

    host1 172.18.0.154/22
    host2 172.18.0.155/22
    host3 172.18.0.156/22
    VIP 172.18.0.192/22

  7. 文章视频链接
  8. 文章所用脚本

安装步骤

  1. 在3台主机中执行基础环境配置脚本 base-env-config.sh
  2. 在主机1执行脚本 host1-base-env.sh
  3. 在主机2执行脚本 host2-base-env.sh
  4. 在主机3执行脚本 host3-base-env.sh
  5. 在host1主机执行如下命令
    [root@host1 ~]# scp -r /etc/etcd/ssl root@172.18.0.155:/etc/etcd/
    [root@host1 ~]# scp -r /etc/etcd/ssl root@172.18.0.156:/etc/etcd/
    
  6. 在3台主机中分别执行脚本 etcd.sh
  7. 查看keepalived状态
    systemctl status keepalived
    
  8. 查看etcd运行状态,在host1,host2,host3分别执行如下命令:[参数名称前面是两个’-‘,注意]
    etcdctl --endpoints=https://${NODE_IP}:2379 --ca-file=/etc/etcd/ssl/ca.pem --cert-file=/etc/etcd/ssl/etcd.pem --key-file=/etc/etcd/ssl/etcd-key.pem cluster-health
    
  9. 在3台主机上安装kubeadm,kubelet,kubctl,docker
    yum install kubelet kubeadm kubectl kubernetes-cni docker -y
    
  10. 在3台主机禁用docker启动项参数关于SELinux的设置[参数名称前面是两个’-‘,注意]
    sed -i 's/--selinux-enabled/--selinux-enabled=false/g' /etc/sysconfig/docker
    
  11. 在3台主机的kubelet配置文件中添加如下参数[参数名称前面是两个’-‘,注意]
    sed -i '9a\Environment="KUBELET_EXTRA_ARGS=--pod-infra-container-image=registry.cn-hangzhou.aliyuncs.com/osoulmate/pause-amd64:3.0"' /etc/systemd/system/kubelet.service.d/10-kubeadm.conf
    
  12. 在3台主机添加docker加速器配置(可选步骤)
    cat <<EOF > /etc/docker/daemon.json
    {
    "registry-mirrors": ["https://yourself.mirror.aliyuncs.com"] #请自行申请阿里云账号获取镜像加速链接
    }
    EOF
    
  13. 在3台主机分别执行以下命令
    systemctl daemon-reload
    systemctl enable docker && systemctl restart docker
    systemctl enable kubelet && systemctl restart kubelet
    
  14. 在3台主机中分别执行kubeadmconfig.sh生成配置文件config.yaml
  15. 在host1主机中首先执行kubeadm初始化操作, 命令如下:
    kubeadm init --config config.yaml
    
  16. 在host1主机中执行初始化后操作
    mkdir -p $HOME/.kube
    sudo cp -i /etc/kubernetes/admin.conf $HOME/.kube/config
    sudo chown $(id -u):$(id -g) $HOME/.kube/config
    
  17. 将主机host1中kubeadm初始化后生成的证书和密钥文件拷贝至host2,host3相应目录下
    scp -r /etc/kubernetes/pki root@172.18.0.155:/etc/kubernetes/
    scp -r /etc/kubernetes/pki root@172.18.0.156:/etc/kubernetes/
    
  18. 为主机host1安装网络组件 podnetwork【这里选用flannel】
    kubectl apply -f https://raw.githubusercontent.com/coreos/flannel/master/Documentation/kube-flannel.yml
    systemctl stop kubelet #由于kubelet会调用docker到默认url【谷歌】下载镜像,所以先禁用
    systemctl restart docker
    docker pull registry.cn-hangzhou.aliyuncs.com/osoulmate/flannel:v0.10.0-amd64
    systemctl start kubelet
    
  19. 在host2,host3上执行如下命令
    kubeadm init --config config.yaml
    mkdir -p $HOME/.kube
    sudo cp -i /etc/kubernetes/admin.conf $HOME/.kube/config
    sudo chown $(id -u):$(id -g) $HOME/.kube/config
    kubectl apply -f https://raw.githubusercontent.com/coreos/flannel/master/Documentation/kube-flannel.yml
    systemctl stop kubelet #如果提示需要systemctl daemon-reload,则将守护进程重启后再停止kubelet服务。
    systemctl restart docker
    docker pull registry.cn-hangzhou.aliyuncs.com/osoulmate/flannel:v0.10.0-amd64
    systemctl start kubelet
    
  20. 查看集群各节点状态【这里仅在host1主机查看结果】
    [root@host1 ~]# kubectl get nodes
    NAME STATUS ROLES AGE VERSION
    host1 Ready master 5m v1.10.0
    host2 Ready master 1m v1.10.0
    host3 Ready master 1m v1.10.0
    [root@host1 ~]# kubectl get po --all-namespaces
    NAMESPACE NAME READY STATUS RESTARTS AGE
    kube-system coredns-7997f8864c-k9dcx 1/1 Running 0 5m
    kube-system coredns-7997f8864c-sv9rv 1/1 Running 0 5m
    kube-system kube-apiserver-host1 1/1 Running 1 4m
    kube-system kube-apiserver-host2 1/1 Running 0 1m
    kube-system kube-apiserver-host3 1/1 Running 0 1m
    kube-system kube-controller-manager-host1 1/1 Running 1 4m
    kube-system kube-controller-manager-host2 1/1 Running 0 1m
    kube-system kube-controller-manager-host3 1/1 Running 0 1m
    kube-system kube-flannel-ds-88tz5 1/1 Running 0 1m
    kube-system kube-flannel-ds-g9dpj 1/1 Running 0 2m
    kube-system kube-flannel-ds-h58tp 1/1 Running 0 1m
    kube-system kube-proxy-6fsvq 1/1 Running 1 5m
    kube-system kube-proxy-g8xnb 1/1 Running 1 1m
    kube-system kube-proxy-gmqv9 1/1 Running 1 1m
    kube-system kube-scheduler-host1 1/1 Running 1 5m
    kube-system kube-scheduler-host2 1/1 Running 1 1m
    kube-system kube-scheduler-host3 1/1 Running 0 1m
    
  21. 高可用验证, 将host1关机,在host3上执行,在host2上观察keepalived是否已切换为主状态。
    while true; do sleep 1; kubectl get node;date; done
    

Q&A:

  1. 为什么在kubeadm init时出现kubelet 版本不支持系统中安装的etcd的报错?
    因为本文k8s管理组件kubeadm,kubectl,kubelet的安装源为阿里云源,阿里云源会和最新k8s版本保持同步。如出现版本不兼容的问题,请按照报错提示安装相应版本的etcd或kubelet,kubeadm,kubectl组件。
  2. 为什么安装时间同步软件chrony?
    由于集群采用keepalived检测集群各节点的活动状态,如不能保证各节点时间同步,会导致心跳异常,进而影响集群的故障倒换。当然,你也可以采用其它时间同步措施,只要能保证各节点之间的时间同步即可。
  3. 步骤18中为什么用kubectl应用了网络组件后还要用docker pull从阿里云拉取镜像呢?
    kubectl应用了flannel组件后默认会从谷歌镜像库中拉取镜像,所以要先停止kubelet服务,使其停止对docker的调用,在我们手动从阿里云拉取镜像后,再重启kubelet服务,k8s相关服务会自动识别镜像。在host2,host3主机kubeadm init完成后可能还会出现其它镜像包未拉取完成的情况,这时也可以采用这种方法:即停止kubelet服务,重启docker服务,手动拉取镜像【确定需要拉取那些镜像可先在主机上使用 kubectl get po —all-namespaces命令获取各主机镜像的当前状态。如READY列显示0/1表示镜像仍在拉取/创建中,可使用你下载的k8s压缩包中名称为阿里云镜像包的txt文档中的相应命令】,之后再启动kubelet服务。除flannel镜像外,理论上所有镜像在kubeadm init中都会从阿里云镜像库中拉取,所以,如果host2,host3在kubeadm init时有镜像没有拉取完成,可等待1-2分钟,如还未成功,直接重启kubelet服务即可。
本文转自kubernetes中文社区-Kubernetes v1.10+Keepalived HA集群墙内部署实践
相关实践学习
通过Ingress进行灰度发布
本场景您将运行一个简单的应用,部署一个新的应用用于新的发布,并通过Ingress能力实现灰度发布。
容器应用与集群管理
欢迎来到《容器应用与集群管理》课程,本课程是“云原生容器Clouder认证“系列中的第二阶段。课程将向您介绍与容器集群相关的概念和技术,这些概念和技术可以帮助您了解阿里云容器服务ACK/ACK Serverless的使用。同时,本课程也会向您介绍可以采取的工具、方法和可操作步骤,以帮助您了解如何基于容器服务ACK Serverless构建和管理企业级应用。 学习完本课程后,您将能够: 掌握容器集群、容器编排的基本概念 掌握Kubernetes的基础概念及核心思想 掌握阿里云容器服务ACK/ACK Serverless概念及使用方法 基于容器服务ACK Serverless搭建和管理企业级网站应用
相关文章
|
5天前
|
存储 Kubernetes 对象存储
部署DeepSeek但GPU不足,ACK One注册集群助力解决IDC GPU资源不足
借助阿里云ACK One注册集群,充分利用阿里云强大ACS GPU算力,实现DeepSeek推理模型高效部署。
|
10天前
|
存储 Kubernetes 测试技术
企业级LLM推理部署新范式:基于ACK的DeepSeek蒸馏模型生产环境落地指南
本教程演示如何在ACK中使用vLLM框架快速部署DeepSeek R1模型推理服务。
|
11天前
|
存储 人工智能 弹性计算
NVIDIA NIM on ACK:优化生成式AI模型的部署与管理
本文结合NVIDIA NIM和阿里云容器服务,提出了基于ACK的完整服务化管理方案,用于优化生成式AI模型的部署和管理。
|
5天前
|
人工智能 Kubernetes 异构计算
大道至简-基于ACK的Deepseek满血版分布式推理部署实战
本教程演示如何在ACK中多机分布式部署DeepSeek R1满血版。
|
1月前
|
缓存 容灾 网络协议
ACK One多集群网关:实现高效容灾方案
ACK One多集群网关可以帮助您快速构建同城跨AZ多活容灾系统、混合云同城跨AZ多活容灾系统,以及异地容灾系统。
|
2月前
|
Kubernetes Ubuntu 网络安全
ubuntu使用kubeadm搭建k8s集群
通过以上步骤,您可以在 Ubuntu 系统上使用 kubeadm 成功搭建一个 Kubernetes 集群。本文详细介绍了从环境准备、安装 Kubernetes 组件、初始化集群到管理和使用集群的完整过程,希望对您有所帮助。在实际应用中,您可以根据具体需求调整配置,进一步优化集群性能和安全性。
148 12
|
2月前
|
Prometheus Kubernetes 监控
OpenAI故障复盘 - 阿里云容器服务与可观测产品如何保障大规模K8s集群稳定性
聚焦近日OpenAI的大规模K8s集群故障,介绍阿里云容器服务与可观测团队在大规模K8s场景下我们的建设与沉淀。以及分享对类似故障问题的应对方案:包括在K8s和Prometheus的高可用架构设计方面、事前事后的稳定性保障体系方面。
|
2月前
|
存储 Kubernetes 容器
K8S部署nexus
该配置文件定义了Nexus 3的Kubernetes部署,包括PersistentVolumeClaim、Deployment和服务。PVC请求20Gi存储,使用NFS存储类。Deployment配置了一个Nexus 3容器,内存限制为6G,CPU为1000m,并挂载数据卷。Service类型为NodePort,通过30520端口对外提供服务。所有资源位于`nexus`命名空间中。
|
2月前
|
Kubernetes 网络协议 应用服务中间件
Kubernetes Ingress:灵活的集群外部网络访问的利器
《Kubernetes Ingress:集群外部访问的利器-打造灵活的集群网络》介绍了如何通过Ingress实现Kubernetes集群的外部访问。前提条件是已拥有Kubernetes集群并安装了kubectl工具。文章详细讲解了Ingress的基本组成(Ingress Controller和资源对象),选择合适的版本,以及具体的安装步骤,如下载配置文件、部署Nginx Ingress Controller等。此外,还提供了常见问题的解决方案,例如镜像下载失败的应对措施。最后,通过部署示例应用展示了Ingress的实际使用方法。
87 2
|
2月前
|
存储 Kubernetes 关系型数据库
阿里云ACK备份中心,K8s集群业务应用数据的一站式灾备方案
本文源自2024云栖大会苏雅诗的演讲,探讨了K8s集群业务为何需要灾备及其重要性。文中强调了集群与业务高可用配置对稳定性的重要性,并指出人为误操作等风险,建议实施周期性和特定情况下的灾备措施。针对容器化业务,提出了灾备的新特性与需求,包括工作负载为核心、云资源信息的备份,以及有状态应用的数据保护。介绍了ACK推出的备份中心解决方案,支持命名空间、标签、资源类型等维度的备份,并具备存储卷数据保护功能,能够满足GitOps流程企业的特定需求。此外,还详细描述了备份中心的使用流程、控制台展示、灾备难点及解决方案等内容,展示了备份中心如何有效应对K8s集群资源和存储卷数据的灾备挑战。

热门文章

最新文章