AI 助理
文档备案控制台
开发者社区 云原生 文章 正文

kubeadm搭建高可用集群K8s

2022-09-08 501
版权
版权声明：
本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《 阿里云开发者社区用户服务协议》和 《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写 侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。
简介： kubeadm搭建高可用集群K8s

K8S环境规划：
Pod网段： 10.0.0.0/16
Service网段： 10.255.0.0/16

实战环境规划
操作系统：centos7.7
配置： 4G内存/6vCPU/100G硬盘
网络模式：桥接
image.png
image.png
一、初始化
1.配置静态 IP
配置master1的IP

vi /etc/sysconfig/network-scripts/ifcfg-ens33
TYPE=Ethernet
PROXY_METHOD=none
BROWSER_ONLY=no
BOOTPROTO=static
IPADDR=10.10.1.11
NETMASK=255.255.255.0
GATEWAY=10.10.1.1
DNS1=223.5.5.5
DEFROUTE=yes
IPV4_FAILURE_FATAL=no
IPV6INIT=yes
IPV6_AUTOCONF=yes
IPV6_DEFROUTE=yes
IPV6_FAILURE_FATAL=no
IPV6_ADDR_GEN_MODE=stable-privacy
NAME=ens33
DEVICE=ens33
ONBOOT=yes

配置master2的IP

vi /etc/sysconfig/network-scripts/ifcfg-ens33
TYPE=Ethernet
PROXY_METHOD=none
BROWSER_ONLY=no
BOOTPROTO=static
IPADDR=10.10.1.12
NETMASK=255.255.255.0
GATEWAY=10.10.1.1
DNS1=223.5.5.5
DEFROUTE=yes
IPV4_FAILURE_FATAL=no
IPV6INIT=yes
IPV6_AUTOCONF=yes
IPV6_DEFROUTE=yes
IPV6_FAILURE_FATAL=no
IPV6_ADDR_GEN_MODE=stable-privacy
NAME=ens33
DEVICE=ens33
ONBOOT=yes

配置master3的IP

vi /etc/sysconfig/network-scripts/ifcfg-ens33
TYPE=Ethernet
PROXY_METHOD=none
BROWSER_ONLY=no
BOOTPROTO=static
IPADDR=10.10.1.13
NETMASK=255.255.255.0
GATEWAY=10.10.1.1
DNS1=223.5.5.5
DEFROUTE=yes
IPV4_FAILURE_FATAL=no
IPV6INIT=yes
IPV6_AUTOCONF=yes
IPV6_DEFROUTE=yes
IPV6_FAILURE_FATAL=no
IPV6_ADDR_GEN_MODE=stable-privacy
NAME=ens33
DEVICE=ens33
ONBOOT=yes

配置node1的IP

vi /etc/sysconfig/network-scripts/ifcfg-ens33
TYPE=Ethernet
PROXY_METHOD=none
BROWSER_ONLY=no
BOOTPROTO=static
IPADDR=10.10.1.21
NETMASK=255.255.255.0
GATEWAY=10.10.1.1
DNS1=223.5.5.5
DEFROUTE=yes
IPV4_FAILURE_FATAL=no
IPV6INIT=yes
IPV6_AUTOCONF=yes
IPV6_DEFROUTE=yes
IPV6_FAILURE_FATAL=no
IPV6_ADDR_GEN_MODE=stable-privacy
NAME=ens33
DEVICE=ens33
ONBOOT=yes

2.配置主机名
配置master1和master2，master3，node1的本地hosts文件，都为以下

vi /etc/hosts
10.10.1.11 master1
10.10.1.12 master2
10.10.1.13 master3
10.10.1.21 node1

3.配置阿里云 repo 源，在 master1、master2、master3、node1、上操作：

备份基础 repo 源

mkdir /root/repo.bak
cd /etc/yum.repos.d/
mv * /root/repo.bak/

配置阿里云 repo 源

wget -O /etc/yum.repos.d/CentOS-Base.repo https://mirrors.aliyun.com/repo/Centos-7.repo
清理缓存并生成新的缓存
yum clean all
yum makecache

配置国内阿里云 docker 的 repo 源，node1上操作：

yum -y install yum-utils
yum-config-manager --add-repo http://mirrors.aliyun.com/docker-ce/linux/centos/docker-ce.repo

4.安装 docker-ce,node1、上操作：

yum install docker-ce docker-ce-cli containerd.io -y
systemctl start docker && systemctl enable docker.service && systemctl status docker

5.配置时间同步，在 master1、master2、master3、node1上操作：

安装 ntpdate 命令，

yum install ntpdate -y

跟网络源做同步

ntpdate cn.pool.ntp.org

把时间同步做成计划任务

crontab -e
* */1 * * * /usr/sbin/ntpdate cn.pool.ntp.org

重启 crond 服务

service crond restart

6.安装基础软件包,在 master1、master2、master3、node1上操作：

yum install -y yum-utils device-mapper-persistent-data lvm2 wget net-tools nfs-utils lrzsz gcc gcc-c++ make cmake libxml2-devel openssl-devel curl curl-devel unzip sudo ntp libaio-devel wget vim ncurses-devel autoconf automake zlib-devel python-devel epel-release openssh-server socat ipvsadm conntrack ntpdate telnet rsync

7.关闭所有主机防火墙
master1关闭防火墙，master2关闭防火墙，master3关闭防火墙，node1关闭防火墙，,每台服务器都要操作

systemctl stop firewalld ; systemctl disable firewalld
sed -i 's/SELINUX=enforcing/SELINUX=disabled/g' /etc/selinux/config

查看是否关闭成功

getenforce

显示 Disabled 说明 selinux 已经关闭

8.配置主机之间无密码登录
master1上操作，#生成 ssh 密钥对

ssh-keygen -t rsa  
#一路回车，不输入密码

把本地的 ssh 公钥文件安装到远程主机对应的账户

ssh-copy-id -i .ssh/id_rsa.pub master1
ssh-copy-id -i .ssh/id_rsa.pub master2
ssh-copy-id -i .ssh/id_rsa.pub master3
ssh-copy-id -i .ssh/id_rsa.pub node1

9.关闭交换分区 swap，在master1，master2，master3，node1上操作

临时关闭

swapoff -a

永久关闭：注释 swap 挂载，给 swap 这行开头加一下注释

vim /etc/fstab

/dev/mapper/centos-swap swap swap defaults 0 0

如果是克隆的虚拟机，需要删除 UUID

image.png

重启reboot

10.修改内核参数，在 master1、master2、master3、node1、上操作

加载 br_netfilter 模块（修改内核参数需要加载这个模块，否则报错）

modprobe br_netfilter

验证模块是否加载成功：

lsmod |grep br_netfilter

修改内核参数

cat > /etc/sysctl.d/k8s.conf <<EOF
net.bridge.bridge-nf-call-ip6tables = 1
net.bridge.bridge-nf-call-iptables = 1
net.ipv4.ip_forward = 1
EOF

使刚才修改的内核参数生效


sysctl -p /etc/sysctl.d/k8s.conf

11.开启 ipvs （如果不开启，端口转发就会用iptables，ipvs的转发比iptables效率高）在 master1、master2、master3、node1上操作：


vi /etc/sysconfig/modules/ipvs.modules
#!/bin/bash
ipvs_modules="ip_vs ip_vs_lc ip_vs_wlc ip_vs_rr ip_vs_wrr ip_vs_lblc ip_vs_lblcr ip_vs_dh ip_vs_sh ip_vs_nq ip_vs_sed ip_vs_ftp nf_conntrack"
for kernel_module in ${ipvs_modules}; do
 /sbin/modinfo -F filename ${kernel_module} > /dev/null 2>&1
 if [ 0 -eq 0 ]; then
 /sbin/modprobe ${kernel_module}
 fi
done
#权限755，在 master1、master2、master3、node1上操作：
chmod 755 /etc/sysconfig/modules/ipvs.modules && bash /etc/sysconfig/modules/ipvs.modules && lsmod | grep ip_vs

12.配置 docker 镜像加速器,node1上操作：

tee /etc/docker/daemon.json << 'EOF'
{
"registry-mirrors":["https://rsbud4vc.mirror.aliyuncs.com","https://registry.docker-cn.com","https://docker.mirrors.ustc.edu.cn","https://dockerhub.azk8s.cn","http://hub-mirror.c.163.com","http://qtid6917.mirror.aliyuncs.com","https://rncxm540.mirror.aliyuncs.com"],"exec-opts": ["native.cgroupdriver=systemd"]
}
EOF

systemctl daemon-reload   (重新加载配置)
systemctl restart docker
systemctl status docker

初始化完成

文章标签：
容器服务Kubernetes版
云防火墙
Perl
容器
网络安全
数据安全/隐私保护
Docker
关键词：
容器服务Kubernetes版集群
kubeadm容器服务Kubernetes版
容器服务Kubernetes版kubeadm
容器服务Kubernetes版高可用
高可用容器服务Kubernetes版
相关实践学习
深入解析Docker容器化技术
Docker是一个开源的应用容器引擎，让开发者可以打包他们的应用以及依赖包到一个可移植的容器中，然后发布到任何流行的Linux机器上，也可以实现虚拟化，容器是完全使用沙箱机制，相互之间不会有任何接口。Docker是世界领先的软件容器平台。开发人员利用Docker可以消除协作编码时“在我的机器上可正常工作”的问题。运维人员利用Docker可以在隔离容器中并行运行和管理应用，获得更好的计算密度。企业利用Docker可以构建敏捷的软件交付管道，以更快的速度、更高的安全性和可靠的信誉为Linux和Windows Server应用发布新功能。 在本套课程中，我们将全面的讲解Docker技术栈，从环境安装到容器、镜像操作以及生产环境如何部署开发的微服务应用。本课程由黑马程序员提供。 &nbsp; &nbsp; 相关的阿里云产品：容器服务 ACK 容器服务 Kubernetes 版（简称 ACK）提供高性能可伸缩的容器应用管理能力，支持企业级容器化应用的全生命周期管理。整合阿里云虚拟化、存储、网络和安全能力，打造云端最佳容器化应用运行环境。 了解产品详情: https://www.aliyun.com/product/kubernetes
亦涵爱吃肉c
目录
相关文章
八进智
|
3月前
|
人工智能 算法 调度
阿里云ACK托管集群Pro版共享GPU调度操作指南
本文介绍在阿里云ACK托管集群Pro版中，如何通过共享GPU调度实现显存与算力的精细化分配，涵盖前提条件、使用限制、节点池配置及任务部署全流程，提升GPU资源利用率，适用于AI训练与推理场景。
八进智
378 1
探索云世界
|
3月前
|
弹性计算 监控 调度
ACK One 注册集群云端节点池升级：IDC 集群一键接入云端 GPU 算力，接入效率提升 80%
ACK One注册集群节点池实现“一键接入”，免去手动编写脚本与GPU驱动安装，支持自动扩缩容与多场景调度，大幅提升K8s集群管理效率。
探索云世界
282 89
容器小师妹
|
8月前
|
资源调度 Kubernetes 调度
从单集群到多集群的快速无损转型：ACK One 多集群应用分发
ACK One 的多集群应用分发，可以最小成本地结合您已有的单集群 CD 系统，无需对原先应用资源 YAML 进行修改，即可快速构建成多集群的 CD 系统，并同时获得强大的多集群资源调度和分发的能力。
容器小师妹
369 9
阿里云云原生
|
8月前
|
资源调度 Kubernetes 调度
从单集群到多集群的快速无损转型：ACK One 多集群应用分发
本文介绍如何利用阿里云的分布式云容器平台ACK One的多集群应用分发功能，结合云效CD能力，快速将单集群CD系统升级为多集群CD系统。通过增加分发策略（PropagationPolicy）和差异化策略（OverridePolicy），并修改单集群kubeconfig为舰队kubeconfig，可实现无损改造。该方案具备多地域多集群智能资源调度、重调度及故障迁移等能力，帮助用户提升业务效率与可靠性。
阿里云云原生
366 8
蓝易云
|
10月前
|
存储 Kubernetes 监控
K8s集群实战：使用kubeadm和kuboard部署Kubernetes集群
总之，使用kubeadm和kuboard部署K8s集群就像回归童年一样，简单又有趣。不要忘记，技术是为人服务的，用K8s集群操控云端资源，我们不过是想在复杂的世界找寻简单。尽管部署过程可能遇到困难，但朝着简化复杂的目标，我们就能找到意义和乐趣。希望你也能利用这些工具，找到你的乐趣，满足你的需求。
蓝易云
978 33
蓝易云
|
10月前
|
Kubernetes 开发者 Docker
集群部署：使用Rancher部署Kubernetes集群。
以上就是使用 Rancher 部署 Kubernetes 集群的流程。使用 Rancher 和 Kubernetes，开发者可以受益于灵活性和可扩展性，允许他们在多种环境中运行多种应用，同时利用自动化工具使工作负载更加高效。
蓝易云
616 19
阿里云基础设施.
|
10月前
|
人工智能 分布式计算 调度
打破资源边界、告别资源浪费：ACK One 多集群Spark和AI作业调度
ACK One多集群Spark作业调度，可以帮助您在不影响集群中正在运行的在线业务的前提下，打破资源边界，根据各集群实际剩余资源来进行调度，最大化您多集群中闲置资源的利用率。
阿里云基础设施.
478 26
阿里云基础设施.
|
Prometheus Kubernetes 监控
OpenAI故障复盘 - 阿里云容器服务与可观测产品如何保障大规模K8s集群稳定性
聚焦近日OpenAI的大规模K8s集群故障，介绍阿里云容器服务与可观测团队在大规模K8s场景下我们的建设与沉淀。以及分享对类似故障问题的应对方案：包括在K8s和Prometheus的高可用架构设计方面、事前事后的稳定性保障体系方面。
阿里云基础设施.
824 60
技术小达人
|
10月前
|
Prometheus Kubernetes 监控
OpenAI故障复盘丨如何保障大规模K8s集群稳定性
OpenAI故障复盘丨如何保障大规模K8s集群稳定性
技术小达人
429 0
OpenAI故障复盘丨如何保障大规模K8s集群稳定性
阿里云基础设施.
|
缓存 容灾 网络协议
ACK One多集群网关：实现高效容灾方案
ACK One多集群网关可以帮助您快速构建同城跨AZ多活容灾系统、混合云同城跨AZ多活容灾系统，以及异地容灾系统。
阿里云基础设施.
415 19

热门文章

最新文章

  • 1
    阿里云容器服务ACK云原生AI套件测评
  • 2
    使用阿里云容器服务Kubernetes实现蓝绿发布功能
  • 3
    技术赋能无止境 Kubernetes Meetup 北京站完美闭幕
  • 4
    Kubernetes Meetup深秋成都行 Ghostcloud精灵云获好评如云
  • 5
    浅入kubernetes(5) 尝试kubeadm
  • 6
    【0831 - 0904直播导视 | PPT 下载】带你玩转ECS系列直播来啦、人人都能玩儿转AI、5步上手K8s
  • 7
    在k8S中，使用kubectl logs无法查看日志是什么原因，如何让其能够查看?
  • 8
    【K8S系列】深入解析Job(上))
  • 9
    【云驻共创】华为云云原生之Kubernetes网络架构原理深度剖析（上）
  • 10
    如何在 K8S 中手动扩容云盘数据卷？
  • 1
    智联招聘 × 阿里云 ACK One：云端弹性算力颠覆传统 IDC 架构，打造春招技术新范式
    444
  • 2
    KubeRay on ACK：更高效、更安全
    551
  • 3
    从单集群到多集群的快速无损转型：ACK One 多集群应用分发
    366
  • 4
    从单集群到多集群的快速无损转型：ACK One 多集群应用分发
    369
  • 5
    ACK AI Profiling：从黑箱到透明的问题剖析
    577
  • 6
    Qwen3 大模型在阿里云容器服务上的极简部署教程
    1756
  • 7
    突破地域限制，实现算力无限供给 —阿里云ACK One注册集群开启多地域Serverless算力调度
    370
  • 8
    ACK Gateway with Inference Extension：优化多机分布式大模型推理服务实践
    533
  • 9
    突破地域限制，实现算力无限供给 -- 阿里云ACK One注册集群开启多地域Serverless算力调度
    293
  • 10
    容器数据保护：基于容器服务 Kubernetes 版(ACK)备份中心实现K8s存储卷一键备份与恢复
    441

    • 相关课程

    更多
  • 如何使用Kubernetes监控定位慢调用
  • 使用Kubernetes监控发现资源使用，流量分布不均匀的问题
  • 如何发现Kubernetes中服务和工作负载的异常
  • 企业级运维之云原生与Kubernetes实战课程
  • 阿里云 EMR on ACK 实战
  • 阿里云K8S微服务部署案例

    • 相关电子书

    更多
  • ACK集群类型选择最佳实践
  • 容器服务重磅升级，打造高效安全、智能无界新平台
  • 《拥抱容器存储，使用阿里云容器服务 ACK +文件存储 NAS 构建现代化企业应用》

    • 推荐镜像

    更多
  • kubernetes
    • 下一篇
    附部署代码｜云数据库RDS 全托管 Supabase服务：小白轻松搞定开发AI应用