AI 助理
备案控制台
开发者社区 云原生 文章 正文

kubeadm搭建高可用集群K8s

2022-09-08 353
版权
版权声明：
本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《 阿里云开发者社区用户服务协议》和 《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写 侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。
本文涉及的产品
云防火墙，500元 1000GB
简介： kubeadm搭建高可用集群K8s

K8S环境规划：
Pod网段： 10.0.0.0/16
Service网段： 10.255.0.0/16

实战环境规划
操作系统：centos7.7
配置： 4G内存/6vCPU/100G硬盘
网络模式：桥接
image.png
image.png
一、初始化
1.配置静态 IP
配置master1的IP

vi /etc/sysconfig/network-scripts/ifcfg-ens33
TYPE=Ethernet
PROXY_METHOD=none
BROWSER_ONLY=no
BOOTPROTO=static
IPADDR=10.10.1.11
NETMASK=255.255.255.0
GATEWAY=10.10.1.1
DNS1=223.5.5.5
DEFROUTE=yes
IPV4_FAILURE_FATAL=no
IPV6INIT=yes
IPV6_AUTOCONF=yes
IPV6_DEFROUTE=yes
IPV6_FAILURE_FATAL=no
IPV6_ADDR_GEN_MODE=stable-privacy
NAME=ens33
DEVICE=ens33
ONBOOT=yes

配置master2的IP

vi /etc/sysconfig/network-scripts/ifcfg-ens33
TYPE=Ethernet
PROXY_METHOD=none
BROWSER_ONLY=no
BOOTPROTO=static
IPADDR=10.10.1.12
NETMASK=255.255.255.0
GATEWAY=10.10.1.1
DNS1=223.5.5.5
DEFROUTE=yes
IPV4_FAILURE_FATAL=no
IPV6INIT=yes
IPV6_AUTOCONF=yes
IPV6_DEFROUTE=yes
IPV6_FAILURE_FATAL=no
IPV6_ADDR_GEN_MODE=stable-privacy
NAME=ens33
DEVICE=ens33
ONBOOT=yes

配置master3的IP

vi /etc/sysconfig/network-scripts/ifcfg-ens33
TYPE=Ethernet
PROXY_METHOD=none
BROWSER_ONLY=no
BOOTPROTO=static
IPADDR=10.10.1.13
NETMASK=255.255.255.0
GATEWAY=10.10.1.1
DNS1=223.5.5.5
DEFROUTE=yes
IPV4_FAILURE_FATAL=no
IPV6INIT=yes
IPV6_AUTOCONF=yes
IPV6_DEFROUTE=yes
IPV6_FAILURE_FATAL=no
IPV6_ADDR_GEN_MODE=stable-privacy
NAME=ens33
DEVICE=ens33
ONBOOT=yes

配置node1的IP

vi /etc/sysconfig/network-scripts/ifcfg-ens33
TYPE=Ethernet
PROXY_METHOD=none
BROWSER_ONLY=no
BOOTPROTO=static
IPADDR=10.10.1.21
NETMASK=255.255.255.0
GATEWAY=10.10.1.1
DNS1=223.5.5.5
DEFROUTE=yes
IPV4_FAILURE_FATAL=no
IPV6INIT=yes
IPV6_AUTOCONF=yes
IPV6_DEFROUTE=yes
IPV6_FAILURE_FATAL=no
IPV6_ADDR_GEN_MODE=stable-privacy
NAME=ens33
DEVICE=ens33
ONBOOT=yes

2.配置主机名
配置master1和master2，master3，node1的本地hosts文件，都为以下

vi /etc/hosts
10.10.1.11 master1
10.10.1.12 master2
10.10.1.13 master3
10.10.1.21 node1

3.配置阿里云 repo 源，在 master1、master2、master3、node1、上操作：

备份基础 repo 源

mkdir /root/repo.bak
cd /etc/yum.repos.d/
mv * /root/repo.bak/

配置阿里云 repo 源

wget -O /etc/yum.repos.d/CentOS-Base.repo https://mirrors.aliyun.com/repo/Centos-7.repo
清理缓存并生成新的缓存
yum clean all
yum makecache

配置国内阿里云 docker 的 repo 源，node1上操作：

yum -y install yum-utils
yum-config-manager --add-repo http://mirrors.aliyun.com/docker-ce/linux/centos/docker-ce.repo

4.安装 docker-ce,node1、上操作：

yum install docker-ce docker-ce-cli containerd.io -y
systemctl start docker && systemctl enable docker.service && systemctl status docker

5.配置时间同步，在 master1、master2、master3、node1上操作：

安装 ntpdate 命令，

yum install ntpdate -y

跟网络源做同步

ntpdate cn.pool.ntp.org

把时间同步做成计划任务

crontab -e
* */1 * * * /usr/sbin/ntpdate cn.pool.ntp.org

重启 crond 服务

service crond restart

6.安装基础软件包,在 master1、master2、master3、node1上操作：

yum install -y yum-utils device-mapper-persistent-data lvm2 wget net-tools nfs-utils lrzsz gcc gcc-c++ make cmake libxml2-devel openssl-devel curl curl-devel unzip sudo ntp libaio-devel wget vim ncurses-devel autoconf automake zlib-devel python-devel epel-release openssh-server socat ipvsadm conntrack ntpdate telnet rsync

7.关闭所有主机防火墙
master1关闭防火墙，master2关闭防火墙，master3关闭防火墙，node1关闭防火墙，,每台服务器都要操作

systemctl stop firewalld ; systemctl disable firewalld
sed -i 's/SELINUX=enforcing/SELINUX=disabled/g' /etc/selinux/config

查看是否关闭成功

getenforce

显示 Disabled 说明 selinux 已经关闭

8.配置主机之间无密码登录
master1上操作，#生成 ssh 密钥对

ssh-keygen -t rsa  
#一路回车，不输入密码

把本地的 ssh 公钥文件安装到远程主机对应的账户

ssh-copy-id -i .ssh/id_rsa.pub master1
ssh-copy-id -i .ssh/id_rsa.pub master2
ssh-copy-id -i .ssh/id_rsa.pub master3
ssh-copy-id -i .ssh/id_rsa.pub node1

9.关闭交换分区 swap，在master1，master2，master3，node1上操作

临时关闭

swapoff -a

永久关闭：注释 swap 挂载，给 swap 这行开头加一下注释

vim /etc/fstab

/dev/mapper/centos-swap swap swap defaults 0 0

如果是克隆的虚拟机，需要删除 UUID

image.png

重启reboot

10.修改内核参数，在 master1、master2、master3、node1、上操作

加载 br_netfilter 模块（修改内核参数需要加载这个模块，否则报错）

modprobe br_netfilter

验证模块是否加载成功：

lsmod |grep br_netfilter

修改内核参数

cat > /etc/sysctl.d/k8s.conf <<EOF
net.bridge.bridge-nf-call-ip6tables = 1
net.bridge.bridge-nf-call-iptables = 1
net.ipv4.ip_forward = 1
EOF

使刚才修改的内核参数生效


sysctl -p /etc/sysctl.d/k8s.conf

11.开启 ipvs （如果不开启，端口转发就会用iptables，ipvs的转发比iptables效率高）在 master1、master2、master3、node1上操作：


vi /etc/sysconfig/modules/ipvs.modules
#!/bin/bash
ipvs_modules="ip_vs ip_vs_lc ip_vs_wlc ip_vs_rr ip_vs_wrr ip_vs_lblc ip_vs_lblcr ip_vs_dh ip_vs_sh ip_vs_nq ip_vs_sed ip_vs_ftp nf_conntrack"
for kernel_module in ${ipvs_modules}; do
 /sbin/modinfo -F filename ${kernel_module} > /dev/null 2>&1
 if [ 0 -eq 0 ]; then
 /sbin/modprobe ${kernel_module}
 fi
done
#权限755，在 master1、master2、master3、node1上操作：
chmod 755 /etc/sysconfig/modules/ipvs.modules && bash /etc/sysconfig/modules/ipvs.modules && lsmod | grep ip_vs

12.配置 docker 镜像加速器,node1上操作：

tee /etc/docker/daemon.json << 'EOF'
{
"registry-mirrors":["https://rsbud4vc.mirror.aliyuncs.com","https://registry.docker-cn.com","https://docker.mirrors.ustc.edu.cn","https://dockerhub.azk8s.cn","http://hub-mirror.c.163.com","http://qtid6917.mirror.aliyuncs.com","https://rncxm540.mirror.aliyuncs.com"],"exec-opts": ["native.cgroupdriver=systemd"]
}
EOF

systemctl daemon-reload   (重新加载配置)
systemctl restart docker
systemctl status docker

初始化完成

文章标签：
容器服务Kubernetes版
云防火墙
Perl
容器
网络安全
数据安全/隐私保护
Docker
关键词：
容器服务Kubernetes版高可用
容器服务Kubernetes版集群
kubeadm容器服务Kubernetes版
高可用容器服务Kubernetes版
容器服务Kubernetes版kubeadm
相关实践学习
通过Ingress进行灰度发布
本场景您将运行一个简单的应用，部署一个新的应用用于新的发布，并通过Ingress能力实现灰度发布。
容器应用与集群管理
欢迎来到《容器应用与集群管理》课程，本课程是“云原生容器Clouder认证“系列中的第二阶段。课程将向您介绍与容器集群相关的概念和技术，这些概念和技术可以帮助您了解阿里云容器服务ACK/ACK Serverless的使用。同时，本课程也会向您介绍可以采取的工具、方法和可操作步骤，以帮助您了解如何基于容器服务ACK Serverless构建和管理企业级应用。 学习完本课程后，您将能够： 掌握容器集群、容器编排的基本概念 掌握Kubernetes的基础概念及核心思想 掌握阿里云容器服务ACK/ACK Serverless概念及使用方法 基于容器服务ACK Serverless搭建和管理企业级网站应用
亦涵爱吃肉c
目录
相关文章
Java时光
|
9天前
|
Kubernetes 监控 Cloud Native
Kubernetes集群的高可用性与伸缩性实践
Kubernetes集群的高可用性与伸缩性实践
Java时光
37 1
阿里云基础设施.
|
30天前
|
JSON Kubernetes 容灾
ACK One应用分发上线：高效管理多集群应用
ACK One应用分发上线，主要介绍了新能力的使用场景
阿里云基础设施.
44 9
土木林森
|
25天前
|
Kubernetes 关系型数据库 MySQL
Kubernetes入门：搭建高可用微服务架构
【10月更文挑战第25天】在快速发展的云计算时代，微服务架构因其灵活性和可扩展性备受青睐。本文通过一个案例分析，展示了如何使用Kubernetes将传统Java Web应用迁移到Kubernetes平台并改造成微服务架构。通过定义Kubernetes服务、创建MySQL的Deployment/RC、改造Web应用以及部署Web应用，最终实现了高可用的微服务架构。Kubernetes不仅提供了服务发现和负载均衡的能力，还通过各种资源管理工具，提升了系统的可扩展性和容错性。
土木林森
71 3
阿里云基础设施.
|
1月前
|
Kubernetes 持续交付 开发工具
ACK One GitOps：ApplicationSet UI简化多集群GitOps应用管理
ACK One GitOps新发布了多集群应用控制台，支持管理Argo CD ApplicationSet，提升大规模应用和集群的多集群GitOps应用分发管理体验。
阿里云基础设施.
46 1
sunrise05
|
1月前
|
Kubernetes 应用服务中间件 nginx
搭建Kubernetes v1.31.1服务器集群，采用Calico网络技术
在阿里云服务器上部署k8s集群，一、3台k8s服务器，1个Master节点，2个工作节点，采用Calico网络技术。二、部署nginx服务到k8s集群，并验证nginx服务运行状态。
sunrise05
609 1
武子康
|
1月前
|
Kubernetes Cloud Native 流计算
Flink-12 Flink Java 3分钟上手 Kubernetes云原生下的Flink集群 Rancher Stateful Set yaml详细 扩容缩容部署 Docker容器编排
Flink-12 Flink Java 3分钟上手 Kubernetes云原生下的Flink集群 Rancher Stateful Set yaml详细 扩容缩容部署 Docker容器编排
武子康
76 3
明弟有理想
|
1月前
|
Kubernetes Ubuntu Linux
Centos7 搭建 kubernetes集群
本文介绍了如何搭建一个三节点的Kubernetes集群，包括一个主节点和两个工作节点。各节点运行CentOS 7系统，最低配置为2核CPU、2GB内存和15GB硬盘。详细步骤包括环境配置、安装Docker、关闭防火墙和SELinux、禁用交换分区、安装kubeadm、kubelet、kubectl，以及初始化Kubernetes集群和安装网络插件Calico或Flannel。
明弟有理想
155 0
君子世无双~
|
1月前
|
Kubernetes Cloud Native 云计算
云原生之旅：Kubernetes 集群的搭建与实践
【8月更文挑战第67天】在云原生技术日益成为IT行业焦点的今天，掌握Kubernetes已成为每个软件工程师必备的技能。本文将通过浅显易懂的语言和实际代码示例，引导你从零开始搭建一个Kubernetes集群，并探索其核心概念。无论你是初学者还是希望巩固知识的开发者，这篇文章都将为你打开一扇通往云原生世界的大门。
君子世无双~
126 17
shiningrise
|
1月前
|
Kubernetes Cloud Native 微服务
微服务实践之使用 kube-vip 搭建高可用 Kubernetes 集群
微服务实践之使用 kube-vip 搭建高可用 Kubernetes 集群
shiningrise
114 1
shiningrise
|
1月前
|
负载均衡 应用服务中间件 nginx
基于Ubuntu-22.04安装K8s-v1.28.2实验（二）使用kube-vip实现集群VIP访问
基于Ubuntu-22.04安装K8s-v1.28.2实验（二）使用kube-vip实现集群VIP访问
shiningrise
57 1

热门文章

最新文章

  • 1
    从零开始：阿里云上Kubernetes集群的搭建与部署
  • 2
    阿里巴巴NACOS（6）- 在k8s上部署Nacos
  • 3
    Kubernetes上的服务网格 Istio - 分布式追踪篇
  • 4
    Kubernetes Master节点 灾备恢复操作指南
  • 5
    Flink三种集群模式，Standalone模式，Flink On YARN，Flink On K8S，这三种模式有啥优缺点，生产环境如何选择呢？
  • 6
    kubernetes强制删除pod、namespace等资源
  • 7
    基于容器服务 ACK 发行版打造 CNStack 社区版
  • 8
    基于 K8s 的 Ingress 快速部署 hexo 博客
  • 9
    Kubernetes调整Node节点快速驱逐pod的时间
  • 10
    云计算中的容器化技术：Docker与Kubernetes的实践
  • 1
    k8s-Helm包管理器
    85
  • 2
    Kubernetes 命令大全
    74
  • 3
    k8s-身份认证与权限
    73
  • 4
    k8s-配置与存储-持久化存储-NFS 挂载、StorageClass 存储类 动态创建NFS-PV案例
    613
  • 5
    k8s部署模板
    61
  • 6
    k8s-配置与存储-配置管理
    101
  • 7
    k8s-高级调度-污点容忍、亲和性调度
    100
  • 8
    k8s-高级调度-CronJob 计划任务
    123
  • 9
    深入理解 Kubernetes Ingress：路由流量、负载均衡和安全性配置
    1135
  • 10
    三、Kubernetes（K8s）入门(一)
    91

    • 相关课程

    更多
  • 阿里云 EMR on ACK 实战
  • 阿里云K8S微服务部署案例
  • Kubernetes极速入门
  • Serverless 容器从入门到精通: - Serverless Kubernetes
  • Kubernetes云原生管理实践
  • Kubernetes入门

    • 相关电子书

    更多
  • ACK 云原生弹性方案—云原生时代的加速器
  • ACK集群类型选择最佳实践
  • 企业运维之云原生和Kubernetes 实战

    • 相关实验场景

    更多
  • 在ACK Serverless中部署Stable Diffusion应用
  • 使用ACK-Koordinator部署在离线混部应用
  • 使用ACK Serverless容器化部署大语言模型FastChat
  • 通过EDAS实现K8s微服务应用的金丝雀发布
  • 基于ACK Serverless轻松部署企业级Stable Diffusion
  • 通过Helm CLI部署wordpress到ACK集群

    • 推荐镜像

    更多
  • kubernetes
  • pouch
  • docker-ce
    • 下一篇
    无影云桌面