k8s 环境规划：
podSubnet（pod 网段） 10.244.0.0/16
serviceSubnet（service 网段）: 10.10.0.0/16
实验环境规划：
操作系统：centos7.9
配置： 4Gib 内存/6vCPU/100G 硬盘
网络：桥接
K8S集群角色Ip主机名安装的组件控制节点10.10.1.11master1apiserver、controller-manager、scheduler、kubelet、etcd、docker、kube-proxy、keepalived、nginx、calico控制节点10.10.1.12master2apiserver、controller-manager、scheduler、kubelet、etcd、docker、kube-proxy、keepalived、nginx、calico工作节点10.10.1.21node1kubelet、kube-proxy、docker、calico、corednsVIP10.10.1.99
kubeadm 和二进制安装 k8s 适用场景分析
kubeadm 是官方提供的开源工具，是一个开源项目，用于快速搭建 kubernetes 集群，目前是比较
方便和推荐使用的。kubeadm init 以及 kubeadm join 这两个命令可以快速创建 kubernetes 集群。
Kubeadm 初始化 k8s，所有的组件都是以 pod 形式运行的，具备故障自恢复能力。kubeadm 是工具，可以快速搭建集群，也就是相当于用程序脚本帮我们装好了集群，属于自动部署，简化部署操作，自动部署屏蔽了很多细节，使得对各个模块感知很少，如果对 k8s 架构组件理解不深的话，遇到问题比较难排查。
kubeadm 适合需要经常部署 k8s，或者对自动化要求比较高的场景下使用。
二进制：在官网下载相关组件的二进制包，如果手动安装，对 kubernetes 理解也会更全面。
Kubeadm 和二进制都适合生产环境，在生产环境运行都很稳定，具体如何选择，可以根据实际项目进行评估。
一、初始化安装K8S集群的实验环境
1.修改机器master1的 IP，变成静态 IP
vim /etc/sysconfig/network-scripts/ifcfg-ens32
TYPE=Ethernet
PROXY_METHOD=none
BROWSER_ONLY=no
BOOTPROTO=static
IPADDR=10.10.1.11
NETMASK=255.255.255.0
GATEWAY=10.10.1.1
DNS1=223.5.5.5
DEFROUTE=yes
IPV4_FAILURE_FATAL=no
IPV6INIT=yes
IPV6_AUTOCONF=yes
IPV6_DEFROUTE=yes
IPV6_FAILURE_FATAL=no
IPV6_ADDR_GEN_MODE=stable-privacy
NAME=ens32
DEVICE=ens32
ONBOOT=yes
修改配置文件之后需要重启网络服务才能使配置生效，重启网络服务命令如下：
service network restart
2.修改机器master2的 IP，变成静态 IP
vim /etc/sysconfig/network-scripts/ifcfg-ens32
TYPE=Ethernet
PROXY_METHOD=none
BROWSER_ONLY=no
BOOTPROTO=static
IPADDR=10.10.1.12
NETMASK=255.255.255.0
GATEWAY=10.10.1.1
DNS1=223.5.5.5
DEFROUTE=yes
IPV4_FAILURE_FATAL=no
IPV6INIT=yes
IPV6_AUTOCONF=yes
IPV6_DEFROUTE=yes
IPV6_FAILURE_FATAL=no
IPV6_ADDR_GEN_MODE=stable-privacy
NAME=ens32
DEVICE=ens32
ONBOOT=yes
修改配置文件之后需要重启网络服务才能使配置生效，重启网络服务命令如下：
service network restart
3.修改机器node1的 IP，变成静态 IP
vim /etc/sysconfig/network-scripts/ifcfg-ens32
TYPE=Ethernet
PROXY_METHOD=none
BROWSER_ONLY=no
BOOTPROTO=static
IPADDR=10.10.1.21
NETMASK=255.255.255.0
GATEWAY=10.10.1.1
DNS1=223.5.5.5
DEFROUTE=yes
IPV4_FAILURE_FATAL=no
IPV6INIT=yes
IPV6_AUTOCONF=yes
IPV6_DEFROUTE=yes
IPV6_FAILURE_FATAL=no
IPV6_ADDR_GEN_MODE=stable-privacy
NAME=ens32
DEVICE=ens32
ONBOOT=yes
修改配置文件之后需要重启网络服务才能使配置生效，重启网络服务命令如下：
service network restart
4.配置机器主机名
在 master1 上执行如下：
hostnamectl set-hostname master1 && bash
在 master2 上执行如下：
hostnamectl set-hostname master2 && bash
在 node1 上执行如下：
hostnamectl set-hostname node1 && bash
5.配置主机 hosts 文件，相互之间通过主机名互相访问
在master1、master2、 node1 上执行如下
vi /etc/hosts
10.10.1.11 master1
10.10.1.12 master2
10.10.1.21 node1
6.配置主机之间无密码登录
在master1、master2、 node1 上执行如下
ssh-keygen #一路回车，不输入密码
ssh-copy-id master1
ssh-copy-id master2
ssh-copy-id node1
7.关闭交换分区 swap，提升性能
在master1、master2、 node1 上执行如下
临时关闭
swapoff -a
永久关闭：注释 swap 挂载，给 swap 这行开头加一下注释
vi /etc/fstab
/dev/mapper/centos-swap swap swap defaults 0 0
如果是克隆的虚拟机，需要删除 UUID
注释：
问题 1：为什么要关闭 swap 交换分区？
Swap 是交换分区，如果机器内存不够，会使用 swap 分区，但是 swap 分区的性能较低，k8s 设计的时候为了能提升性能，默认是不允许使用交换分区的。Kubeadm 初始化的时候会检测 swap 是否关闭，如果没关闭，那就初始化失败。如果不想要关闭交换分区，安装 k8s 的时候可以指定--ignore-preflight-errors=Swap 来解决。
8.修改机器内核参数
在master1、master2、 node1 上执行如下
modprobe br_netfilter
echo "modprobe br_netfilter" >> /etc/profile
cat > /etc/sysctl.d/k8s.conf <<EOF
net.bridge.bridge-nf-call-ip6tables = 1
net.bridge.bridge-nf-call-iptables = 1
net.ipv4.ip_forward = 1
EOF
sysctl -p /etc/sysctl.d/k8s.conf
注释：
问题 1：sysctl 是做什么的？
在运行时配置内核参数 -p 从指定的文件加载系统参数，如不指定即从/etc/sysctl.conf 中加载
问题 2：为什么要执行 modprobe br_netfilter？
因为 sysctl -p /etc/sysctl.d/k8s.conf 会出现报错：
sysctl: cannot stat /proc/sys/net/bridge/bridge-nf-call-ip6tables: No such file or directory
sysctl: cannot stat /proc/sys/net/bridge/bridge-nf-call-iptables: No such file or directory
问题 3：为什么开启 net.bridge.bridge-nf-call-iptables 内核参数？
在 centos 下安装 docker，执行 docker info 出现如下警告：
WARNING: bridge-nf-call-iptables is disabled
WARNING: bridge-nf-call-ip6tables is disabled
问题 4：为什么要开启 net.ipv4.ip_forward = 1 参数？
kubeadm 初始化 k8s 如果报错：
就表示没有开启 ip_forward，需要开启。
9.关闭 firewalld 防火墙
在master1、master2、 node1 上执行如下
systemctl stop firewalld ; systemctl disable firewalld
10.关闭 selinux
在master1、master2、 node1 上执行如下
sed -i 's/SELINUX=enforcing/SELINUX=disabled/g' /etc/selinux/config
查看selinux是否关闭成功
getenforce
显示 Disabled 说明 selinux 已经关闭
11.配置阿里云的 repo 源
在master1、master2、 node1 上执行如下
yum install lrzsz -y
yum install wget -y
yum install openssh-clients
mkdir /root/repo.bak
cd /etc/yum.repos.d/
mv * /root/repo.bak/
wget -O /etc/yum.repos.d/CentOS-Base.repo https://mirrors.aliyun.com/repo/Centos-7.repo
清理缓存并生成新的缓存
yum clean all
yum makecache
12配置国内阿里云 docker 的 repo 源
在master1、master2、 node1 上执行如下
yum -y install yum-utils
yum-config-manager --add-repo http://mirrors.aliyun.com/docker-ce/linux/centos/docker-ce.repo
13.配置安装 k8s 组件需要的阿里云的 repo 源
在master1、master2、 node1 上执行如下
vi /etc/yum.repos.d/kubernetes.repo
[kubernetes]
name=Kubernetes
baseurl=https://mirrors.aliyun.com/kubernetes/yum/repos/kubernetes-el7-x86_64/
enabled=1
gpgcheck=0
14.配置时间同步
在master1、master2、 node1 上执行如下
yum install ntpdate -y
ntpdate cn.pool.ntp.org
crontab -e
- /1 /usr/sbin/ntpdate cn.pool.ntp.org
systemctl restart crond
15.开启 ipvs
在master1、master2、 node1 上执行如下
vi /etc/sysconfig/modules/ipvs.modules
!/bin/bash
ipvs_modules="ip_vs ip_vs_lc ip_vs_wlc ip_vs_rr ip_vs_wrr ip_vs_lblc ip_vs_lblcr ip_vs_dh ip_vs_sh ip_vs_nq ip_vs_sed ip_vs_ftp nf_conntrack"
for kernel_module in ${ipvs_modules}; do
/sbin/modinfo -F filename ${kernel_module} > /dev/null 2>&1
if [ 0 -eq 0 ]; then
/sbin/modprobe ${kernel_module}
fi
done
在master1、master2、 node1 上执行如下，赋予权限
chmod 755 /etc/sysconfig/modules/ipvs.modules && bash /etc/sysconfig/modules/ipvs.modules && lsmod | grep ip_vs
16.安装基础软件包
在master1、master2、 node1 上执行如下
yum install -y yum-utils device-mapper-persistent-data lvm2 wget net-tools nfs-utils lrzsz gcc gcc-c++ make cmake libxml2-devel openssl-devel curl curl-devel unzip sudo ntp libaio-devel wget vim ncurses-devel autoconf automake zlib-devel python-devel epel-release openssh-server socat ipvsadm conntrack ntpdate telnet ipvsadm
17.安装 docker-ce
在master1、master2、 node1 上执行如下
yum install docker-ce-20.10.6 docker-ce-cli-20.10.6 containerd.io -y
systemctl start docker && systemctl enable docker && systemctl status docker
- 配置 docker 镜像加速器和驱动
在master1、master2、 node1 上执行如下
修改 docker 文件驱动为 systemd，默认为 cgroupfs，kubelet 默认使用 systemd，两者必须一致才可以。
vim /etc/docker/daemon.json
{
"registry-mirrors":["https://rsbud4vc.mirror.aliyuncs.com","https://registry.docker-cn.com","https://docker.mirrors.ustc.edu.cn","https://dockerhub.azk8s.cn","http://hub-mirror.c.163.com","http://qtid6917.mirror.aliyuncs.com","https://rncxm540.mirror.aliyuncs.com"],"exec-opts": ["native.cgroupdriver=systemd"]
}
19.重启docker，并使其配置生效
在master1、master2、 node1 上执行如下
systemctl daemon-reload && systemctl restart docker
systemctl status docker
20.安装初始化 k8s 需要的软件包
在master1、master2、 node1 上执行如下
yum install -y kubelet-1.20.6 kubeadm-1.20.6 kubectl-1.20.6
systemctl enable kubelet && systemctl start kubelet
systemctl status kubelet
上面可以看到 kubelet 状态不是 running 状态，这个是正常的，不用管，等 k8s 组件起来这个kubelet 就正常了。
注：每个软件包的作用
Kubeadm: kubeadm 是一个工具，用来初始化 k8s 集群的
kubelet: 安装在集群所有节点上，用于启动 Pod 的
kubectl: 通过 kubectl 可以部署和管理应用，查看各种资源，创建、删除和更新各种组件
二、通过 keepalive+nginx 实现 k8s apiserver 节点高可用
1.配置 epel 源
在master1、master2、 node1 上执行如下
vi /etc/yum.repos.d/epel.repo
[epel]
name=Extra Packages for Enterprise Linux 7 - $basearch
baseurl=http://download.fedoraproject.org/pub/epel/7/$basearch
metalink=https://mirrors.fedoraproject.org/metalink?repo=epel-7&arch=$basearch&infra=$infra&content=$contentdir
failovermethod=priority
enabled=1
gpgcheck=1
gpgkey=file:///etc/pki/rpm-gpg/RPM-GPG-KEY-EPEL-7
[epel-debuginfo]
name=Extra Packages for Enterprise Linux 7 - $basearch - Debug
baseurl=http://download.fedoraproject.org/pub/epel/7/$basearch/debug
metalink=https://mirrors.fedoraproject.org/metalink?repo=epel-debug-7&arch=$basearch&infra=$infra&content=$contentdir
failovermethod=priority
enabled=0
gpgkey=file:///etc/pki/rpm-gpg/RPM-GPG-KEY-EPEL-7
gpgcheck=1
[epel-source]
name=Extra Packages for Enterprise Linux 7 - $basearch - Source
baseurl=http://download.fedoraproject.org/pub/epel/7/SRPMS
metalink=https://mirrors.fedoraproject.org/metalink?repo=epel-source-7&arch=$basearch&infra=$infra&content=$contentdir
failovermethod=priority
enabled=0
gpgkey=file:///etc/pki/rpm-gpg/RPM-GPG-KEY-EPEL-7
gpgcheck=1
2.安装 nginx 主备
在master1、master2上执行如下
yum install nginx keepalived -y
3.修改 nginx 配置文件。主备一样
在master1、master2上执行如下
vim /etc/nginx/nginx.conf
user nginx;
worker_processes auto;
error_log /var/log/nginx/error.log;
pid /run/nginx.pid;
include /usr/share/nginx/modules/*.conf;
events {
worker_connections 1024;
}
四层负载均衡，为两台 Master apiserver 组件提供负载均衡
stream {
log_format main '$remote_addr $upstream_addr - [$time_local] $status
$upstream_bytes_sent';
access_log /var/log/nginx/k8s-access.log main;
upstream k8s-apiserver {
server 10.10.1.11:6443; # Master1 APISERVER IP:PORT
server 10.10.1.12:6443; # Master2 APISERVER IP:PORT
}
server {
listen 16443; # 由于 nginx 与 master 节点复用，这个监听端口不能是 6443，否则会冲突
proxy_pass k8s-apiserver;
}
}
http {
log_format main '$remote_addr - $remote_user [$time_local] "$request" '
'$status $body_bytes_sent "$http_referer" '
'"$http_user_agent" "$http_x_forwarded_for"';
access_log /var/log/nginx/access.log main;
sendfile on;
tcp_nopush on;
tcp_nodelay on;
keepalive_timeout 65;
types_hash_max_size 2048;
include /etc/nginx/mime.types;
default_type application/octet-stream;
server {
listen 80 default_server;
server_name _;
location / {
}
}
}
重启全部master1、master2、node1 让selinux关闭生效
reboot
4.keepalive 配置
主 keepalived，在master1上操作
vim /etc/keepalived/keepalived.conf
global_defs {
notification_email {
acassen@firewall.loc
failover@firewall.loc
sysadmin@firewall.loc
}
notification_email_from Alexandre.Cassen@firewall.loc
smtp_server 127.0.0.1
smtp_connect_timeout 30
router_id NGINX_MASTER
}
vrrp_script check_nginx {
script "/etc/keepalived/check_nginx.sh"
}
vrrp_instance VI_1 {
state MASTER
interface ens32 # 修改为实际网卡名
virtual_router_id 51 # VRRP 路由 ID 实例，每个实例是唯一的
priority 100 # 优先级，备服务器设置 90
advert_int 1 # 指定 VRRP 心跳包通告间隔时间，默认 1 秒
authentication {
auth_type PASS
auth_pass 1111
}
虚拟 IP
virtual_ipaddress {
10.10.1.99/24
}
track_script {
check_nginx
}
}
vrrp_script：指定检查 nginx 工作状态脚本（根据 nginx 状态判断是否故障转移）
virtual_ipaddress：虚拟 IP（VIP）
编写监控脚本master1上操作，测试使用
vim /etc/keepalived/check_nginx.sh
!/bin/bash
count=$(ps -ef |grep nginx | grep sbin | egrep -cv "grep|$$")
if [ "$count" -eq 0 ];then
systemctl stop keepalived
fi
赋予执行权限master1上操作
chmod +x /etc/keepalived/check_nginx.sh
备 keepalived，在master2上操作
vim /etc/keepalived/keepalived.conf
global_defs {
notification_email {
acassen@firewall.loc
failover@firewall.loc
sysadmin@firewall.loc
}
notification_email_from Alexandre.Cassen@firewall.loc
smtp_server 127.0.0.1
smtp_connect_timeout 30
router_id NGINX_BACKUP
}
vrrp_script check_nginx {
script "/etc/keepalived/check_nginx.sh"
}
vrrp_instance VI_1 {
state BACKUP
interface ens32
virtual_router_id 51 # VRRP 路由 ID 实例，每个实例是唯一的
priority 90
advert_int 1
authentication {
auth_type PASS
auth_pass 1111
}
virtual_ipaddress {
10.10.1.99/24
}
track_script {
check_nginx
}
}
编写监控脚本master2上操作，测试使用
vim /etc/keepalived/check_nginx.sh
!/bin/bash
count=$(ps -ef |grep nginx | grep sbin | egrep -cv "grep|$$")
if [ "$count" -eq 0 ];then
systemctl stop keepalived
fi
赋予执行权限master2上操作
chmod +x /etc/keepalived/check_nginx.sh
注：keepalived 根据脚本返回状态码（0 为工作正常，非 0 不正常）判断是否故障转移。
5.启动服务
在master1、master2上执行如下
systemctl daemon-reload
yum install nginx-mod-stream -y
systemctl start nginx
systemctl start keepalived
systemctl enable nginx keepalived
systemctl status keepalived
6.测试 vip 是否绑定成功
master1上操作
ip addr
7.测试 keepalived
停掉 master1 上的 nginx。Vip 会漂移到 master2
在master1上操作
systemctl stop nginx
ip addr
启动 xianchaomaster1 上的 nginx 和 keepalived，vip 又会漂移回来
systemctl daemon-reload
systemctl start nginx
systemctl start keepalived
ip addr
8.kubeadm 初始化 k8s 集群
在master1上操作
cd /root/
vim kubeadm-config.yaml
apiVersion: kubeadm.k8s.io/v1beta2
kind: ClusterConfiguration
kubernetesVersion: v1.20.6
controlPlaneEndpoint: 10.10.1.99:16443
imageRepository: registry.aliyuncs.com/google_containers
apiServer:
certSANs:
- 10.10.1.11
- 10.10.1.12
- 10.10.1.21
- 10.10.1.99
networking:
podSubnet: 10.244.0.0/16
serviceSubnet: 10.10.0.0/16
apiVersion: kubeproxy.config.k8s.io/v1alpha1
kind: KubeProxyConfiguration
mode: ipvs
使用 kubeadm 初始化 k8s 集群
把初始化 k8s 集群需要的离线镜像包上传到 master1、master2、node1 机器上，手动解压：
在master1、master2、node1上执行如下
docker load -i k8simage-1-20-6.tar.gz
在master1上操作
kubeadm init --config kubeadm-config.yaml --ignore-preflight-errors=SystemVerification
注：--image-repository registry.aliyuncs.com/google_containers：手动指定仓库地址为registry.aliyuncs.com/google_containers。kubeadm 默认从 k8s.grc.io 拉取镜像，但是 k8s.gcr.io访问不到，所以需要指定从 registry.aliyuncs.com/google_containers 仓库拉取镜像。
显示如下，说明安装完成：
kubeadm join 10.10.1.99:16443 --token zwzcks.u4jd8lj56wpckcwv \
--discovery-token-ca-cert-hash
sha256:1ba1b274090feecfef58eddc2a6f45590299c1d0624618f1f429b18a064cb728 \
--control-plane
配置 kubectl 的配置文件 config，相当于对 kubectl 进行授权，这样 kubectl 命令可以使用这个证书对 k8s 集群进行管理
在master1上操作
mkdir -p $HOME/.kube
cp -i /etc/kubernetes/admin.conf $HOME/.kube/config
chown $(id -u):$(id -g) $HOME/.kube/config
kubectl get nodes
此时集群状态还是 NotReady 状态，因为没有安装网络插件。
9.扩容 k8s 集群-添加 master 节点
创建证书存放目录：在 master2 上操作
cd /root && mkdir -p /etc/kubernetes/pki/etcd &&mkdir -p ~/.kube/
把 master1 节点的证书拷贝到 master2 上
在master1上操作
scp /etc/kubernetes/pki/ca.crt master2:/etc/kubernetes/pki/
scp /etc/kubernetes/pki/ca.key master2:/etc/kubernetes/pki/
scp /etc/kubernetes/pki/sa.key master2:/etc/kubernetes/pki/
scp /etc/kubernetes/pki/sa.pub master2:/etc/kubernetes/pki/
scp /etc/kubernetes/pki/front-proxy-ca.crt master2:/etc/kubernetes/pki/
scp /etc/kubernetes/pki/front-proxy-ca.key master2:/etc/kubernetes/pki/
scp /etc/kubernetes/pki/etcd/ca.crt master2:/etc/kubernetes/pki/etcd/
scp /etc/kubernetes/pki/etcd/ca.key master2:/etc/kubernetes/pki/etcd/
master2 和加入到集群，成为控制节点：
在master1上操作，查看touken
kubeadm token create --print-join-command
在master2上操作
复制master1的touken，加 --control-plane --ignore-preflight-errors=SystemVerification 这个参数
kubeadm join 10.10.1.99:16443 --token awisrq.9t4dugpgj2j49wxa --discovery-token-ca-cert-hash sha256:a5b8c4fd41e8e796030693d26794e3d942e4d7b3d81ef5aee31b444db7b220ad --control-plane --ignore-preflight-errors=SystemVerification
在master1上查看master2是否加入进来，在master1上操作
kubectl get nodes
10.扩容 k8s 集群-添加 node 节点
在master1上操作，查看touken
kubeadm token create --print-join-command
在node1上操作
复制master1的touken，加 --ignore-preflight-errors=SystemVerification 这个参数
kubeadm join 10.10.1.99:16443 --token y23a82.hurmcpzedblv34q8 --discovery-token-ca-cert-hash sha256:1ba1b274090feecfef58eddc2a6f45590299c1d0624618f1f429b18a064cb728 --ignore-preflight-errors=SystemVerification
在master1上查看master2是否加入进来，在master1上操作
kubectl get nodes
可以看到 node1 的 ROLES 角色为空，就表示这个节点是工作节点。
可以把 node1 的 ROLES 变成 work，打上标签，按照如下方法：
在master1上操作
kubectl label node xianchaonode1 node-role.kubernetes.io/worker=worker
注意：上面状态都是 NotReady 状态，说明没有安装网络插件
指定名称空间 kube-system
在master1上操作，查看pods
kubectl get pods -n kube-system -o wide
coredns-7f89b7bc75-lh28j 是 pending 状态，这是因为还没有安装网络插件，等到下面安装好网络插件之后这个 cordns 就会变成 running 了
11.安装 kubernetes 网络组件-Calico
上传 calico.yaml 到 master1 上，使用 yaml 文件安装 calico 网络插件 。
注：在线下载配置文件地址是： https://docs.projectcalico.org/manifests/calico.yaml
在master1上操作
kubectl apply -f calico.yaml
kubectl get pod -n kube-system
coredns-这个 pod 现在是 running 状态，运行正常
再次查看集群状态。master1上操作
kubectl get nodes
STATUS 状态是 Ready，说明 k8s 集群正常运行了
12.测试在 k8s 创建 pod 是否可以正常访问网络
把 busybox-1-28.tar.gz 上传到 node1 节点，手动解压
在node1上操作
docker load -i busybox-1-28.tar.gz
在master1上操作，检查网络
kubectl run busybox --image busybox:1.28 --restart=Never --rm -it busybox -- sh
ping www.baidu.com
13.测试 k8s 集群中部署 tomcat 服务
把 tomcat.tar.gz 上传到 node1，手动解压
在node1上操作
docker load -i tomcat.tar.gz
在master1上操作
把 tomcat.yaml 、tomcat-service上传到 master1
kubectl apply -f tomcat.yaml
kubectl get pods
kubectl apply -f tomcat-service.yaml
kubectl get svc
在浏览器访问 node1 节点的 ip:30080 即可请求到浏览器
14.测试 coredns 是否正常
在master1上操作
kubectl run busybox --image busybox:1.28 --restart=Never --rm -it busybox -- sh
nslookup kubernetes.default.svc.cluster.local
nslookup tomcat.default.svc.cluster.local
注意：
busybox 要用指定的 1.28 版本，不能用最新版本，最新版本，nslookup 会解析不到 dns 和 ip
