一、Kubernetes高可用安装安装——1.18.4版本

（1）下载地址、安装方式

官网：https://kubernetes.io/zh/docs/setup/

K8S github地址：https://github.com/kubernetes/kubernetes

Kubernetes安装方式：

Kubeadm安装：官方推荐，建议学习研究使用，所有服务跑成容器

二进制安装：生产环境使用，所有服务跑成物理机

Ansible安装

最新版本高可用安装步骤：

（2）实验环境

实际环境配置（这里的网络使用calico）

这里的虚拟ip为192.168.100.205，无需专门搭建keepalived的机器，在三台master上指定keepalived配置文件中的虚拟ip为192.168.100.205即可

实验环境配置（资源有限，网络使用flannel）

这里的虚拟ip为192.168.100.204，无需专门搭建keepalived的机器，在两台master上指定keepalived配置文件中的虚拟ip为192.168.100.204即可。

以上机器全部都要联网！！

Kubernetes的高可用主要指的是控制平面的高可用，即指多套Master节点组件和Etcd组件，工作节点通过负载均衡连接到各Master，即连接HAProxy反向代理去连接master，通过反向代理可以配置负载均衡，然后配合keepalived设置两台master的虚拟ip，实现高可用

Kubernetes高可用架构中etcd与Master节点组件混布方式的特点：

所需机器资源少

部署简单易于扩展

容易进行横向扩展

风险大，一台宿主机（master）挂了，master和etcd就都少一套（因为etcd和master部署在了一起，etcd会收集node节点的信息），集群冗余度受到的影响比较大

（3）实验步骤

本实验使用Keepalived+HAProxy实现Kubernetes的高可用，采用Kubeadm安装

1、在四台服务器上进行基础配置

四台服务操作差不多

#192.168.100.202配置
[root@Centos7 ~]# hostnamectl set-hostname k8s-master01
[root@Centos7 ~]# su
[root@k8s-master01 ~]# systemctl disable --now firewalld
[root@k8s-master01 ~]# setenforce 0
setenforce: SELinux is disabled
[root@k8s-master01 ~]# mount /dev/cdrom /mnt/
[root@k8s-master01 ~]# cat <<aa>> /etc/hosts
192.168.100.202 k8s-master01
192.168.100.203 k8s-master02
192.168.100.205 k8s-node01
192.168.100.206 k8s-node02
aa
[root@k8s-master01 ~]# vim  /etc/sysconfig/selinux  #修改selinux文件
SELINUX=disabled
#保存退出
[root@k8s-master01 ~]# swapoff -a && sysctl -w vm.swappiness=0  #关闭交换空间，开启交换空间会影响k8s性能
vm.swappiness = 0
[root@k8s-master01 ~]# vim /etc/fstab    #把自动挂载交换空间的配置项注释
#
##
## /etc/fstab
## Created by anaconda on Tue Jan 12 18:24:41 2021
##
## Accessible filesystems, by reference, are maintained under '/dev/disk'
## See man pages fstab(5), findfs(8), mount(8) and/or blkid(8) for more info
##
/dev/mapper/centos-root /                       xfs     defaults        0 0
UUID=f9ce4501-7cf6-4d2b-903a-4fc1044410ef /boot                   xfs     defaults        0 0
/dev/mapper/centos-home /home                   xfs     defaults        0 0
#/dev/mapper/centos-swap swap                    swap    defaults        0 0     #注释
/dev/cdrom  /mnt  iso9660 defaults 0 0
#保存退出
[root@k8s-master01 ~]# yum install ntpdate -y
[root@k8s-master01 ~]# ntpdate time2.aliyun.com  #同步时间
[root@k8s-master01 ~]# cat <<aaa>> /etc/rc.local 
ntpdate time2.aliyun.com
aaa
[root@k8s-master01 ~]# crontab -e       #可以选择加计划任务，也可以不加
*/5 * * * * ntpdate time2.aliyun.com
[root@k8s-master01 ~]# ulimit -SHn 65535   #设置最大进程数

#192.168.100.203配置
[root@Centos7 ~]# hostnamectl set-hostname k8s-master02
[root@Centos7 ~]# su
[root@k8s-master02 ~]# systemctl disable --now firewalld
[root@k8s-master02 ~]# setenforce 0
setenforce: SELinux is disabled
[root@k8s-master02 ~]# mount /dev/cdrom /mnt/
[root@k8s-master02 ~]# cat <<aa>> /etc/hosts
192.168.100.202 k8s-master01
192.168.100.203 k8s-master02
192.168.100.205 k8s-node01
192.168.100.206 k8s-node02
aa
[root@k8s-master02 ~]# vim  /etc/sysconfig/selinux  #修改selinux文件
SELINUX=disabled
#保存退出
[root@k8s-master02 ~]# swapoff -a && sysctl -w vm.swappiness=0
vm.swappiness = 0
[root@k8s-master02 ~]# vim /etc/fstab 
#
# /etc/fstab
# Created by anaconda on Tue Jan 12 18:24:41 2021
#
# Accessible filesystems, by reference, are maintained under '/dev/disk'
# See man pages fstab(5), findfs(8), mount(8) and/or blkid(8) for more info
#
/dev/mapper/centos-root /                       xfs     defaults        0 0
UUID=f9ce4501-7cf6-4d2b-903a-4fc1044410ef /boot                   xfs     defaults        0 0
/dev/mapper/centos-home /home                   xfs     defaults        0 0
#/dev/mapper/centos-swap swap                    swap    defaults        0 0
/dev/cdrom  /mnt  iso9660 defaults 0 0
#保存退出
[root@k8s-master01 ~]# yum install ntpdate -y
[root@k8s-master02 ~]# ntpdate time2.aliyun.com
[root@k8s-master02 ~]#  cat <<aaa>> /etc/rc.local 
> ntpdate time2.aliyun.com
> aaa
[root@k8s-master02 ~]# ulimit -SHn 65535

#192.168.100.205配置
[root@Centos7 ~]# hostnamectl set-hostname k8s-node01
[root@Centos7 ~]# su
[root@k8s-node01 ~]# systemctl disable --now firewalld
[root@k8s-node01 ~]# setenforce 0
setenforce: SELinux is disabled
[root@k8s-node01 ~]# mount /dev/cdrom /mnt/
[root@k8s-node01 ~]# cat <<aa>> /etc/hosts
192.168.100.202 k8s-master01
192.168.100.203 k8s-master02
192.168.100.205 k8s-node01
192.168.100.206 k8s-node02
aa
[root@k8s-node01 ~]# vim  /etc/sysconfig/selinux  #修改selinux文件
SELINUX=disabled
#保存退出
[root@k8s-node01 ~]# swapoff -a && sysctl -w vm.swappiness=0
vm.swappiness = 0
[root@k8s-node01 ~]# vim /etc/fstab 
#
# /etc/fstab
# Created by anaconda on Tue Jan 12 18:24:41 2021
#
# Accessible filesystems, by reference, are maintained under '/dev/disk'
# See man pages fstab(5), findfs(8), mount(8) and/or blkid(8) for more info
#
/dev/mapper/centos-root /                       xfs     defaults        0 0
UUID=f9ce4501-7cf6-4d2b-903a-4fc1044410ef /boot                   xfs     defaults        0 0
/dev/mapper/centos-home /home                   xfs     defaults        0 0
#/dev/mapper/centos-swap swap                    swap    defaults        0 0
/dev/cdrom  /mnt  iso9660 defaults 0 0
#保存退出
[root@k8s-master01 ~]# yum install ntpdate -y
[root@k8s-node01 ~]# ntpdate time2.aliyun.com
[root@k8s-node01 ~]#  cat <<aaa>> /etc/rc.local 
> ntpdate time2.aliyun.com
> aaa
[root@k8s-node01 ~]# ulimit -SHn 65535

#192.168.100.206配置
[root@Centos7 ~]# hostnamectl set-hostname k8s-node02
[root@Centos7 ~]# su
[root@k8s-node02 ~]# systemctl disable --now firewalld
[root@k8s-node02 ~]# setenforce 0
setenforce: SELinux is disabled
[root@k8s-node02 ~]# mount /dev/cdrom /mnt/
[root@k8s-node02 ~]# cat <<aa>> /etc/hosts
192.168.100.202 k8s-master01
192.168.100.203 k8s-master02
192.168.100.205 k8s-node01
192.168.100.206 k8s-node02
aa
[root@k8s-node02 ~]# vim  /etc/sysconfig/selinux  #修改selinux文件
SELINUX=disabled
#保存退出
[root@k8s-node02 ~]# swapoff -a && sysctl -w vm.swappiness=0
vm.swappiness = 0
[root@k8s-node02 ~]# vim /etc/fstab 
#
# /etc/fstab
# Created by anaconda on Tue Jan 12 18:24:41 2021
#
# Accessible filesystems, by reference, are maintained under '/dev/disk'
# See man pages fstab(5), findfs(8), mount(8) and/or blkid(8) for more info
#
/dev/mapper/centos-root /                       xfs     defaults        0 0
UUID=f9ce4501-7cf6-4d2b-903a-4fc1044410ef /boot                   xfs     defaults        0 0
/dev/mapper/centos-home /home                   xfs     defaults        0 0
#/dev/mapper/centos-swap swap                    swap    defaults        0 0
/dev/cdrom  /mnt  iso9660 defaults 0 0
#保存退出
[root@k8s-master01 ~]# yum install ntpdate -y
[root@k8s-node02 ~]# ntpdate time2.aliyun.com
[root@k8s-node02 ~]#  cat <<aaa>> /etc/rc.local 
> ntpdate time2.aliyun.com
> aaa
[root@k8s-node02 ~]# ulimit -SHn 65535

2、配置master01节点免密登录其他节点

#过程操作全部都在master01节点上执行
[root@k8s-master01 ~]# ssh-keygen -t rsa
Generating public/private rsa key pair.
Enter file in which to save the key (/root/.ssh/id_rsa): 
Created directory '/root/.ssh'.
Enter passphrase (empty for no passphrase): 
Enter same passphrase again: 
Your identification has been saved in /root/.ssh/id_rsa.
Your public key has been saved in /root/.ssh/id_rsa.pub.
The key fingerprint is:
SHA256:I+Qfhb1MAGzWOknpb9k0x9mnAJOTaWlZmapuDaC7m5k root@k8s-master01
The key's randomart image is:
+---[RSA 2048]----+
|     ..+.  B.o   |
|      * .+% o    |
|     =.o.o+* o   |
|     o*  ++.= . .|
|     .o+S=oo . o |
|    .  o*o.   .  |
|     . o.o       |
|    .+  o .      |
|    Eo .         |
+----[SHA256]-----+
[root@k8s-master01 ~]# for i in k8s-master01 k8s-master02 k8s-node01 k8s-node02;do ssh-copy-id -i .ssh/id_rsa.pub $i;done

3、在全部节点上安装yum源

#全部节点操作相同
wget -O /etc/yum.repos.d/CentOS-Base.repo https://mirrors.aliyun.com/repo/Centos-7.repo
yum install -y yum-utils device-mapper-persistent-data lvm2
yum-config-manager --add-repo https://mirrors.aliyun.com/docker-ce/linux/centos/docker-ce.repo
cat <<EOF > /etc/yum.repos.d/kubernetes.repo
[kubernetes]
name=Kubernetes
baseurl=https://mirrors.aliyun.com/kubernetes/yum/repos/kubernetes-el7-x86_64/
enabled=1
gpgcheck=1
repo_gpgcheck=1
gpgkey=https://mirrors.aliyun.com/kubernetes/yum/doc/yum-key.gpg https://mirrors.aliyun.com/kubernetes/yum/doc/rpm-package-key.gpg
EOF
sed -i -e '/mirrors.cloud.aliyuncs.com/d' -e '/mirrors.aliyuncs.com/d' /etc/yum.repos.d/CentOS-Base.repo
yum makecache     #增加yum缓存，过程中输入y

4、所有节点安装ipvsadm

#安装ipvsadm是因为ipvs性能比iptables性能好，以下操作全部节点相同
yum install ipvsadm ipset sysstat conntrack libseccomp -y
#所有节点配置ipvs模块，在内核4.19版本nf_conntrack_ipv4已经改为nf_conntrack，本例安装的内核为4.18，使用nf_conntrack_ipv4即可，下面操作所有节点相同
modprobe -- ip_vs
modprobe -- ip_vs_rr
modprobe -- ip_vs_wrr
modprobe -- ip_vs_sh
modprobe -- nf_conntrack_ipv4
vi /etc/modules-load.d/ipvs.conf  #配置开机自动加载
ip_vs
ip_vs_rr
ip_vs_wrr
ip_vs_sh
nf_conntrack_ipv4
ip_tables
ip_set
xt_set
ipt_set
ipt_rpfilter
ipt_REJECT
ipip
#保存退出
systemctl enable --now systemd-modules-load.service  #编写完执行这个命令
lsmod | grep -e ip_vs -e nf_conntrack_ipv4     #检查是否加载，会输出以下信息
nf_conntrack_ipv4      15053  0 
nf_defrag_ipv4         12729  1 nf_conntrack_ipv4
ip_vs_sh               12688  0 
ip_vs_wrr              12697  0 
ip_vs_rr               12600  0 
ip_vs                 141092  6 ip_vs_rr,ip_vs_sh,ip_vs_wrr
nf_conntrack          133387  2 ip_vs,nf_conntrack_ipv4
libcrc32c              12644  3 xfs,ip_vs,nf_conntrack

5、开启一些k8s集群中必须的内核参数，所有节点配置k8s内核

#下面操作所有节点相同
cat <<EOF > /etc/sysctl.d/k8s.conf
net.ipv4.ip_forward = 1
net.bridge.bridge-nf-call-iptables = 1
fs.may_detach_mounts = 1
vm.overcommit_memory=1
vm.panic_on_oom=0
fs.inotify.max_user_watches=89100
fs.file-max=52706963
fs.nr_open=52706963
net.netfilter.nf_conntrack_max=2310720
net.ipv4.tcp_keepalive_time = 600
net.ipv4.tcp_keepalive_probes = 3
net.ipv4.tcp_keepalive_intvl =15
net.ipv4.tcp_max_tw_buckets = 36000
net.ipv4.tcp_tw_reuse = 1
net.ipv4.tcp_max_orphans = 327680
net.ipv4.tcp_orphan_retries = 3
net.ipv4.tcp_syncookies = 1
net.ipv4.tcp_max_syn_backlog = 16384
net.ipv4.ip_conntrack_max = 65536
net.ipv4.tcp_max_syn_backlog = 16384
net.ipv4.tcp_timestamps = 0
net.core.somaxconn = 16384
EOF
sysctl --system    #输入完上面的命令，输入这两个命令使其生效
sysctl -p

6、基本组件安装

需要在每个节点上都安装以下的软件包：

**kubeadm: **用来初始化集群的指令；

**kubelet: **在集群中的每个节点上用来启动 pod 和 container 等；

**kubectl: **用来与集群通信的命令行工具。

kubeadm不能安装或管理 kubelet 或 kubectl ，所以得保证他们满足通过 kubeadm 安装的 Kubernetes 控制层对版本的要求。如果版本没有满足要求，可能导致一些意外错误或问题。

Kubernetes主要做Docker的容器化管理，总结一下如何查看k8s对应支持的docker版本的方法。

在GitHub可以查看所有Kubernetets版本信息：https://github.com/kubernetes/kubernetes/releases
这里的基本组件是主要安装的是集群中用到的各种组件，比如Docker-ce、Kubernetes各组件等。

#使用这条命令可以查看可用docker-ce版本：
yum list docker-ce.x86_64 --showduplicates | sort -r
#使用这条命令可以查看可用kubeadm版本：
yum list kubeadm.x86_64 --showduplicates | sort -r

#下面操作所有节点相同
yum -y install docker-ce-17.09.1.ce-1.el7.centos   #安装指定版本的docker，如果要安装最新版则yum install docker-ce -y
yum install -y kubeadm-1.18.4-0.x86_64 kubectl-1.18.4-0.x86_64 kubelet-1.18.4-0.x86_64 #安装指定版本的kubeadm，同样安装最新版则yum install kubeadm -y
systemctl enable --now docker      #所有节点设置开机自启动Docker
#默认配置的pause镜像使用gcr.io仓库，国内可能无法访问，所以这里配置Kubelet使用阿里云的pause镜像：
DOCKER_CGROUPS=$(docker info | grep 'Cgroup' | cut -d' ' -f3)
cat >/etc/sysconfig/kubelet<<EOF
KUBELET_EXTRA_ARGS="--cgroup-driver=$DOCKER_CGROUPS --pod-infra-container-image=registry.cn-hangzhou.aliyuncs.com/google_containers/pause-amd64:3.1"
EOF
#设置Kubelet开机自启动
systemctl daemon-reload

7、高可用组件安装

#下面操作只有master节点进行
yum install keepalived haproxy -y     #通过yum安装keepalived和haporxy
#所有Master节点配置HAProxy，操作相同
vim /etc/haproxy/haproxy.cfg     #修改haproxy配置文件，全部删除，重新编写即可
global
  maxconn  2000
  ulimit-n  16384
  log  127.0.0.1 local0 err
  stats timeout 30s
defaults
  log global
  mode  http
  option  httplog
  timeout connect 5000
  timeout client  50000
  timeout server  50000
  timeout http-request 15s
  timeout http-keep-alive 15s
frontend monitor-in
  bind *:33305
  mode http
  option httplog
  monitor-uri /monitor
listen stats
  bind    *:8006
  mode    http
  stats   enable
  stats   hide-version
  stats   uri       /stats
  stats   refresh   30s
  stats   realm     Haproxy\ Statistics
  stats   auth      admin:admin
frontend k8s-master
  bind 0.0.0.0:16443
  bind 127.0.0.1:16443
  mode tcp
  option tcplog
  tcp-request inspect-delay 5s
  default_backend k8s-master
backend k8s-master
  mode tcp
  option tcplog
  option tcp-check
  balance roundrobin
  default-server inter 10s downinter 5s rise 2 fall 2 slowstart 60s maxconn 250 maxqueue 256 weight 100
  server k8s-master01 192.168.100.202:6443  check
  server k8s-master02 192.168.100.203:6443  check
#保存退出，这里注意修改最后的master节点的ip地址

#这里修改keepalived的配置文件，两台master节点配置不一样
————————————————————master01操作
[root@k8s-master01 ~]# vim /etc/keepalived/keepalived.conf   #同样进去先删除之前的
! Configuration File for keepalived
global_defs {
    router_id LVS_DEVEL
}
vrrp_script chk_apiserver {
    script "/etc/keepalived/check_apiserver.sh"     #keepalived用来指定健康指标的文件
    interval 2
    weight -5
    fall 3  
    rise 2
}
vrrp_instance VI_1 {
    state MASTER
    interface ens32                  #网卡命令要一致
    mcast_src_ip 192.168.100.202     #本机ip
    virtual_router_id 51    
    priority 100                     #优先级为100
    advert_int 2
    authentication {
        auth_type PASS
        auth_pass K8SHA_KA_AUTH
    }
    virtual_ipaddress {
        192.168.100.204              #虚拟ip
    }
#    track_script {               #这里是注释的，表示先不进行健康检查，在集群建立好之后删除注释即可
#       chk_apiserver
#    }
}
#保存退出
————————————————————master02操作
[root@k8s-master02 ~]# vim /etc/keepalived/keepalived.conf
! Configuration File for keepalived
global_defs {
    router_id LVS_DEVEL
}
vrrp_script chk_apiserver {
    script "/etc/keepalived/check_apiserver.sh"
    interval 2
    weight -5
    fall 3  
    rise 2
}
vrrp_instance VI_1 {
    state BACKUP
    interface ens32
    mcast_src_ip 192.168.100.203
    virtual_router_id 51
    priority 99                      #这里可以看到优先级比master01的低，这样再开启健康检查后虚拟ip会在master01上
    advert_int 2
    authentication {
        auth_type PASS
        auth_pass K8SHA_KA_AUTH
    }
    virtual_ipaddress {
        192.168.100.204
    }
#    track_script {             #这里的注释同样在集群开启之后再删除
#       chk_apiserver
#    }
}
#保存退出

#在两台master节点上编写Keepalived健康检查文件
vim /etc/keepalived/check_apiserver.sh    #两台都需要编写
#!/bin/bash
err=0
for k in $(seq 1 5)
do
    check_code=$(pgrep kube-apiserver)
    if [[ $check_code == "" ]]; then
        err=$(expr $err + 1)
        sleep 5
        continue
    else
        err=0
        break
    fi
done
if [[ $err != "0" ]]; then
    echo "systemctl stop keepalived"
    /usr/bin/systemctl stop keepalived
    exit 1
else
    exit 0
fi
#保存退出
chmod +x /etc/keepalived/check_apiserver.sh  #编写完成后添加可执行权限
#启动keepalived和haproxy
systemctl enable --now haproxy
systemctl enable --now keepalived

8、下载镜像

#下面是两台master的操作
kubeadm config images list   #使用这条命令查看所需镜像
#因为这些镜像源都在国外，所以可以先缓存下载直接使用docker load上传镜像即可
[root@k8s-master01 ~]# ll 
总用量 922352
-rw-------. 1 root root      1264 1月  12 2021 anaconda-ks.cfg
-rw-r--r--  1 root root  43932160 8月   4 13:21 coredns.tar.gz
-rw-r--r--  1 root root 290010624 8月   4 13:22 etcd.tar.gz
-rw-r--r--  1 root root  55390720 8月   4 13:22 flannel.tar.gz
-rw-r--r--  1 root root 174554624 8月   4 13:22 kube-apiserver.tar.gz
-rw-r--r--  1 root root 163945984 8月   4 13:22 kube-controller-manager.tar.gz
-rw-r--r--  1 root root 119103488 8月   4 13:23 kube-proxy.tar.gz
-rw-r--r--  1 root root  96841216 8月   4 13:23 kube-scheduler.tar.gz
-rw-r--r--  1 root root    692736 8月   4 13:23 pause.tar.gz
#直接复制，批量上传镜像
docker load -i coredns.tar.gz
docker load -i kube-apiserver.tar.gz
docker load -i kube-proxy.tar.gz
docker load -i pause.tar.gz
docker load -i etcd.tar.gz
docker load -i kube-controller-manager.tar.gz
docker load -i kube-scheduler.tar.gz
docker load -i flannel.tar.gz
[root@k8s-master01 ~]# docker images    #确认镜像已经上传
REPOSITORY                           TAG                 IMAGE ID            CREATED             SIZE
k8s.gcr.io/kube-proxy                v1.18.4             718fa77019f2        13 months ago       117MB
k8s.gcr.io/kube-apiserver            v1.18.4             408913fc18eb        13 months ago       173MB
k8s.gcr.io/kube-controller-manager   v1.18.4             e8f1690127c4        13 months ago       162MB
k8s.gcr.io/kube-scheduler            v1.18.4             c663567f869e        13 months ago       95.3MB
k8s.gcr.io/pause                     3.2                 80d28bedfe5d        17 months ago       683kB
k8s.gcr.io/coredns                   1.6.7               67da37a9a360        18 months ago       43.8MB
k8s.gcr.io/etcd                      3.4.3-0             303ce5db0e90        21 months ago       288MB
quay.io/coreos/flannel               v0.11.0-amd64       ff281650a721        2 years ago         52.5MB

#两台node节点的操作
[root@k8s-node01 ~]# ll   #上传镜像
总用量 171092
-rw-------. 1 root root      1264 1月  12 2021 anaconda-ks.cfg
-rw-r--r--  1 root root  55390720 8月   4 13:28 flannel.tar.gz
-rw-r--r--  1 root root 119103488 8月   4 13:28 kube-proxy.tar.gz
-rw-r--r--  1 root root    692736 8月   4 13:28 pause.tar.gz
#批量上传镜像
docker load -i flannel.tar.gz
docker load -i kube-proxy.tar.gz 
docker load -i pause.tar.gz 
[root@k8s-node01 ~]# docker images
REPOSITORY               TAG                 IMAGE ID            CREATED             SIZE
k8s.gcr.io/kube-proxy    v1.18.4             718fa77019f2        13 months ago       117MB
k8s.gcr.io/pause         3.2                 80d28bedfe5d        17 months ago       683kB
quay.io/coreos/flannel   v0.11.0-amd64       ff281650a721        2 years ago         52.5MB

9、开启kubelet，创建集群

#所有节点全部开机自启kubelet
systemctl enable --now kubelet

#Master01节点初始化，初始化以后会在/etc/kubernetes目录下生成对应的证书和配置文件，之后其他Master节点加入Master01即可，下面操作只在master1上做
[root@k8s-master01 ~]# kubeadm init --kubernetes-version=v1.18.4 --control-plane-endpoint "192.168.100.204:16443" --upload-certs --pod-network-cidr=10.244.0.0/16 --service-cidr=10.1.0.0/16
。。。。。。
Your Kubernetes control-plane has initialized successfully!  #提示这条信息表示成功
#初始化成功以后，会产生Token值，用于其他节点加入时使用，因此要记录下初始化成功生成的token值（令牌值），master节点加入就打master节点的token值，node节点加入就打node节点的token值

#下面的命令master01节点进行操作
[root@k8s-master01 ~]# mkdir -p $HOME/.kube
[root@k8s-master01 ~]# cp -i /etc/kubernetes/admin.conf $HOME/.kube/config
[root@k8s-master01 ~]# chown $(id -u):$(id -g) $HOME/.kube/config
附加：初始化过程大致步骤如下： 
• [kubelet-start] 生成kubelet的配置文件”/var/lib/kubelet/config.yaml”
• [certificates]生成相关的各种证书
• [kubeconfig]生成相关的kubeconfig文件
• [bootstraptoken]生成token记录下来，后边使用kubeadm join往集群中添加节点时会用到

#所有master节点配置环境变量，用于访问k8s集群
cat <<EOF >> /root/.bashrc
export KUBECONFIG=/etc/kubernetes/admin.conf
EOF
source /root/.bashrc
#在master01上查看集群状态
[root@k8s-master01 ~]# kubectl get nodes     #可以看到现在只有当前master01节点在集群中
NAME           STATUS     ROLES    AGE   VERSION
k8s-master01   NotReady   master   10m   v1.18.4
#采用初始化安装方式，所有的系统组件均以容器的方式运行并且在kube-system命名空间内，此时可以查看Pod状态：
[root@k8s-master01 ~]# kubectl get pods -n kube-system -o wide  #使用这条命令查看pod状态，可以看到有两个是pending状态
NAME                                   READY   STATUS    RESTARTS   AGE   IP                NODE           NOMINATED NODE   READINESS GATES
coredns-66bff467f8-265b9               0/1     Pending   0          13m   <none>            <none>         <none>           <none>
coredns-66bff467f8-4ktf9               0/1     Pending   0          13m   <none>            <none>         <none>           <none>
etcd-k8s-master01                      1/1     Running   0          13m   192.168.100.202   k8s-master01   <none>           <none>
kube-apiserver-k8s-master01            1/1     Running   3          13m   192.168.100.202   k8s-master01   <none>           <none>
kube-controller-manager-k8s-master01   1/1     Running   0          13m   192.168.100.202   k8s-master01   <none>           <none>
kube-proxy-425r9                       1/1     Running   0          13m   192.168.100.202   k8s-master01   <none>           <none>
kube-scheduler-k8s-master01            1/1     Running   0          13m   192.168.100.202   k8s-master01   <none>           <none>
iptables -F && iptables -t nat -F && iptables -t mangle -F && iptables -X     #查看完后执行这条命令

10、Flannel组件的安装

NIC插件介绍

Calico 是一个安全的 L3 网络和网络策略提供者。

Canal 结合 Flannel 和 Calico，提供网络和网络策略。

Cilium 是一个 L3 网络和网络策略插件，能够透明的实施 HTTP/API/L7 策略。同时支持路由（routing）和叠加/封装（ overlay/encapsulation）模式。

Contiv 为多种用例提供可配置网络（使用 BGP 的原生 L3，使用 vxlan 的 overlay，经典 L2 和 Cisco-SDN/ACI）和丰富的策略框架。Contiv 项目完全开源。安装工具同时提供基于和不基于 kubeadm 的安装选项。

Flannel 是一个可以用于 Kubernetes 的 overlay 网络提供者。

Romana 是一个 pod 网络的层 3 解决方案，并且支持 NetworkPolicy API。Kubeadm add-on 安装细节可以在这里找到。

Weave Net 提供了在网络分组两端参与工作的网络和网络策略，并且不需要额外的数据库。

CNI-Genie 使 Kubernetes 无缝连接到一种 CNI 插件，例如：Flannel、Calico、Canal、Romana 或者 Weave。

提示：本方案使用flannel插件。

#在master01节点上，上传flannel.yml文件
[root@k8s-master01 ~]# ll
总用量 922368
-rw-------. 1 root root      1264 1月  12 2021 anaconda-ks.cfg
-rw-r--r--  1 root root  43932160 8月   4 13:21 coredns.tar.gz
-rw-r--r--  1 root root 290010624 8月   4 13:22 etcd.tar.gz
-rw-r--r--  1 root root  55390720 8月   4 13:22 flannel.tar.gz
-rw-r--r--  1 root root     14366 8月   3 16:07 flannel.yml
-rw-r--r--  1 root root 174554624 8月   4 13:22 kube-apiserver.tar.gz
-rw-r--r--  1 root root 163945984 8月   4 13:22 kube-controller-manager.tar.gz
-rw-r--r--  1 root root 119103488 8月   4 13:23 kube-proxy.tar.gz
-rw-r--r--  1 root root  96841216 8月   4 13:23 kube-scheduler.tar.gz
-rw-r--r--  1 root root    692736 8月   4 13:23 pause.tar.gz
[root@k8s-master01 ~]# kubectl apply -f flannel.yml   #执行命令
podsecuritypolicy.policy/psp.flannel.unprivileged created
clusterrole.rbac.authorization.k8s.io/flannel created
clusterrolebinding.rbac.authorization.k8s.io/flannel created
serviceaccount/flannel created
configmap/kube-flannel-cfg created
daemonset.apps/kube-flannel-ds-amd64 created
daemonset.apps/kube-flannel-ds-arm64 created
daemonset.apps/kube-flannel-ds-arm created
daemonset.apps/kube-flannel-ds-ppc64le created
daemonset.apps/kube-flannel-ds-s390x created
[root@k8s-master01 ~]# kubectl get pod -n kube-system
NAME                                   READY   STATUS    RESTARTS   AGE
coredns-66bff467f8-cg9mb               1/1     Running   0          3m32s
coredns-66bff467f8-f5ng5               1/1     Running   0          3m22s
etcd-k8s-master01                      1/1     Running   0          4m59s
kube-apiserver-k8s-master01            1/1     Running   0          4m59s
kube-controller-manager-k8s-master01   1/1     Running   0          4m59s
kube-flannel-ds-amd64-h79fj            1/1     Running   0          50s     #命令执行成功后会生产这个pod，如果没有就多执行几遍上面的命令
kube-proxy-4w8zc                       1/1     Running   0          4m50s
kube-scheduler-k8s-master01            1/1     Running   0          4m59s
[root@k8s-master01 ~]# kubectl get -A pods -o wide  #执行完成后再次查看pod状态，稍等一会会发现所有的pod都running了
NAMESPACE     NAME                                   READY   STATUS    RESTARTS   AGE     IP                NODE           NOMINATED NODE   READINESS GATES
kube-system   coredns-66bff467f8-cg9mb               1/1     Running   0          4m24s   10.244.0.2        k8s-master01   <none>           <none>
kube-system   coredns-66bff467f8-f5ng5               1/1     Running   0          4m14s   10.244.0.3        k8s-master01   <none>           <none>
kube-system   etcd-k8s-master01                      1/1     Running   0          5m51s   192.168.100.202   k8s-master01   <none>           <none>
kube-system   kube-apiserver-k8s-master01            1/1     Running   0          5m51s   192.168.100.202   k8s-master01   <none>           <none>
kube-system   kube-controller-manager-k8s-master01   1/1     Running   0          5m51s   192.168.100.202   k8s-master01   <none>           <none>
kube-system   kube-flannel-ds-amd64-h79fj            1/1     Running   0          102s    192.168.100.202   k8s-master01   <none>           <none>
kube-system   kube-proxy-4w8zc                       1/1     Running   0          5m42s   192.168.100.202   k8s-master01   <none>           <none>
kube-system   kube-scheduler-k8s-master01            1/1     Running   0          5m51s   192.168.100.202   k8s-master01   <none>  
#标签设置，允许master部署pod，默认是不允许，但是是不推荐master部署pod的，但是由于资源配置的关系，可以配置master也可以部署pod
[root@k8s-master01 ~]# kubectl describe nodes k8s-master01 |grep -E '(Roles|Taints)'   #先查看污点，默认是有的
Roles:              master
Taints:             node-role.kubernetes.io/master:NoSchedule
[root@k8s-master01 ~]# kubectl taint nodes --all node-role.kubernetes.io/master-    #去除当前集群所有主机的污点
————————————————————————————————————————————————————————————————————————————————————————————————————————————————
提示：部署完内部应用后可使用kubectl taint node master01 node-role.kubernetes.io/master="":NoSchedule重新设置Master为Master Only 状态。
node节点的taint（污点）和toleration（容忍）
使用kubeadm初始化的集群，出于安全考虑Pod不会被调度到Master Node上，也就是说Master Node不参与工作负载。这是因为当前的master节点被打上了node-role.kubernetes.io/master:NoSchedule的污点：
#先看一下taint命令的语法格式，下面有taints各种污点的含义
kubectl taint node [node] key=value[effect]  
其中[effect] 可取值: [ NoSchedule | PreferNoSchedule | NoExecute ]
    NoSchedule: 一定不能被调度
    PreferNoSchedule: 尽量不要调度，实在没有地方调度的情况下，才考虑可以调度过来
    NoExecute: 不仅不会调度, 还会立即驱逐Node上已有的Pod
————————————————————————————————————————————————————————————————————————————————————————————————————————————————
#查看master01节点，Taints为none就说明成功去掉了污点
[root@k8s-master01 ~]# kubectl describe nodes k8s-master01 |grep -E '(Roles|Taints)'     
Roles:              master
Taints:             <none>
#如果要重新使master打上污点，即恢复Master 的不可调度状态，执行如下命令，给master01再加上污点NoSchedule
kubectl taint nodes k8s-master01 node-role.kubernetes.io/master=:NoSchedule

11、把各节点加入集群

#master02节点，这里的token值要看上面创建集群输出的token值，如果不小心看不到了，可以执行四、的集群初始化，重新创建
kubeadm reset         #先初始化以下再加
  kubeadm join 192.168.100.204:16443 --token pkdd2v.skh3vh49u6en6v20 \
    --discovery-token-ca-cert-hash sha256:4265fce05ae1956366e82f04e87aa40b55e9806a55a556515867f760043fe629 \
    --control-plane --certificate-key 6782fe5b7133c1fdf9ab9467124d08945ee37e9514bf441759ddd8f583f9296d

#node1节点与node2节点
kubeadm reset         #先初始化以下再加
kubeadm join 192.168.100.204:16443 --token pkdd2v.skh3vh49u6en6v20 \
    --discovery-token-ca-cert-hash sha256:4265fce05ae1956366e82f04e87aa40b55e9806a55a556515867f760043fe629

#在master01节点确认其他节点成功加入集群
[root@k8s-master01 ~]# kubectl get nodes   #成功加入集群，状态都是ready
NAME           STATUS   ROLES    AGE   VERSION
k8s-master01   Ready    master   12m   v1.18.4
k8s-master02   Ready    master   11m   v1.18.4
k8s-node01     Ready    <none>   10m   v1.18.4
k8s-node02     Ready    <none>   10m   v1.18.4
[root@k8s-master01 ~]# kubectl get pod -n kube-system   #都是running即可，如果有没有running的可以先等一会，可能是node节点在创建镜像
NAME                                   READY   STATUS    RESTARTS   AGE
coredns-66bff467f8-l75z6               1/1     Running   0          8m15s
coredns-66bff467f8-x4crp               1/1     Running   0          8m15s
etcd-k8s-master01                      1/1     Running   0          8m23s
etcd-k8s-master02                      1/1     Running   0          7m26s
kube-apiserver-k8s-master01            1/1     Running   0          8m23s
kube-apiserver-k8s-master02            1/1     Running   0          7m27s
kube-controller-manager-k8s-master01   1/1     Running   1          8m23s
kube-controller-manager-k8s-master02   1/1     Running   0          7m26s
kube-flannel-ds-amd64-6rj6k            1/1     Running   0          5m16s
kube-flannel-ds-amd64-dnv8s            1/1     Running   0          5m16s
kube-flannel-ds-amd64-q8cgj            1/1     Running   0          5m16s
kube-flannel-ds-amd64-wl4d6            1/1     Running   0          5m16s
kube-proxy-66lsh                       1/1     Running   0          6m37s
kube-proxy-lfcfw                       1/1     Running   0          6m34s
kube-proxy-q7q45                       1/1     Running   0          8m15s
kube-proxy-zwwkc                       1/1     Running   0          7m27s
kube-scheduler-k8s-master01            1/1     Running   1          8m23s
kube-scheduler-k8s-master02            1/1     Running   0          7m26s

至此，k8s高可用集群部署完成！！！！！

Kubernetes-1.18.4二进制高可用安装（上）

一、Kubernetes高可用安装安装——1.18.4版本

（1）下载地址、安装方式

（2）实验环境

（3）实验步骤

1、在四台服务器上进行基础配置

2、配置master01节点免密登录其他节点

3、在全部节点上安装yum源

4、所有节点安装ipvsadm

5、开启一些k8s集群中必须的内核参数，所有节点配置k8s内核

6、基本组件安装

7、高可用组件安装

8、下载镜像

9、开启kubelet，创建集群

10、Flannel组件的安装

11、把各节点加入集群

热门文章

最新文章

相关课程

相关电子书

相关实验场景

推荐镜像

热门

活动广场

任务中心

开发者评测

高校计划

乘风者计划

训练营

阿里云MVP

话题

直播

下载

镜像站

技术资料

插件

Kubernetes-1.18.4二进制高可用安装（上）

一、Kubernetes高可用安装安装——1.18.4版本

（1）下载地址、安装方式

（2）实验环境

（3）实验步骤

1、在四台服务器上进行基础配置

2、配置master01节点免密登录其他节点

3、在全部节点上安装yum源

4、所有节点安装ipvsadm

5、开启一些k8s集群中必须的内核参数，所有节点配置k8s内核

6、基本组件安装

7、高可用组件安装

8、下载镜像

9、开启kubelet，创建集群

10、Flannel组件的安装

11、把各节点加入集群

热门文章

最新文章

相关课程

相关电子书

相关实验场景

推荐镜像