一、环境准备
1.1 硬件要求
| 序号 | 硬件 | 硬件 |
| 1 | CPU | 至少2核 |
| 2 | 内存 | 至少2G |
| 3 | 磁盘 | 至少50G |
1.2 集群节点
| 主机名 | 主机IP |
| k8s-master01 | 10.211.55.15 |
| k8s-node01 | 10.211.55.16 |
| k8s-node02 | 10.211.55.17 |
| k8s-node03 | 10.211.55.18 |
二、下载 centos
centos下载地址：
http://mirrors.aliyun.com/centos/7/isos/x86_64/
推荐大家使用 centos7.6 以上版本
查看 centos 系统版本命令：
cat /etc/centos-release
配置阿里云 yum 源：
# 1.下载安装wget yum install -y wget # 2.备份默认的yum mv /etc/yum.repos.d /etc/yum.repos.d.backup # 3.设置新的yum目录 mkdir -p /etc/yum.repos.d # 4.下载阿里yum配置到该目录中，选择对应版本 wget -O /etc/yum.repos.d/CentOS-Base.repo http://mirrors.aliyun.com/repo/Centos-7.repo # 5.更新epel源为阿里云epel源 mv /etc/yum.repos.d/epel.repo /etc/yum.repos.d/epel.repo.backup mv /etc/yum.repos.d/epel-testing.repo /etc/yum.repos.d/epel- testing.repo.backup wget -O /etc/yum.repos.d/epel.repo http://mirrors.aliyun.com/repo/epel- 7.repo # 6.重建缓存 yum clean all yum makecache # 7.看一下yum仓库有多少包 yum repolist yum update
升级系统内核
rpm -Uvh http://www.elrepo.org/elrepo-release-7.0-3.el7.elrepo.noarch.rpm yum --enablerepo=elrepo-kernel install -y kernel-lt grep initrd16 /boot/grub2/grub.cfg grub2-set-default 0 reboot
查看centos系统内核命令：
uname -r uname -a
查看CPU命令：
lscpu
查看内存命令：
free free -h
查看硬盘信息：
fdisk -l
三、centos7 系统配置
3.1 关闭防火墙
systemctl stop firewalld systemctl disable firewalld
3.2 关闭 selinux
sed -i 's/SELINUX=enforcing/SELINUX=disabled/g' /etc/sysconfig/selinux setenforce 0
3.3 网桥过滤
vi /etc/sysctl.conf net.bridge.bridge-nf-call-ip6tables = 1 net.bridge.bridge-nf-call-iptables = 1 net.bridge.bridge-nf-call-arptables = 1 net.ipv4.ip_forward=1 net.ipv4.ip_forward_use_pmtu = 0 # 生效命令 sysctl --system # 查看效果 sysctl -a|grep "ip_forward"
3.4 开启 IPVS
# 安装IPVS yum -y install ipset ipvsdm # 编译ipvs.modules文件 vi /etc/sysconfig/modules/ipvs.modules # 文件内容如下 #!/bin/bash modprobe -- ip_vs modprobe -- ip_vs_rr modprobe -- ip_vs_wrr modprobe -- ip_vs_sh modprobe -- nf_conntrack_ipv4 # 赋予权限并执行 chmod 755 /etc/sysconfig/modules/ipvs.modules && bash /etc/sysconfig/modules/ipvs.modules &&lsmod | grep -e ip_vs -e nf_conntrack_ipv4 # 重启电脑，检查是否生效 reboot lsmod | grep ip_vs_rr
3.5 同步时间
# 安装软件 yum -y install ntpdate # 向阿里云服务器同步时间 ntpdate time1.aliyun.com # 删除本地时间并设置时区为上海 rm -rf /etc/localtime ln -s /usr/share/zoneinfo/Asia/Shanghai /etc/localtime # 查看时间 date -R || date
3.6 命令补全
# 安装bash-completion yum -y install bash-completion bash-completion-extras # 使用bash-completion source /etc/profile.d/bash_completion.sh
3.7 关闭 swap 分区
# 临时关闭 swapoff -a # 永久关闭 vi /etc/fstab # 将文件中的/dev/mapper/centos-swap这行代码注释掉 # /dev/mapper/centos-swap swap swap defaults 0 0 # 确认swap已经关闭：若swap行都显示 0 则表示关闭成功 free -m
3.8 hosts 配置
vi /etc/hosts # 文件内容如下: 10.211.55.15 k8s-master01 10.211.55.16 k8s-node01 10.211.55.17 k8s-node02 10.211.55.18 k8s-node03
四、安装 docker
4.1 阿里云开发者平台
开发者平台官网地址：可以参考阿里云官网提供的docker安装教程进行安装。
https://www.aliyun.com/
4.2 安装 docker 前置条件
yum install -y yum-utils device-mapper-persistent-data lvm2
4.3 添加源
yum-config-manager --add-repo http://mirrors.aliyun.com/docker-ce/linux/centos/docker-ce.repo yum makecache fast
4.4 查看 docker 更新版本
yum list docker-ce --showduplicates | sort -r
4.5 安装 docker 最新版本
yum -y install docker-ce # 安装指定版本： yum -y install docker-ce-18.09.8
4.6 开启 docker 服务
systemctl start docker systemctl status docker
4.7 安装阿里云镜像加速器
tee /etc/docker/daemon.json <<-'EOF' { "registry-mirrors": ["自己的阿里云镜像加速地址"] } EOF systemctl daemon-reload systemctl restart docker
4.8 设置 docker 开机启动服务
systemctl enable docker
4.9 修改 Cgroup Driver
# 修改daemon.json，新增： vi /etc/docker/daemon.json "exec-opts": ["native.cgroupdriver=systemd"] # 重启docker服务 systemctl daemon-reload systemctl restart docker # 查看修改后状态 docker info | grep Cgroup
修改cgroupdriver是为了消除安装k8s集群时的告警：
[WARNING IsDockerSystemdCheck]:
detected “cgroupfs” as the Docker cgroup driver. The recommended driver is “systemd”.
Please follow the guide at https://kubernetes.io/docs/setup/cri/……
4.10 复习 docker 常用命令
docker -v docker version docker info
五、使用 kubeadm 快速安装
| 软件 | kubeadm | kubelet | kubectl | docker-ce |
| 版本 | 初始化集群管理集群，版本：1.17.5 | 用于接收api-server指令，对pod生命周期进行管理，版本：1.17.5 | 集群命令行管理工具，版本：1.17.5 | 推荐使用版本：19.03.8 |
5.1 安装 yum 源
5.1.1 新建 repo 文件
vi /etc/yum.repos.d/kubernetes.repo
5.1.2 文件内容
[kubernetes] name=Kubernetes baseurl=https://mirrors.aliyun.com/kubernetes/yum/repos/kubernetes-el7-x86_64 enabled=1 gpgcheck=1 repo_gpgcheck=1 gpgkey=https://mirrors.aliyun.com/kubernetes/yum/doc/yum-key.gpg https://mirrors.aliyun.com/kubernetes/yum/doc/rpm-package-key.gpg
如果有报错，则把 gpgcheck、repo_gpgcheck 的值设置成0。
5.1.3 更新缓存
yum clean all yum -y makecache
5.1.4 验证源是否可用
yum list | grep kubeadm # 如果提示要验证yum-key.gpg是否可用，输入y。 # 查找到kubeadm。显示版本
5.1.5 查看 k8s 版本
yum list kubelet --showduplicates | sort -r
5.1.6 安装 k8s-1.17.5
yum install -y kubelet-1.17.5 kubeadm-1.17.5 kubectl-1.17.5
5.2 设置 kubelet
5.2.1 增加配置信息
# 如果不配置kubelet，可能会导致K8S集群无法启动。为实现docker使用的cgroupdriver与kubelet 使用的cgroup的一致性。 vi /etc/sysconfig/kubelet KUBELET_EXTRA_ARGS="--cgroup-driver=systemd"
5.2.2 设置开机启动
systemctl enable kubelet
5.3 初始化镜像
如果是第一次安装k8s，手里没有备份好的镜像，可以执行如下操作。
5.3.1 查看安装集群需要的镜像
kubeadm config images list
5.3.2 编写执行脚本
mkdir -p /data cd /data vi k8s.1.17.5-images.sh images=( kube-apiserver:v1.17.5 kube-controller-manager:v1.17.5 kube-scheduler:v1.17.5 kube-proxy:v1.17.5 pause:3.1 etcd:3.4.3-0 coredns:1.6.5 ) for imageName in ${images[@]}; do docker pull registry.cn-hangzhou.aliyuncs.com/google_containers/$imageName docker tag registry.cn-hangzhou.aliyuncs.com/google_containers/$imageName k8s.gcr.io/$imageName docker rmi registry.cn-hangzhou.aliyuncs.com/google_containers/$imageName done
5.3.3 执行脚本
cd /data # 给脚本授权 chmod +x images.sh # 执行脚本 ./k8s.1.17.5-images.sh
5.3.4 保存镜像
docker save -o k8s.1.17.5.tar \ k8s.gcr.io/kube-proxy:v1.17.5 \ k8s.gcr.io/kube-apiserver:v1.17.5 \ k8s.gcr.io/kube-controller-manager:v1.17.5 \ k8s.gcr.io/kube-scheduler:v1.17.5 \ k8s.gcr.io/coredns:1.6.5 \ k8s.gcr.io/etcd:3.4.3-0 \ k8s.gcr.io/pause:3.1 \
5.3.5 导入镜像
导入master节点镜像tar包
# master节点需要全部镜像 docker load -i k8s.1.17.5.tar
导入node节点镜像tar包
# node节点需要kube-proxy:v1.17.5和pause:3.1,2个镜像 docker load -i k8s.1.17.5.node.tar
5.4 初始化集群
配置k8s集群网络
5.4.1 calico 官网地址
# 官网下载地址： https://docs.projectcalico.org/v3.14/manifests/calico.yaml # github地址： https://github.com/projectcalico/calico # 镜像下载： docker pull calico/cni:v3.14.2 docker pull calico/pod2daemon-flexvol:v3.14.2 docker pull calico/node:v3.14.2 docker pull calico/kube-controllers:v3.14.2 # 配置hostname： hostnamectl set-hostname k8s-master01
需要这么多镜像
5.4.2 初始化集群信息:calico网络
kubeadm init --apiserver-advertise-address=192.168.198.156 --kubernetes- version v1.17.5 --service-cidr=10.1.0.0/16 --pod-network-cidr=10.81.0.0/16
192.168.198.156 替换成你主节点的IP地址。
5.4.3 执行配置命令
mkdir -p $HOME/.kube sudo cp -i /etc/kubernetes/admin.conf $HOME/.kube/config sudo chown $(id -u):$(id -g) $HOME/.kube/config
5.4.4 node节点加入集群信息
kubeadm join 192.168.198.186:6443 --token kksfgq.b9bhf82y35ufw4np \ --discovery-token-ca-cert-hash sha256:e1e347e6db1db5c13fcdc2c7d51a2f9029100a4cc13c2d89a2dbfa5077f5b07f
5.4.5 kubectl命令自动补全
echo "source <(kubectl completion bash)" >> ~/.bash_profile source ~/.bash_profile
5.4.6 测试 k8s 集群环境
kubectl get nodes
发现集群的节点都是 NotReady 的状态，这是因为你还没有应用 calico 网络的配置。
kubectl apply -f calico.yml
执行完后，发现整个 k8s 集群环境是正常的了，至此，k8s 集群搭建实战完成。
欢迎大家关注我的公众号【老周聊架构】，Java后端主流技术栈的原理、源码分析、架构以及各种互联网高并发、高性能、高可用的解决方案。
