kubernetes 1.27.1 最新版集群部署国内环境

官方安装部署文档：https://kubernetes.io/zh-cn/docs/setup/production-environment/tools/kubeadm/install-kubeadm/

准备云服务器

首先买三台服务器。我用的阿里云服务器。

三台服务器如下，然后我用的Tabby连接三台服务器。

我以 i-bp12igqv5c7kdligslo2 私网地址为：172.16.146.249 这个实例为master节点。

主节点和从节点都需要做的

关闭SELinux，禁用SELinux的目的是让容器可以读取主机文件系统

sudo setenforce 0
sudo sed -i 's/^SELINUX=enforcing$/SELINUX=permissive/' /etc/selinux/config

关闭swap，如果内存不够用，直接起新节点，而不是让节点hang住

swapoff -a
sed -ri 's/.*swap.*/#&/' /etc/fstab

允许 iptables 检查桥接流量

cat <<EOF | sudo tee /etc/modules-load.d/k8s.conf
br_netfilter
EOF

cat <<EOF | sudo tee /etc/sysctl.d/k8s.conf
net.bridge.bridge-nf-call-ip6tables = 1
net.bridge.bridge-nf-call-iptables = 1
EOF
sudo sysctl --system

添加hosts

vim /etc/hosts
172.16.146.249 k8s-master
172.16.146.248 k8s-node1
172.16.146.247 k8s-node2

安装docker。

安装kubelet、kubeadm、kubectl。

安装docker

Alibaba Cloud Linux 3 (Soaring Falcon) 此系统兼容centos和RHEL

我们用centos安装方式安装docker, https://docs.docker.com/engine/install/centos/

sudo yum install -y yum-utils
sudo yum-config-manager \
    --add-repo \
    https://download.docker.com/linux/centos/docker-ce.repo
sudo yum install docker-ce docker-ce-cli containerd.io docker-buildx-plugin docker-compose-plugin
sudo systemctl start docker
sudo docker run hello-world

三台服务器都需要安装docker。接着我们配置docker镜像加速

sudo mkdir -p /etc/docker
sudo tee /etc/docker/daemon.json <<-'EOF'
{
  "registry-mirrors": ["https://qkmogfd4.mirror.aliyuncs.com"]
}
EOF
sudo systemctl daemon-reload
sudo systemctl restart docker

可以使用docker info 查看Registry Mirrors 是否成功配置了阿里云镜像。

安装cri-dockerd

安装go：https://go.dev/doc/install

cd /usr/local
# 下载 go1.20.3.linux-amd64.tar.gz 好像需要翻墙，那么现在本地下载完后，上传到服务器/usr/local目录下
rm -rf /usr/local/go && tar -C /usr/local -xzf go1.20.3.linux-amd64.tar.gz
export PATH=$PATH:/usr/local/go/bin  # 可以把他放到类似/etc/profile文件中
go version

接着安装cri-dockerd，我将cri-dockerd安装在 /opt 目录下。

项目地址：https://github.com/Mirantis/cri-dockerd

安装git ：yum install git ，服务器访问github慢的，网上说的改hosts对我来说有用

git clone https://github.com/Mirantis/cri-dockerd.git
cd cri-dockerd
mkdir bin
go build -o bin/cri-dockerd   # 这一步比较耗时，耐心等待
mkdir -p /usr/local/bin
install -o root -g root -m 0755 bin/cri-dockerd /usr/local/bin/cri-dockerd
cp -a packaging/systemd/* /etc/systemd/system
sed -i -e 's,/usr/bin/cri-dockerd,/usr/local/bin/cri-dockerd,' /etc/systemd/system/cri-docker.service
systemctl daemon-reload
systemctl enable cri-docker.service
systemctl enable --now cri-docker.socket

安装kubelet、kubeadm、kubectl

https://developer.aliyun.com/mirror/kubernetes/

cat <<EOF > /etc/yum.repos.d/kubernetes.repo
[kubernetes]
name=Kubernetes
baseurl=https://mirrors.aliyun.com/kubernetes/yum/repos/kubernetes-el7-x86_64/
enabled=1
gpgcheck=1
repo_gpgcheck=1
gpgkey=https://mirrors.aliyun.com/kubernetes/yum/doc/yum-key.gpg https://mirrors.aliyun.com/kubernetes/yum/doc/rpm-package-key.gpg
EOF
setenforce 0
yum install -y kubelet kubeadm kubectl
systemctl enable kubelet && systemctl start kubelet

主节点部署

国内访问不了registry.k8s.io，我们用阿里云的镜像，我们使用命令：

kubeadm config images pull --image-repository registry.cn-hangzhou.aliyuncs.com/google_containers --cri-socket=unix:///var/run/cri-dockerd.sock

接着k8s会获取registry.k8s.io前缀的镜像，那么我们：

docker tag registry.cn-hangzhou.aliyuncs.com/google_containers/kube-apiserver:v1.27.1 \
registry.k8s.io/kube-apiserver:v1.27.1

docker tag registry.cn-hangzhou.aliyuncs.com/google_containers/kube-scheduler:v1.27.1 \
registry.k8s.io/kube-scheduler:v1.27.1

docker tag registry.cn-hangzhou.aliyuncs.com/google_containers/kube-controller-manager:v1.27.1 \
registry.k8s.io/kube-controller-manager:v1.27.1

docker tag registry.cn-hangzhou.aliyuncs.com/google_containers/kube-proxy:v1.27.1 \
registry.k8s.io/kube-controller-manager:v1.27.1

docker tag registry.cn-hangzhou.aliyuncs.com/google_containers/coredns:v1.10.1 \
registry.k8s.io/coredns:v1.10.1

docker tag registry.cn-hangzhou.aliyuncs.com/google_containers/etcd:3.5.7-0 \
registry.k8s.io/etcd:3.5.7-0 

docker tag registry.cn-hangzhou.aliyuncs.com/google_containers/pause:3.6 \
registry.k8s.io/pause:3.6

-------------------------- 这个pause3.6和3.9建议都下载，我部署的时候总出问题
docker tag registry.cn-hangzhou.aliyuncs.com/google_containers/pause:3.9 \
registry.k8s.io/pause:3.9

kubeadm init \
--apiserver-advertise-address=172.16.146.249 \
--control-plane-endpoint=k8s-master \
--image-repository [registry.cn-hangzhou.aliyuncs.com/](http://registry.cn-hangzhou.aliyuncs.com/)google_containers \
--cri-socket=unix:///var/run/cri-dockerd.sock \
--pod-network-cidr=192.168.0.0/16 \
--v=5

生成kubeconfig文件

mkdir -p $HOME/.kube
sudo cp -i /etc/kubernetes/admin.conf $HOME/.kube/config
sudo chown $(id -u):$(id -g) $HOME/.kube/config

安装网络插件Calico

https://docs.tigera.io/calico/latest/getting-started/kubernetes/quickstart

按照文档一步步安装即可，要注意的是 kubeadm init 时 pod-network-cidr网络地址。

如果你设置的不是192.168.0.0/16，那么需要在creating custom resource时，修改相应的值。

最终执行完后，我的主节点pod状态：

加入节点

进入到我的 172.16.146.248 k8s-node1 和 172.16.146.247 k8s-node2。将它们加入主节点

我的token过期了，因此我执行kubeadm token create拿到一个新的token。

discovery-token-ca-cert-hash可以通过如下命令获取：

openssl x509 -pubkey -in /etc/kubernetes/pki/ca.crt | openssl rsa -pubin -outform der 2>/dev/null |\
   openssl dgst -sha256 -hex | sed 's/^.* //'

kubeadm join k8s-master:6443 --token ik594p.9jxv0yaohe9piqlj \
        --discovery-token-ca-cert-hash sha256:c6f792668e27516e1425bac6e489503cd483c054793e08675e4b8109b9644058 \
--cri-socket=unix:///var/run/cri-dockerd.sock

等了很长时间，这些 pod还是没有running，使用命令查看日志：

kubectl describe pods kube-proxy-x75bt -n kube-system

看到是因为registry.k8s.io/pause:3.6拉取失败，我试了在新加的两个node机器上执行：

docker pull registry.cn-hangzhou.aliyuncs.com/google_containers/pause:3.6

docker tag registry.cn-hangzhou.aliyuncs.com/google_containers/pause:3.6 registry.k8s.io/pause:3.6

接着回主节点查看pod状态，发现最终能够成功。

好了，部署过程还是有不少坑的，因为国内网络的问题。如果大家部署过程中有其他问题 ，欢迎评论区讨论。