使用Kubeadm搭建Kubernetes集群

Kubernetes架构

Kubernetes 主要由以下几个核心组件组成：

• etcd 保存了整个集群的状态；

• kube-apiserver 提供了资源操作的唯一入口，并提供认证、授权、访问控制、API 注册和发现等机制；

• kube-controller-manager 负责维护集群的状态，比如故障检测、自动扩展、滚动更新等；

• kube-scheduler 负责资源的调度，按照预定的调度策略将 Pod 调度到相应的机器上；

• kubelet 负责维持容器的生命周期，同时也负责 Volume（CVI）和网络（CNI）的管理；

• Container runtime 负责镜像管理以及 Pod 和容器的真正运行（CRI），默认的容器运行时为 Docker；

• kube-proxy 负责为 Service 提供 cluster 内部的服务发现和负载均衡；

今天我们先重点说一下kubelet组件，kubelet 主要负责同容器运行时（比如 Docker 项目）打交道。而这个交互所依赖的，是一个称作 CRI（Container Runtime Interface）的远程调用接口，这个接口定义了容器运行时的各项核心操作，比如：启动一个容器需要的所有参数。

此外，kubelet 还通过 gRPC 协议同一个叫作 Device Plugin 的插件进行交互。这个插件，是 Kubernetes 项目用来管理 GPU 等宿主机物理设备的主要组件，也是基于 Kubernetes 项目进行机器学习训练、高性能作业支持等工作必须关注的功能。

而kubelet 的另一个重要功能，则是调用网络插件和存储插件为容器配置网络和持久化存储。这两个插件与 kubelet 进行交互的接口，分别是 CNI（Container Networking Interface）和 CSI（Container Storage Interface）。

kubelet 完全是为了实现 Kubernetes 项目对容器的管理能力而实现的一个组件。

了解完Kubernetes架构后，我们今天使用Kubeadm部署一个Kubernetes集群。使用Kubeadm部署Kubernetes集群很简单，只需要两步操作即可：kubeadm init，kubeadm join，当然在正式安装之前咱们先需要做一下基础准备！

基础环境准备

安装一个Kubernates最小集群需要三台机器，一台Master节点，两台Node节点，机器规划如下：

• 安装并启动Docker
  安装过程略，可参看我之前的Docker系列文章，安装完成后使用 systemctl start docker 命令启动Docker

• 使用命令将docker服务设置开机启动
  systemctl enable docker
  

• 查看docker 版本，确保各个节点安装的docker版本一致

• 关闭禁用各节点的防火墙
  停止防火墙：systemctl stop firewalld.service
  禁用防火墙：systemctl disable firewalld.service
  查看防火墙状态：systemctl list-unit-files|grep firewalld.service
  

• 关闭各节点的selinux
  编辑/etc/selinux/config 文件并设置 SELINUX 的值为 disabled
  

• 关闭各节点的swap
  如果不关闭kubernetes运行会出现错误， 即使安装成功了，node重启后也会出现kubernetes server运行错误。
  sudo swapoff -a
  

• 给各节点添加kubernetes的yum源
  进入目录 cd /etc/yum.repos.d/
  

内容如下，大家可以直接复制粘贴。

[kubernetes]
name=KubernetesRepobaseurl=https://mirrors.aliyun.com/kubernetes/yum/repos/kubernetes-el7-x86_64/gpgcheck=1gpgkey=https://mirrors.aliyun.com/kubernetes/yum/doc/rpm-package-key.gpgenable=1EOF

• 查看yum源是否可用yum repolist

做好上面的准备工作后，我们来安装Kubeadm。

Kubeadm 安装

Master安装

• 修改master主机名为kubernetes-master
  hostnamectl set-hostname kubernetes-master
  

• 卸载原kubeadm（若有）：
  yum remove -y kubelet kubeadm kubectl
  

• 安装kubeadm：
  yum install -y kubelet kubeadm kubectl
  

• 重启 docker，并启动 kubelet

systemctldaemon-reloadsystemctlrestartdockersystemctlenablekubelet&&systemctlstartkubelet

• 查看kubelet状态：
  systemctl status kubelet
  

如果此时执行 service status kubelet 命令，将得到 kubelet 启动失败的错误提示，请忽略此错误，因为必须完成后续步骤中 kubeadm init 的操作，kubelet 才能正常启动

• 生成kubeadm配置文件kubeadm.yml
  进入文件夹 cd /app/k8s，执行命令生成配置文件kubeadm config print init-defaults --kubeconfig ClusterConfiguration > kubeadm.yml在文件夹下，会生成一个kubeadm.yml文件，需要对kubeadm.yml进行修改。

apiVersion: kubeadm.k8s.io/v1beta2bootstrapTokens:
-groups:
-system:bootstrappers:kubeadm:default-node-tokentoken: abcdef.0123456789abcdefttl: 24h0m0susages:
-signing-authenticationkind: InitConfigurationlocalAPIEndpoint:
advertiseAddress: 192.168.136.128bindPort: 6443nodeRegistration:
criSocket: /var/run/dockershim.sockname: kubernetes-mastertaints:
-effect: NoSchedulekey: node-role.kubernetes.io/master---apiServer:
timeoutForControlPlane: 4m0sapiVersion: kubeadm.k8s.io/v1beta2certificatesDir: /etc/kubernetes/pkiclusterName: kubernetescontrollerManager: {}
dns:
type: CoreDNSetcd:
local:
dataDir: /var/lib/etcdimageRepository: k8s.gcr.iokind: ClusterConfigurationkubernetesVersion: v1.18.0networking:
dnsDomain: cluster.localpodSubnet: "192.168.0.0/16"serviceSubnet: 10.96.0.0/12scheduler: {}

主要做三处修改：

修改imageRepository为registry.aliyuncs.com/google_containers 阿里镜像源；

修改kubernetesVersion，我们使用v1.18.0作为kubernetes版本；

修改podSubnet，配置成Calico默认网段

• 查看并拉取镜像

#查看所需镜像列表kubeadmconfigimageslist--configkubeadm.yml#拉取镜像kubeadmconfigimagespull--configkubeadm.yml

• master初始化
  执行以下命令初始化主节点，该命令指定了初始化时需要使用的配置文件，其中添加 --upload-certs 参数可以在后续执行加入节点时自动分发证书文件。追加的 tee kubeadm-init.log 用以输出日志。
  kubeadm init --config=kubeadm.yml --upload-certs | tee kubeadm-init.log

• 再次查看kebelet状态
  systemctl status kubelet

• 此时kubelet为active，运行状态。

• 配置kubelet

rm-rf/root/.kube/mkdir/root/.kube/cp-i/etc/kubernetes/admin.conf/root/.kube/config

• 验证是否安装成功kubectl get node
  

此时节点的状态为NotReady，这是由于我们还没部署任何网络插件，是正常的。

Node 节点安装

Node节点只需要在安装docker的基础上安装kubeadm组件即可。

• 修改主机名
  hostnamectl set-hostname kubernetes-node1
  

• 卸载原kubeadm（若有）：
  yum remove -y kubelet kubeadm kubectl
  

• 安装kubeadm：
  yum install -y kubeadm
  

• 获取join命令（在Master节点执行）
  kubeadm token create --print-join-command
  

kubeadmjoin192.168.136.128:6443--tokenbk1hs7.bxxz26xkzamtpn64--discovery-token-ca-cert-hashsha256:a3ce56bb691c996e2b842ccfc08dbec834e295f30e582be0ca258500e02f49cc

Node2节点安装过程略。。。

完成两个节点的join后可以在master节点查看节点状态，kubectl get nodes -o wide

至此  Node节点都已经加入Master。

安装网络插件Calico

在Master节点使用命令kubectl apply -f https://docs.projectcalico.org/v3.13/manifests/calico.yaml 进行Calico网络插件的安装。

安装完成后我们可以使用命令kubectl get pods -n kube-system -o wide 查看pod状态。

再次查看node节点状态kubectl get nodes -o wide，发现处于Ready状态

这样我们整个Kubernetes集群已经搭建完成，大家可以开始部署你的服务应用了！

重新加入节点

若节点需要重新加入节点可以按照如下步骤进行：

• 先在node节点执行kubeadm reset -f 命令，重置kubeadm
  

• 在Master节点删除原节点
  kubectl delete node kubernetes-node1
  

• 在Master节点获取join命令
  kubeadm token create --print-join-command
  

• 在Node节点执行命令重新加入集群kubeadm join 192.168.136.128:6443 --token bk1hs7.bxxz26xkzamtpn64 --discovery-token-ca-cert-hash sha256:a3ce56bb691c996e2b842ccfc08dbec834e295f30e582be0ca258500e02f49cc
  

安装错误

在安装Node节点时可能会出现如下的错误

[ERRORFileContent--proc-sys-net-bridge-bridge-nf-call-iptables]: /proc/sys/net/bridge/bridge-nf-call-iptablescontentsarenotsetto1

解决方法：

echo"1">/proc/sys/net/bridge/bridge-nf-call-iptables

重启Master节点后执行kubectl 相关命令出现如下错误，则很可能是没关闭swap导致kubelet无法正常启动，可以使用free -m命令查看

若swap所在行不为0则表示未关闭swap，可以使用swapoff -a命令关闭，然后使用命令systemctl start kubelet 重新启动kubelet 。