从零开始，在 Kubernetes 上玩转 Erda（一）

前言

Erda 是一款开源的云原生 PaaS 平台，本系列文章主要实操 Erda 部署以及部分功能的使用测试，主要分为如下几个部分：

1. 使用 kubeadm 部署 Kubernetes (本节)
2. 通过 helm 部署并配置 Erda
3. 利用 Erda CI/CD 能力交付应用

tips:

1. 本系列文章选用的是 Erda 2.x 版本。
2. 由于资源限制，文中涉及的部署架构均未考虑生产高可用，如果生产要求，可按需扩充资源。

如果手里有符合条件的集群，可以忽略本节内容，直接 Erda。

资源准备

根据文档中给出的推荐资源，除了 Kubernetes 资源以外还需要两台 4核 16G 的机器。

:( 手里并没有这么多资源，我们这边对资源进行一下压缩，使用三台如下配置的服务器进行部署。

部署 Kubernetes

通过查看文档，Erda 所需要的 Kubernetes 集群要求如下：

• 操作系统: CentOS 7.4 以上
• 版本：1.16-1.20
• 组件：要求安装 Ingress-Controller
• 运行时：Docker
  

通用配置

以下操作需要在集群的每个节点中执行，请考虑批量操作。

更改 hostname

节点 hostname，可以按照几种常见格式：

• 按照 nodeip 的格式，比如 node-192168100101 ...
• 按照节点角色的格式，k8s-master、k8s-node1 ...

hostnamectl set-hostname [xxxx]

禁用防火墙

systemctl stop firewalld && systemctl disable firewalld

关闭 swap 分区

swapoff -a && sed-i'/swap/s/^\(.*\)$/#\1/g' /etc/fstab

关闭 SELinux

setenforce 0 && sed-i's/^SELINUX=.*/SELINUX=disabled/' /etc/selinux/config

加载 ipvs

此处根据操作系统的版本，按需开启，我们这里只安装下 ipvsadm。

yum install -y ipvsadm

允许 iptables 检查桥接流量

cat <<EOF | sudotee /etc/modules-load.d/k8s.conf
br_netfilter
EOF
cat <<EOF | sudotee /etc/sysctl.d/k8s.conf
net.bridge.bridge-nf-call-ip6tables =1net.bridge.bridge-nf-call-iptables =1EOF
sudo sysctl --system

部署 Docker

添加阿里云 repo

yum install -y yum-utils && yum-config-manager --add-repo http://mirrors.aliyun.com/docker-ce/linux/centos/docker-ce.repo

安装 docker 及 依赖

yum install -y device-mapper-persistent-data lvm2 docker-ce docker-ce-cli containerd

docker 开机自启

systemctl start docker && systemctl enable docker

配置 docker 并重启，此处需要关心如下配置：

• insecure-registries: registry 放行，erda 文档中有介绍，我们直接在安装 docker 时候配置好。
• registry-mirrors： 镜像加速。

echo-e'{\n    "insecure-registries": ["0.0.0.0/0"],\n    "registry-mirrors": ["https://docker.mirrors.ustc.edu.cn", "http://hub-mirror.c.163.com"]\n}' > /etc/docker/daemon.json

systemctl daemon-reload && systemctl restart docker

配置 kubeadm 国内 yum 源

cat <<EOF > /etc/yum.repos.d/kubernetes.repo
[kubernetes]
name=Kubernetes
baseurl=http://mirrors.aliyun.com/kubernetes/yum/repos/kubernetes-el7-x86_64
enabled=1gpgcheck=0repo_gpgcheck=0gpgkey=http://mirrors.aliyun.com/kubernetes/yum/doc/yum-key.gpghttp://mirrors.aliyun.com/kubernetes/yum/doc/rpm-package-key.gpg
EOF

部署 kubeadm kubectl kubelet

yum install -y kubelet-1.20.13 kubeadm-1.20.13 kubectl-1.20.13
systemctl enable kubelet && systemctl start kubelet

初始化 master 节点

在 master 节点执行如下命令进行初始化：

• --apiserver-advertise-address: 声明 apiserver 地址, 比如 192.168.100.101。
• --pod-network-cidr，--service-cidr ：pod 以及 service 的网段，需要注意避免与机器所在的网段冲突。

kubeadm init --kubernetes-version=v1.20.13 --pod-network-cidr=10.244.0.0/16 --service-cidr=10.96.0.0/12 --image-repository registry.aliyuncs.com/google_containers --apiserver-advertise-address=192.168.100.101

出现如下提示，master 节点初始化成功

根据命令提示，拷贝 kubeconfig 文件, 此时我们可以通过 kubectl 查看集群状态

mkdir-p$HOME/.kube
sudocp-i /etc/kubernetes/admin.conf $HOME/.kube/config
sudochown$(id -u):$(id -g)$HOME/.kube/config
kubectl get no

（可选）更改 kube-proxy 为 ipvs 模式，更改 kubeproxy 的配置并重启 pod

kubectl edit cm -n kube-system kube-proxy

kubectl delete po -n kube-system `kubectl get po -n kube-system | grep -i kube-proxy | awk '{print $1}'`

初始化 node 节点

根据 master 初始化结果中的提示，在 node 节点执行 kubeadm join 命令

kubeadm join 192.168.100.101:6443 --token xxxx \
--discovery-token-ca-cert-hash xxxxx

此时在控制节点可以查看到其他两个节点已经加到集群中来了

此时可以看到节点都是 NotReady 的状态，我们需要继续部署网络插件。

部署插件

网络插件 calico

网络插件上我们选型 calico (v3.18)，首先部署 tigera-operator

kubectl create -f https://docs.projectcalico.org/archive/v3.18/manifests/tigera-operator.yaml

获取 Installation 资源模板

wget https://docs.projectcalico.org/archive/v3.18/manifests/custom-resources.yaml --no-check-certificate

修改其中 spec.calicoNetwork.ipPools[0].cidr 为安装时指定的 Pod CIDR（--pod-network-cidr）

部署 Installation 

kubectl apply -f custom-resources.yaml

等待所有 Pod 正常

watch kubectl get pods -n calico-system

网络插件部署完成后，再次查看 节点状态以及 coredns 状态，均正常

部署 Nginx Ingress-Controller

Ingress Controller 我们通过 helm 的方式来部署，方便进行配置。

安装 Helm

wget https://get.helm.sh/helm-v3.8.1-linux-amd64.tar.gz
tar -zxvf helm-v3.8.1-linux-amd64.tar.gz
mv linux-amd64/helm /usr/local/bin && chmod+x /usr/local/bin/helm

添加 repo

helm repo add ingress-nginx https://kubernetes.github.io/ingress-nginx
helm repo update

编写 values.yaml    

cat <<EOF > ingress-nginx-values.yaml
controller:  image:    registry: registry.cn-shanghai.aliyuncs.com/viper
    image: ingress-nginx-controller
    digest: sha256:bc30cb296e7548162afd9601f6b96261dcca8263e05b962694d1686b4d5a9584
  watchIngressWithoutClass: true  hostNetwork: true  hostPort:    enabled: true    ports:      http: 80      https: 443  kind: DaemonSet
  nodeSelector:    ingress: "true"  admissionWebhooks:    patch:      image:         registry: registry.cn-shanghai.aliyuncs.com/viper
        image: kube-webhook-certgen
        digest: sha256:78351fc9d9b5f835e0809921c029208faeb7fbb6dc2d3b0d1db0a6584195cfed
EOF

对 master 节点添加标签 ingress=true 并取消 master 节点污点（由于资源紧张，复用资源）

kubectl label no node-192168100101 ingress=truekubectl taint no --all node-role.kubernetes.io/master-

部署 ingress-controller

helm install ingress-nginx ingress-nginx/ingress-nginx --version=4.0.8 -f ingress-nginx-values.yaml -n ingress-nginx --create-namespace

参考链接：

• https://kubernetes.io/zh/docs/setup/production-environment/tools/kubeadm/install-kubeadm/
• https://projectcalico.docs.tigera.io/archive/v3.18/getting-started/kubernetes/quickstart
• https://github.com/kubernetes/ingress-nginx/tree/main/charts/ingress-nginx
• https://docs.erda.cloud/2.0/manual/install/helm-install/premise.html