kubeadm 工具实验 k8s一键安装-阿里云开发者社区

一实验环境

master（2C/4G，cpu核心数要求大于2） 192.168.217.99

docker、kubeadm、kubelet、kubectl、flannel

node01（2C/2G） 192.168.217.66

docker、kubeadm、kubelet、kubectl、flannel

node02（2C/2G） 192.168.217.77

docker、kubeadm、kubelet、kubectl、flannel

Harbor节点（hub.wyq.com） 192.168.217.88

docker、docker-compose、harbor-offline-v1.2.2

1、在所有节点上安装Docker和kubeadm

2、部署Kubernetes Master

3、部署容器网络插件

4、部署 Kubernetes Node，将节点加入Kubernetes集群中

5、部署 Dashboard Web 页面，可视化查看Kubernetes资源

6、部署 Harbor 私有仓库，存放镜像资源

二环境准备

所有节点

关闭防火墙

systemctl stop firewalld
systemctl disable firewalld

关闭selinux

swapoff -a                      #交换分区必须要关闭
sed -ri 's/.*swap.*/#&/' /etc/fstab     #永久关闭swap分区，&符号在sed命令中代表上次匹配的结果

关闭iptables

iptables -F && iptables -t nat -F && iptables -t mangle -F && iptables -X

关闭swap交换

swapoff -a                      #交换分区必须要关闭
sed -ri 's/.*swap.*/#&/' /etc/fstab     #永久关闭swap分区，&符号在sed命令中代表上次匹配的结果

加载 ip_vs 模块

for i in $(ls /usr/lib/modules/$(uname -r)/kernel/net/netfilter/ipvs|grep -o "^[^.]*");do echo $i; /sbin/modinfo -F filename $i >/dev/null 2>&1 && /sbin/modprobe $i;done

修改主机名

hostnamectl set-hostname master01
hostnamectl set-hostname node01
hostnamectl set-hostname node02

所有节点修改hosts文件

192.168.217.99 master01
192.168.217.66 node01
192.168.217.77 node02

调整内核参数

cat > /etc/sysctl.d/kubernetes.conf << EOF
#开启网桥模式，可将网桥的流量传递给iptables链
net.bridge.bridge-nf-call-ip6tables=1
net.bridge.bridge-nf-call-iptables=1
#关闭ipv6协议
net.ipv6.conf.all.disable_ipv6=1
net.ipv4.ip_forward=1
EOF

//生效参数
sysctl --system

三所有节点安装docker

所有节点

安装依赖环境和docker

yum install -y yum-utils device-mapper-persistent-data lvm2 
yum-config-manager --add-repo https://mirrors.aliyun.com/docker-ce/linux/centos/docker-ce.repo 
yum install -y docker-ce docker-ce-cli containerd.io

定义docker 配置文件

mkdir /etc/docker
cat > /etc/docker/daemon.json <<EOF
{
  "registry-mirrors": ["https://6ijb8ubo.mirror.aliyuncs.com"],
  "exec-opts": ["native.cgroupdriver=systemd"],
  "log-driver": "json-file",
  "log-opts": {
    "max-size": "100m"
  }
}
EOF

#使用Systemd管理的Cgroup来进行资源控制与管理，因为相对Cgroupfs而言，Systemd限制CPU、内存等资源更加简单和成熟稳定。

#日志使用json-file格式类型存储，大小为100M，保存在/var/log/containers目录下，方便ELK等日志系统收集和管理日志。

重启开机自启docker

systemctl daemon-reload
systemctl restart docker.service
systemctl enable docker.service

查看docker 是否配置成功

docker info | grep "Cgroup Driver"
Cgroup Driver: systemd

三所有节点安装kubeadm，kubelet和kubectl

所有节点

定义kubernetes源

cat > /etc/yum.repos.d/kubernetes.repo << EOF
[kubernetes]
name=Kubernetes
baseurl=https://mirrors.aliyun.com/kubernetes/yum/repos/kubernetes-el7-x86_64
enabled=1
gpgcheck=0
repo_gpgcheck=0
gpgkey=https://mirrors.aliyun.com/kubernetes/yum/doc/yum-key.gpg https://mirrors.aliyun.com/kubernetes/yum/doc/rpm-package-key.gpg
EOF

所有节点安装kubeadm，kubelet和kubectl

yum install -y kubelet-1.20.11 kubeadm-1.20.11 kubectl-1.20.11

开机自启kubelet

systemctl enable kubelet.service

#K8S通过kubeadm安装出来以后都是以Pod方式存在，即底层是以容器方式运行，所以kubelet必须设置开机自启

四部署K8S集群

1，查看初始化（一键安装）需要的镜像

kubeadm config images list

2，所有节点准备需要的镜像和启动脚本

master01 节点

准备一下压缩包

for循环全部载入镜像

for i in $(ls *.tar); do docker load -i $i; done

master01镜像准备完毕查看镜像

复制镜像和脚本到 node 节点

两个node节点

同理也for循环全部载入镜像

3，初始化kubeadm

两种方法，此处仅演示ymal 文件方法

master01

3.1 生成Kubernetes集群初始化的默认配置文件

kubeadm config print init-defaults > /opt/kubeadm-config.yaml

生成Kubernetes集群初始化的默认配置文件。这个命令的具体操作分解如下：

kubeadm config print init-defaults: 这部分命令调用了kubeadm工具中的config print init-defaults子命令。kubeadm是Kubernetes的一个命令行工具，用于快速、简单地初始化和管理Kubernetes集群。print init-defaults命令会输出一个默认的初始化配置模板，这个模板定义了使用kubeadm init命令启动一个新的Kubernetes控制平面所需的配置选项。配置包括API服务器的设置、网络插件的选择、证书和token的管理等。

**> 符号**: 在shell命令中，>`是一个重定向操作符，它指示将前面命令的输出内容写入（或覆盖）到后面指定的文件中，而不是打印到终端屏幕上。

/opt/kubeadm-config.yaml: 这是文件路径和名称，表示生成的默认配置将会被保存到/opt/目录下，文件名为kubeadm-config.yaml。/opt/目录通常用于存放可选的附加软件包，这里用来存储Kubernetes的初始化配置文件。

3.2 写一键安装的ymal 文件

vim kubeadm-config.yaml

apiVersion: kubeadm.k8s.io/v1beta2
bootstrapTokens:
- groups:
  - system:bootstrappers:kubeadm:default-node-token
  token: abcdef.0123456789abcdef
  ttl: 24h0m0s
  usages:
  - signing
  - authentication
kind: InitConfiguration
localAPIEndpoint:
  advertiseAddress: 192.168.217.99
  bindPort: 6443
nodeRegistration:
  criSocket: /var/run/dockershim.sock
  name: master01
  taints:
  - effect: NoSchedule
    key: node-role.kubernetes.io/master
---
apiServer:
  timeoutForControlPlane: 4m0s
apiVersion: kubeadm.k8s.io/v1beta2
certificatesDir: /etc/kubernetes/pki
clusterName: kubernetes
controllerManager: {}
dns:
  type: CoreDNS
etcd:
  local:
    dataDir: /var/lib/etcd
imageRepository: k8s.gcr.io
kind: ClusterConfiguration
kubernetesVersion: v1.20.11
networking:
  dnsDomain: cluster.local
  podSubnet: "10.244.0.0/16"
  serviceSubnet: 10.96.0.0/16
scheduler: {}
 
---
apiVersion: kubeproxy.config.k8s.io/v1alpha1
kind: KubeProxyConfiguration
mode: ipvs

3.3 执行ymal 文件

kubeadm init --config=kubeadm-config.yaml --upload-certs | tee kubeadm-init.log
 
-------------------------------------------------------------------------------
#--experimental-upload-certs 参数可以在后续执行加入节点时自动分发证书文件，K8S V1.16版本开始替换为 --upload-certs
 
#tee kubeadm-init.log 用以输出日志

kubeadm init: 这是 kubeadm 命令中用于初始化一个新的 Kubernetes 控制平面的主要子命令。执行此命令会在当前机器上部署集群的控制面组件，如 API 服务器、控制器管理器、调度器等，并且会设置必要的网络和安全配置。

--config=kubeadm-config.yaml: 这个参数指定了一个自定义的配置文件路径。在此命令中，使用了之前通过 kubeadm config print init-defaults 生成并可能经过编辑的 kubeadm-config.yaml 文件。该文件包含了初始化过程中的各种配置选项，比如 Pod 网络、API 服务器广告地址、令牌以及证书配置等。

--upload-certs: 这是一个可选参数，指示 kubeadm init 在初始化过程中自动将生成的证书上传到 Kubernetes 密钥存储中（通常是通过集群内的 Secret 对象）。这简化了在多节点集群中分发这些证书的过程，使得加入额外的节点变得更容易。

| (管道符号): 管道符号用于将前一个命令的输出作为后一个命令的输入。

tee kubeadm-init.log: tee 命令用于读取标准输入（本例中是 kubeadm init 的输出）并同时将其写入到指定的文件（这里是 kubeadm-init.log）以及标准输出（即屏幕）。这意味着初始化过程的日志不仅会显示在终端上，还会被保存到 kubeadm-init.log 文件中，便于后续查看或故障排查。

综上，整个命令的作用是使用自定义配置文件 kubeadm-config.yaml 初始化 Kubernetes 集群，并自动上传证书到集群内，同时通过管道和 tee 命令记录整个初始化过程的日志到 kubeadm-init.log 文件中。这样既完成了集群的初始化配置，又方便记录和审查操作日志。

3.4 查看执行结果

如果执行成功，可以看到成功的提示

并提示你还需要做以下两步：创建node节点能去访问apiserver的文件

将token 展示，供你复制

查看 kubeadm-init 日志

less kubeadm-init.log

查看kubernetes配置文件目录

查看存放ca等证书和密码的目录

3.5 方法2

kubeadm init \
--apiserver-advertise-address=192.168.10.19 \
--image-repository registry.aliyuncs.com/google_containers \
--kubernetes-version=v1.20.11 \
--service-cidr=10.96.0.0/16 \
--pod-network-cidr=10.244.0.0/16 \
--token-ttl=0

初始化集群需使用kubeadm init命令，可以指定具体参数初始化，也可以指定配置文件初始化。

可选参数：

--apiserver-advertise-address：apiserver通告给其他组件的IP地址，一般应该为Master节点的用于集群内部通信的IP地址，0.0.0.0表示节点上所有可用地址

--apiserver-bind-port：apiserver的监听端口，默认是6443

--cert-dir：通讯的ssl证书文件，默认/etc/kubernetes/pki

--control-plane-endpoint：控制台平面的共享终端，可以是负载均衡的ip地址或者dns域名，高可用集群时需要添加

--image-repository：拉取镜像的镜像仓库，默认是k8s.gcr.io

--kubernetes-version：指定kubernetes版本

--pod-network-cidr：pod资源的网段，需与pod网络插件的值设置一致。Flannel网络插件的默认为10.244.0.0/16，Calico插件的默认值为192.168.0.0/16；

--service-cidr：service资源的网段

--service-dns-domain：service全域名的后缀，默认是cluster.local

--token-ttl：默认token的有效期为24小时，如果不想过期，可以加上 --token-ttl=0 这个参数

方法二初始化后需要修改 kube-proxy 的 configmap，开启 ipvs

kubectl edit cm kube-proxy -n=kube-system

修改mode: ipvs

4，根据提示设定kubectl（准备家目录下.kube目录）

kubectl需经由API server认证及授权后方能执行相应的管理操作，kubeadm 部署的集群为其生成了一个具有管理员权限的认证配置文件 /etc/kubernetes/admin.conf，它可由 kubectl 通过默认的 “$HOME/.kube/config” 的路径进行加载。

master01

mkdir -p $HOME/.kube
cp -i /etc/kubernetes/admin.conf $HOME/.kube/config
chown $(id -u):$(id -g) $HOME/.kube/config
 
----------------------------------------------------
#这条命令序列是用来配置Kubernetes命令行工具(kubectl)的访问权限，以便用户能够在本地轻松地管理Kubernetes集群

5，改 master的两个组件配置文件指向master

master01

kubectl get cs 发现集群不健康原因没指向api

vim /etc/kubernetes/manifests/kube-scheduler.yaml

vim /etc/kubernetes/manifests/kube-controller-manager.yaml

改完配置文件记得重启kubelet

systemctl restart kubelet

再次查看集群健康状态全部为健康！

6，所有节点部署网络插件flannel

所有节点

上传 flannel-cni-v1.2.0.tar flannel-v0.22.2.tar 这两个镜像

方法二：

kubectl apply -f https://raw.githubusercontent.com/coreos/flannel/master/Documentation/kube-flannel.yml

kubectl apply -f https://github.com/flannel-io/flannel/releases/latest/download/kube-flannel.yml

载入镜像

master01节点

master节点上传 kube-flannel.yml 文件

vim kube-flannel.yml 仔细检查ymal文件中指定的镜像与我上传的镜像版本是否一致

kubectl apply -f kube-flannel.yml

node节点

让node 也加入集群复制执行 kubeadm-config.yaml 得到的令牌(可以看 kubeadm-init.log )

7，检查集群状态

master01节点

kubectl get node 查看node是否加入集群

kubectl get pods -n kube-system 查看 kube-system 命名空间

在Kubernetes环境中，使用kubectl get pods -n <namespace>命令可以查看指定命名空间（namespace）下的Pods状态。上述命令显示了kube-system命名空间中的Pods状态。下面是输出信息的解释：

NAME: Pod的名称。每个条目代表一个运行中的Pod实例。

READY: 表示Pod内所有容器的期望状态是否达到。例如，1/1意味着Pod中有一个容器，并且这个容器已经就绪（Running且健康检查通过）。如果有多个容器，会显示为N/M，其中N是已就绪的容器数，M是总容器数。

STATUS: 描述Pod的当前状态。常见状态包括：

Running: Pod内的容器正在运行并且至少有一个容器已经就绪。

Pending: Pod正在被调度或者等待其依赖的服务（如镜像拉取）完成。

Failed: Pod中的所有容器以非0退出码终止，且kubelet不会重启它们。

Succeeded: 对于只运行到完成的Pod（比如Job），所有容器都成功执行结束。

其他状态还包括CrashLoopBackOff(容器反复启动并失败)等。

RESTARTS: 自Pod启动以来，容器被重启的次数。频繁的重启可能指示存在问题。

AGE: Pod创建至今的时间长度。

kubectl get pod -n kube-flannel -owide

显示了kube-flannel命名空间中的Pods状态。

五暴露端口提供服务

1，测试 pod 资源创建

master01节点

查看 pod

2，查看所有的网络

master01节点

查看pod ip

查看service ip

pod ip 在内部可以访问（网络互通的）

3，暴露端口提供服务

master01节点

想要可以外部访问，需要暴露端口提供服务

kubectl expose deployment nginx --port=80 --type=NodePort

可以看到nginx 端口映射为 31101

浏览器访问 node ip:31101

（为什么是node节点的ip node是工作节点，所有pod实例在node上）

4, 副本扩容

就是创建一样的pod (扩容理解为吃鸡里的扩容弹夹) 提高服务反馈能力

master01节点

kubectl scale deployment nginx --replicas=3

查看pod

六部署 Dashboard

1，上传 Dashboard 和recommended.yaml

master01节点

2，载入镜像并修改yaml 文件

master01节点

载入镜像

修改yaml 文件

#默认Dashboard只能集群内部访问，修改Service为NodePort类型，暴露到外部：

3，启动ymal 文件

4，创建service account并绑定默认cluster-admin管理员集群角色

kubectl create serviceaccount dashboard-admin -n kube-system
kubectl create clusterrolebinding dashboard-admin --clusterrole=cluster-admin --serviceaccount=kube-system:dashboard-admin
kubectl describe secrets -n kube-system $(kubectl -n kube-system get secret | awk '/dashboard-admin/{print $1}')

5，使用输出的token登录Dashboard

https://NodeIP:30001

6，如何找到 Dashboard 对外暴露的端口

kubectl get svc -n kubernetes-dashboard

七安装Harbor私有仓库

1，环境准备

Harbor节点

修改主机名

所有节点

所有节点加上主机名映射

Harbor节点

安装 docker

yum install -y yum-utils device-mapper-persistent-data lvm2 
yum-config-manager --add-repo https://mirrors.aliyun.com/docker-ce/linux/centos/docker-ce.repo 
yum install -y docker-ce docker-ce-cli containerd.io

所有节点

所有 node 节点都修改 docker 配置文件，加上私有仓库配置

cat > /etc/docker/daemon.json <<EOF
{
  "registry-mirrors": ["https://6ijb8ubo.mirror.aliyuncs.com"],
  "exec-opts": ["native.cgroupdriver=systemd"],
  "log-driver": "json-file",
  "log-opts": {
    "max-size": "100m"
  },
  "insecure-registries": ["https://hub.kgc.com"]
}
EOF

systemctl daemon-reload
systemctl restart docker

2，上传harbor 包和 docker-compose 文件

Harbor节点

上传 harbor-offline-installer-v1.2.2.tgz 和 docker-compose 文件到 /opt 目录

准备 docker-compose

移到指定目录加x 权限

准备 harbor

解压harbor

vim harbor.cfg

5  hostname = hub.wyq.com
9  ui_url_protocol = https
24 ssl_cert = /data/cert/server.crt
25 ssl_cert_key = /data/cert/server.key
59 harbor_admin_password = Harbor12345

3, 生成私钥

Harbor节点

准备证书目录

这条命令的作用是生成一个2048位的RSA私钥，并使用DES3算法对其进行加密，然后将这个加密后的私钥保存到名为server.key的文件中

openssl genrsa -des3 -out server.key 2048

4，生成证书签名请求文件

Harbor节点

执行这条命令时，OpenSSL通常会启动一个交互式的过程，要求你输入一些信息，比如组织名称、部门、国家、地区、城市、邮箱等。这些信息会被嵌入到CSR中，作为证书申请的一部分。一旦你提供了所有必要的信息并确认无误，CSR就会被创建出来，之后你可以将其提交给信任的证书颁发机构，以便他们验证你的身份并签发对应的SSL/TLS证书。

openssl req -new -key server.key -out server.csr
 
--------------------------------
输入私钥密码：123456
输入国家名：CN
输入省名：NJ
输入市名：NJ
输入组织名：WYQ
输入机构名：WYQ
输入域名：hub.wyq.com
输入管理员邮箱：admin@wyq.com
其它全部直接回车

5，签发证书

Harbor节点

备份私钥

清除私钥密码

清除私钥密码主要是为了自动化部署和服务运行的便捷性

openssl rsa -in server.key.org -out server.key
输入私钥密码：123456

根据提供的CSR（server.csr）证书签名请求文件和私钥（server.key），签发一个有效期为1000天的X.509证书，并将生成的证书保存为server.crt。这个过程不需要外部CA（证书权威机构）的参与，因此生成的是自签名证书，适用于测试环境或内部系统，对于公开互联网上的服务，通常需要向受信任的CA申请证书

openssl x509 -req -days 1000 -in server.csr -signkey server.key -out server.crt

给所有的文件加 x 权限

6，安装harbor

Harbor节点

cd /opt/harbor/

./install.sh

此处有报错 docker 版本安装 20.10.18 版本

 
sudo yum install -y docker-ce-20.10.18 docker-ce-cli-20.10.18 containerd.io

7，电脑本机做域名映射

路径如下

8, 登录网页端

在本地使用浏览器访问：https://hub.wyq.com

添加例外 -> 确认安全例外

用户名：admin

密码：Harbor12345

9 检测harbor 仓库

node01r节点

在一个node节点上登录harbor

docker login -u admin -p Harbor12345 https://hub.benet.com

上传镜像

docker tag nginx:latest hub.wyq.com/library/nginx:v1
docker push hub.wyq.com/library/nginx:v1

master节点

在master节点上删除之前创建的nginx资源

创建3台 nginx 并暴露端口

kubectl create deployment nginx-deployment --image=hub.wyq.com/library/nginx:v1 --port=80 --replicas=3
 
kubectl expose deployment nginx-deployment --port=30000 --target-port=80

可以看到三台正在运行

查看LVS

yum install ipvsadm -y
ipvsadm -Ln

curl 10.96.3.94:30000 (这是deployment 虚拟ip 内部访问)

10 把调度策略改成NodePort

master节点

kubectl edit svc nginx-deployment
25   type: NodePort           #把调度策略改成NodePort

修改后，Kubernetes会自动应用新的Service配置，使得Service变为NodePort类型，从而可以在集群节点的指定端口上直接访问到Service背后的Pods。记得检查Service的输出以获取分配的NodePort端口号：

查看端口

浏览器访问master01 node01 node02 ip +32144

11，将cluster-admin角色权限授予用户system:anonymous

master节点

kubectl create clusterrolebinding cluster-system-anonymous --clusterrole=cluster-admin --user=system:anonymous

八内核参数优化方案

cat > /etc/sysctl.d/kubernetes.conf <<EOF
net.bridge.bridge-nf-call-iptables=1
net.bridge.bridge-nf-call-ip6tables=1
net.ipv4.ip_forward=1
net.ipv4.tcp_tw_recycle=0
vm.swappiness=0                 #禁止使用 swap 空间，只有当系统内存不足（OOM）时才允许使用它
vm.overcommit_memory=1              #不检查物理内存是否够用
vm.panic_on_oom=0               #开启 OOM
fs.inotify.max_user_instances=8192
fs.inotify.max_user_watches=1048576
fs.file-max=52706963              #指定最大文件句柄数
fs.nr_open=52706963               #仅4.4以上版本支持
net.ipv6.conf.all.disable_ipv6=1
net.netfilter.nf_conntrack_max=2310720
EOF

热门

活动广场

任务中心

开发者评测

高校计划

乘风者计划

训练营

阿里云MVP

话题

直播

下载

镜像站

技术资料

插件

kubeadm 工具实验 k8s一键安装

一 实验环境

二 环境准备

三 所有节点安装docker

三 所有节点安装kubeadm，kubelet和kubectl

四 部署K8S集群

1，查看初始化（一键安装）需要的镜像

2，所有节点准备需要的镜像和 启动脚本

3， 初始化kubeadm

3.1 生成Kubernetes集群初始化的默认配置文件

3.2 写一键安装的ymal 文件

3.3 执行ymal 文件

3.4 查看执行结果

3.5 方法2

4， 根据提示 设定kubectl（准备家目录下.kube目录）

5，改 master的两个组件配置文件 指向master

6，所有节点部署网络插件flannel

7， 检查集群状态

五 暴露端口提供服务

1，测试 pod 资源创建

2， 查看所有的网络

3，暴露端口提供服务

4, 副本 扩容

六 部署 Dashboard

1，上传 Dashboard 和recommended.yaml

2，载入镜像并修改yaml 文件

3，启动ymal 文件

4，创建service account并绑定默认cluster-admin管理员集群角色

5，使用输出的token登录Dashboard

6， 如何找到 Dashboard 对外暴露的端口

七 安装Harbor私有仓库

1， 环境准备

2，上传harbor 包 和 docker-compose 文件

3, 生成私钥

4，生成证书签名请求文件

5， 签发证书

6， 安装harbor

7， 电脑本机 做域名映射

8, 登录网页端

9 检测harbor 仓库

10 把调度策略改成NodePort

11， 将cluster-admin角色权限授予用户system:anonymous

八 内核参数优化方案

热门文章

最新文章

相关课程

相关电子书

相关实验场景

推荐镜像

一实验环境

二环境准备

三所有节点安装docker

三所有节点安装kubeadm，kubelet和kubectl

四部署K8S集群

2，所有节点准备需要的镜像和启动脚本

3，初始化kubeadm

4，根据提示设定kubectl（准备家目录下.kube目录）

5，改 master的两个组件配置文件指向master

7，检查集群状态

五暴露端口提供服务

2，查看所有的网络

4, 副本扩容

六部署 Dashboard

6，如何找到 Dashboard 对外暴露的端口

七安装Harbor私有仓库

1，环境准备

2，上传harbor 包和 docker-compose 文件

5，签发证书

6，安装harbor

7，电脑本机做域名映射

11，将cluster-admin角色权限授予用户system:anonymous

八内核参数优化方案