实验拓扑：

网络异常，图片无法展示

实验要求：

（1）Kubernetes 区域可采用 Kubeadm 方式进行安装。

（2）要求在 Kubernetes 环境中，通过yaml文件的方式，创建2个Nginx Pod分别放置在两个不同的节点上，Pod使用hostPath类型的存储卷挂载，节点本地目录共享使用 /data，2个Pod副本测试页面二者要不同，以做区分，测试页面可自己定义。

（3）编写service对应的yaml文件，使用NodePort类型和TCP 30000端口将Nginx服务发布出去。

（4）负载均衡区域配置Keepalived+Nginx，实现负载均衡高可用，通过VIP 192.168.10.100和自定义的端口号即可访问K8S发布出来的服务。

（5）iptables防火墙服务器，设置双网卡，并且配置SNAT和DNAT转换实现外网客户端可以通过12.0.0.1访问内网的Web服务。

实验环境：

节点	IP	安装组件
master（2C/4G，cpu核心数要求大于2）	192.168.10.10	docker、kubeadm、kubelet、kubectl、flannel
node01（2C/2G）	192.168.10.20	docker、kubeadm、kubelet、kubectl、flannel
node02（2C/2G）	192.168.10.30	docker、kubeadm、kubelet、kubectl、flannel
lb01	192.168.10.40	nginx，keepalived
lb02	192.168.10.50	nginx，keepalived
网关服务器	内网网卡ens33：192.168.10.1，外网网卡ens36：12.0.0.1	iptables
客户端	12.0.0.12

一、Kubeadm 方式部署 k8s 集群

1.1 环境准备（所有节点操作）

#所有节点，关闭防火墙规则，关闭selinux，关闭swap交换
 systemctl stop firewalld
 systemctl disable firewalld
 setenforce 0
 sed -i 's/enforcing/disabled/' /etc/selinux/config
 iptables -F && iptables -t nat -F && iptables -t mangle -F && iptables -X
 swapoff -a                      #交换分区必须要关闭
 sed -ri 's/.*swap.*/#&/' /etc/fstab     #永久关闭swap分区，&符号在sed命令中代表上次匹配的结果
 #加载 ip_vs 模块
 for i in $(ls /usr/lib/modules/$(uname -r)/kernel/net/netfilter/ipvs|grep -o "^[^.]*");do echo $i; /sbin/modinfo -F filename $i >/dev/null 2>&1 && /sbin/modprobe $i;done
 #修改主机名
 hostnamectl set-hostname master     #master节点操作
 su
 hostnamectl set-hostname node01     #node01节点操作
 su
 hostnamectl set-hostname node02     #node02节点操作
 su
 #所有节点修改/etc/hosts文件，添加IP和主机名的映射关系
 vim /etc/hosts
 192.168.10.10 master
 192.168.10.20 node01
 192.168.10.30 node02
 #调整内核参数
 cat > /etc/sysctl.d/kubernetes.conf << EOF
 #开启网桥模式，可将网桥的流量传递给iptables链
 net.bridge.bridge-nf-call-ip6tables=1
 net.bridge.bridge-nf-call-iptables=1
 #关闭ipv6协议
 net.ipv6.conf.all.disable_ipv6=1
 #开启路由转发功能
 net.ipv4.ip_forward=1
 EOF
 #生效参数
 sysctl --system  
复制代码

以master节点为例：

网络异常，图片无法展示

1.2 所有节点安装docker

#安装环境依赖包
 yum install -y yum-utils device-mapper-persistent-data lvm2
 #设置阿里云镜像源
 yum-config-manager --add-repo https://mirrors.aliyun.com/docker-ce/linux/centos/docker-ce.repo 
 #安装 docker-ce
 yum install -y docker-ce  #docker-ce-cli、containerd.io 会作为依赖包被安装
 mkdir /etc/docker
 cat > /etc/docker/daemon.json <<EOF
 {
   "registry-mirrors": ["https://3u6mkfxb.mirror.aliyuncs.com"],  #使用镜像加速
   "exec-opts": ["native.cgroupdriver=systemd"],    #将Cgroup引擎修改为systemd
   "log-driver": "json-file",
   "log-opts": {
     "max-size": "100m"
   }
 }
 EOF
 #使用Systemd管理的Cgroup来进行资源控制与管理，因为相对Cgroupfs而言，Systemd限制CPU、内存等资源更加简单和成熟稳定。
 #日志使用json-file格式类型存储，大小为100M，保存在/var/log/containers目录下，方便ELK等日志系统收集和管理日志。
 #重新加载配置，将docker设置为开机自启
 systemctl daemon-reload
 systemctl restart docker.service
 systemctl enable docker.service 
 #查看Cgroup引擎是否已变更
 docker info | grep "Cgroup Driver"
 Cgroup Driver: systemd
复制代码

网络异常，图片无法展示

1.3 所有节点安装kubeadm，kubelet和kubectl

#定义kubernetes安装源
 cat > /etc/yum.repos.d/kubernetes.repo << EOF
 [kubernetes]
 name=Kubernetes
 baseurl=https://mirrors.aliyun.com/kubernetes/yum/repos/kubernetes-el7-x86_64
 enabled=1
 gpgcheck=0
 repo_gpgcheck=0
 gpgkey=https://mirrors.aliyun.com/kubernetes/yum/doc/yum-key.gpg https://mirrors.aliyun.com/kubernetes/yum/doc/rpm-package-key.gpg
 EOF
 #安装kubeadm，kubelet和kubectl
 yum install -y kubelet-1.20.11 kubeadm-1.20.11 kubectl-1.20.11
 #设置开机自启kubelet
 systemctl enable kubelet.service
 #K8S通过kubeadm安装出来以后都是以Pod方式存在，即底层是以容器方式运行，所以kubelet必须设置开机自启。
复制代码

网络异常，图片无法展示

1.4 部署K8S集群

#----- 1、查看初始化需要的镜像 ----
 kubeadm config images list    #查看可知，共需要7个镜像
 I0722 01:30:39.307047    6007 version.go:254] remote version is much newer: v1.24.3; falling back to: stable-1.20
 k8s.gcr.io/kube-apiserver:v1.20.15
 k8s.gcr.io/kube-controller-manager:v1.20.15
 k8s.gcr.io/kube-scheduler:v1.20.15
 k8s.gcr.io/kube-proxy:v1.20.15
 k8s.gcr.io/pause:3.2
 k8s.gcr.io/etcd:3.4.13-0
 k8s.gcr.io/coredns:1.7.0
 #----- 2、在 master 节点上传 v1.20.11.zip 压缩包（压缩包中包含所需的镜像文件）至 /opt 目录 ------
 cd /opt/
 mkdir /opt/k8s
 unzip v1.20.11.zip -d /opt/k8s   #解压
 cd /opt/k8s/v1.20.11
 for i in $(ls *.tar); do docker load -i $i; done  #载入镜像，将镜像文件导入到镜像库中
 docker images   #查看本地镜像
 #----- 3、复制镜像和脚本到 node 节点，并在 node 节点上执行脚本加载镜像文件 -----
 scp -r /opt/k8s root@node01:/opt
 scp -r /opt/k8s root@node02:/opt
 cd /opt/k8s/v1.20.11
 for i in $(ls *.tar); do docker load -i $i; done
 #----- 4、初始化kubeadm ------------------
 #master节点，通过如下指令创建默认的kubeadm-config.yaml文件
 kubeadm config print init-defaults > /opt/kubeadm-config.yaml
 #修改文件
 cd /opt/
 vim kubeadm-config.yaml
 ......
 11 localAPIEndpoint:
 12   advertiseAddress: 192.168.10.10     #指定master节点的IP地址
 13   bindPort: 6443
 ......
 34 kubernetesVersion: v1.20.11          #指定kubernetes版本号
 35 networking:
 36   dnsDomain: cluster.local
 38   serviceSubnet: 10.96.0.0/16        #指定service网段
 37   podSubnet: "10.244.0.0/16"         #指定pod网段，10.244.0.0/16用于匹配flannel默认网段
 39 scheduler: {}
 #末尾再添加以下内容
 --- 
 apiVersion: kubeproxy.config.k8s.io/v1alpha1
 kind: KubeProxyConfiguration
 mode: ipvs                  #把默认的kube-proxy调度方式改为ipvs模式
 #在master节点操作，初始化kubeadm，搭建k8s控制平面节点。结尾会有几条命令分别在master和node上执行
 kubeadm init --config=kubeadm-config.yaml --upload-certs | tee kubeadm-init.log
 #--experimental-upload-certs 参数可以在后续执行加入节点时自动分发证书文件，K8S V1.16版本开始替换为 --upload-certs
 #tee kubeadm-init.log 用以输出日志
 #master节点执行以下命令：
 #kubectl需经由API server认证及授权后方能执行相应的管理操作，kubeadm 部署的集群为其生成了一个具有管理员权限的认证配置文件 /etc/kubernetes/admin.conf，它可由 kubectl 通过默认的 “$HOME/.kube/config” 的路径进行加载。
 mkdir -p $HOME/.kube
 sudo cp -i /etc/kubernetes/admin.conf $HOME/.kube/config
 sudo chown $(id -u):$(id -g) $HOME/.kube/config
 #两个node节点执行以下命令，加入集群：
 kubeadm join 192.168.10.10:6443 --token abcdef.0123456789abcdef \
     --discovery-token-ca-cert-hash sha256:b48d7bec33150c0f58bd04c17a6b994900fdef116b6ef355282909330b3a23cc
 #查看 kubeadm-init 日志
 less kubeadm-init.log
 #kubernetes配置文件目录
 ls /etc/kubernetes/
 #存放ca等证书和密码的目录
 ls /etc/kubernetes/pki      
 #--------- 5、master节点，修改yaml文件，进行健康检查 ------------------------
 #初始化后，kubeadm本身没有健康检查方法，需要修改两个yaml文件，之后重启kubelet。
 kubectl get cs   #查看集群健康状态，有2个组件不健康，需要修改对应组件的yaml文件
 #如果 kubectl get cs 发现集群不健康，更改以下两个yaml文件
 vim /etc/kubernetes/manifests/kube-scheduler.yaml
  ......
  16     - --bind-address=192.168.10.10   #修改成k8s的控制节点master的ip
  ......
  19     #- --port=0     # 搜索port=0，把这一行注释掉
  ......
  24       httpGet:
  25         host: 192.168.10.10   #修改成k8s的控制节点master的ip
  ......
  38       httpGet:
  39         host: 192.168.10.10   #修改成k8s的控制节点master的ip
 vim /etc/kubernetes/manifests/kube-controller-manager.yaml
 17     - --bind-address=192.168.10.10   #修改成k8s的控制节点master的ip
 ......
 26     #- --port=0      # 搜索port=0，把这一行注释掉
 ......
 36       httpGet:
 37         host: 192.168.10.10    #修改成k8s的控制节点master的ip
 ......
 50       httpGet:
 51         host: 192.168.10.10    #修改成k8s的控制节点master的ip
 #重启kubelet
 systemctl restart kubelet
 #查看集群健康状态
 kubectl get cs 
复制代码

网络异常，图片无法展示

1.5 所有节点部署网络插件flannel

#在master节点查看所有节点状态，由于网络插件还没有部署，节点没有准备就绪，所以显示NotReady
 kubectl get nodes
 NAME     STATUS     ROLES                  AGE     VERSION
 master   NotReady   control-plane,master   49m     v1.20.11
 node01   NotReady   <none>                 11m     v1.20.11
 node02   NotReady   <none>                 4m41s   v1.20.11
 #---所有节点部署网络插件flannel
 ##（1）方法一：
 #所有节点上传flannel镜像 flannel.tar 到 /opt 目录，master节点上传 kube-flannel.yml 文件。
 #kube-flannel.yml 文件的下载地址https://raw.githubusercontent.com/coreos/flannel/master/Documentation/kube-flannel.yml
 cd /opt
 docker load -i flannel.tar   #所有节点导入镜像
 #在 master 节点创建 flannel 资源
 kubectl apply -f kube-flannel.yml 
 ##（2）方法二：
 kubectl apply -f https://raw.githubusercontent.com/coreos/flannel/master/Documentation/kube-flannel.yml
 #现在在master节点查看节点状态，都已是Ready状态
 kubectl get nodes
 NAME     STATUS   ROLES                  AGE    VERSION
 master   Ready    control-plane,master   136m   v1.20.11
 node01   Ready    <none>                 98m    v1.20.11
 node02   Ready    <none>                 92m    v1.20.11
 #查看各组件，都是Running状态
 kubectl get pods -n kube-system
 NAME                             READY   STATUS    RESTARTS   AGE
 coredns-74ff55c5b-788pc          1/1     Running   0          137m
 coredns-74ff55c5b-9hfnv          1/1     Running   0          137m
 etcd-master                      1/1     Running   0          137m
 kube-apiserver-master            1/1     Running   0          137m
 kube-controller-manager-master   1/1     Running   0          45m
 kube-flannel-ds-8ck6r            1/1     Running   0          3m10s
 kube-flannel-ds-9svrq            1/1     Running   0          3m10s
 kube-flannel-ds-fxpwt            1/1     Running   0          3m10s
 kube-proxy-22mgq                 1/1     Running   0          137m
 kube-proxy-2lx25                 1/1     Running   0          93m
 kube-proxy-s5s75                 1/1     Running   0          99m
 kube-scheduler-master            1/1     Running   0          62m
复制代码

网络异常，图片无法展示

二、创建两个自主式Pod资源

要求在 Kubernetes 环境中，通过yaml文件的方式，创建2个Nginx Pod分别放置在两个不同的节点上，Pod使用hostPath类型的存储卷挂载，节点本地目录共享使用 /data，2个Pod副本测试页面二者要不同，以做区分，测试页面可自己定义。

#1、先空跑命令，生成nginx的pod模板文件
 kubectl run mynginx --image=nginx:1.14 --port=80 --dry-run=client -o yaml > mynginx.yaml
 #2、修改模板文件
 vim mynginx.yaml
 ---
 apiVersion: v1
 kind: Pod
 metadata:
   labels:
     app: yuji-nginx      #pod的标签
   name: yuji-nginx01
 spec:
   nodeName: node01       #指定该pod调度到node01节点
   containers:
   - image: nginx:1.14
     name: mynginx
     ports:
     - containerPort: 80   #定义容器的端口
     volumeMounts:         #挂载存储卷
     - name: page01        #名称需要与下方定义的存储卷的名称一致
       mountPath: /usr/share/nginx/html    #容器中的挂载点，设置为nginx服务的网页根目录
       readOnly: false     #可读可写
   volumes:                #定义一个存储卷
   - name: page01          #存储卷的名称
     hostPath:             #存储卷的类型为 hostPath       
       path: /data         #node节点的共享目录
       type: DirectoryOrCreate    #该类型表示如果共享目录不存在，则系统会自动创建该目录
 ---
 apiVersion: v1
 kind: Pod
 metadata:
   labels:
     app: yuji-nginx         #pod的标签
   name: yuji-nginx02
 spec:
   nodeName: node02          #指定该pod调度到node02节点
   containers:
   - name: mynginx
     image: nginx:1.14
     ports:
     - containerPort: 80     #定义容器的端口
     volumeMounts:           #挂载存储卷
     - name: page02          #名称需要与下方定义的存储卷的名称一致
       mountPath: /usr/share/nginx/html   #容器中的挂载点
       readOnly: false
   volumes:               #定义一个存储卷
   - name: page02         #存储卷的名称
     hostPath:            #存储卷类型为 hostPath
       path: /data        #node节点的共享目录
       type: DirectoryOrCreate    #该类型表示如果共享目录不存在，则系统会自动创建该目录
 #使用yaml文件创建自主式Pod资源
 kubectl apply -f mynginx.yaml
 #查看创建的两个pod，被调度到了不同的node节点
 kubectl get pods -o wide
 NAME           READY   STATUS    RESTARTS   AGE     IP           NODE     NOMINATED NODE   READINESS GATES
 yuji-nginx01   1/1     Running   0          9m16s   10.244.1.2   node01   <none>           <none>
 yuji-nginx02   1/1     Running   0          9m16s   10.244.2.4   node02   <none>           <none>
 #---3、两个node节点的存储卷，写入不同的html文件内容，验证访问网页
 #node01节点
 echo "this is node01" > /data/index.html
 #node02节点
 echo "this is node02 ~~" > /data/index.html
 curl 10.244.1.2   #访问Node01节点的Pod的IP
 curl 10.244.2.4   #访问Node02节点的Pod的IP
复制代码

网络异常，图片无法展示

【云原生Kubernetes】K8S集群+负载均衡层+防火墙实例（上）

一、Kubeadm 方式部署 k8s 集群

1.1 环境准备（所有节点操作）

1.2 所有节点安装docker

1.3 所有节点安装kubeadm，kubelet和kubectl

1.4 部署K8S集群

1.5 所有节点部署网络插件flannel

二、创建两个自主式Pod资源

热门文章

最新文章

相关课程

相关电子书

相关实验场景

推荐镜像

热门

活动广场

任务中心

开发者评测

高校计划

乘风者计划

训练营

阿里云MVP

话题

直播

下载

镜像站

技术资料

插件

【云原生Kubernetes】K8S集群+负载均衡层+防火墙 实例（上）

一、Kubeadm 方式部署 k8s 集群

1.1 环境准备（所有节点操作）

1.2 所有节点安装docker

1.3 所有节点安装kubeadm，kubelet和kubectl

1.4 部署K8S集群

1.5 所有节点部署网络插件flannel

二、创建两个自主式Pod资源

热门文章

最新文章

相关课程

相关电子书

相关实验场景

推荐镜像

【云原生Kubernetes】K8S集群+负载均衡层+防火墙实例（上）