#1、编写service对应的yaml文件
 vim myservice.yaml
 apiVersion: v1
 kind: Service
 metadata: 
    name: yuji-nginx-svc
    namespace: default   
 spec:
   type: NodePort        #service类型设置为NodePort
   ports: 
   - port: 80            #service使用的端口号，ClusterIP后面跟的端口号。
     targetPort: 80      #需要转发到的后端Pod的端口号
     nodePort: 30000     #指定映射到物理机的端口号，k8s集群外部可以使用nodeIP:nodePort访问service
   selector:             
     app: yuji-nginx     #标签选择器要和上一步创建的pod的标签保持一致
 #创建service资源    
 kubectl apply -f myservice.yaml
 #2、查看service资源
 kubectl get svc
 NAME             TYPE        CLUSTER-IP      EXTERNAL-IP   PORT(S)        AGE
 kubernetes       ClusterIP   10.96.0.1       <none>        443/TCP        27h
 yuji-nginx-svc   NodePort    10.96.100.164   <none>        80:30000/TCP   76s
 #查看service资源的详细信息
 kubectl describe svc yuji-nginx-svc  
 Name:                     yuji-nginx-svc
 Namespace:                default
 Labels:                   <none>
 Annotations:              <none>
 Selector:                 app=yuji-nginx
 Type:                     NodePort
 IP Families:              <none>
 IP:                       10.96.100.164
 IPs:                      10.96.100.164
 Port:                     <unset>  80/TCP
 TargetPort:               80/TCP
 NodePort:                 <unset>  30000/TCP
 Endpoints:                10.244.1.2:80,10.244.2.4:80    #service资源管理的2个pod
 Session Affinity:         None
 External Traffic Policy:  Cluster
 Events:                   <none>
 #3、测试使用nodeIP:nodePort访问nginx网页
 curl 192.168.10.20:30000   #node01
 curl 192.168.10.30:30000   #node02
复制代码

#---------1、两台负载均衡器配置nginx--------------
 #关闭防火墙和selinux
 systemctl stop firewalld
 systemctl disable firewalld
 setenforce 0
 sed -i 's/enforcing/disabled/' /etc/selinux/config
 #设置主机名
 hostnamectl set-hostname lb01
 su
 hostnamectl set-hostname lb02
 su
 #配置nginx的官方在线yum源
 cat > /etc/yum.repos.d/nginx.repo << 'EOF'
 [nginx]
 name=nginx repo
 baseurl=http://nginx.org/packages/centos/7/$basearch/
 gpgcheck=0
 EOF
 yum install nginx -y
 #修改nginx配置文件，配置四层反向代理负载均衡，指定k8s群集2台node的节点ip和30000端口
 vim /etc/nginx/nginx.conf
 events {
     worker_connections  1024;
 }
 #在http块上方，添加stream块
 stream {
     upstream k8s-nodes {
         server 192.168.10.20:30000;    #node01IP:nodePort
         server 192.168.10.30:30000;    #node02IP:nodePort
     }
     server {
         listen 3344;                  #自定义监听端口
         proxy_pass k8s-nodes;
     }
 }
 http {
 ......
     #include /etc/nginx/conf.d/*.conf;    #建议将这一行注释掉，否则会同时加载/etc/nginx/conf.d/default.conf文件中的内容，nginx会同时监听80端口。
 }
 #检查配置文件语法是否正确
 nginx -t   
 #启动nginx服务，查看到已监听3344端口
 systemctl start nginx
 systemctl enable nginx
 netstat -natp | grep nginx 
 tcp        0      0 0.0.0.0:80              0.0.0.0:*               LISTEN             48395/nginx: master
 tcp        0      0 0.0.0.0:3344            0.0.0.0:*               LISTEN             48395/nginx: master
 #------------2、两台负载均衡器配置keepalived--------
 #安装keepalived服务
 yum install keepalived -y
 #修改keepalived配置文件
 vim /etc/keepalived/keepalived.conf
 ! Configuration File for keepalived
 global_defs {
    # 接收邮件地址
    notification_email {
      acassen@firewall.loc
      failover@firewall.loc
      sysadmin@firewall.loc
    }
    # 邮件发送地址
    notification_email_from Alexandre.Cassen@firewall.loc
    smtp_server 127.0.0.1    #修改为本机回环地址
    smtp_connect_timeout 30
    router_id LB01   #lb01节点的为LB01，lb02节点的为LB02
 }
 #添加一个周期性执行的脚本
 vrrp_script check_nginx {
     script "/etc/nginx/check_nginx.sh"  #指定检查nginx存活的脚本路径
 }
 vrrp_instance VI_1 {
     state MASTER            #lb01节点的为 MASTER，lb02节点的为 BACKUP
     interface ens33         #指定网卡名称 ens33
     virtual_router_id 51    #指定组ID，两个节点要一致
     priority 100            #设置优先级，lb01节点设置为 100，lb02节点设置为 90
     advert_int 1
     authentication {
         auth_type PASS
         auth_pass 1111
     }
     virtual_ipaddress {
         192.168.10.100      #指定VIP地址
     }
     track_script {          #追踪脚本
         check_nginx         #指定vrrp_script配置的脚本
     }
 }
 #将配置文件中剩余的内容全都删除
 #主调度器lb01创建nginx状态检查脚本 
 vim /etc/nginx/check_nginx.sh
 #!/bin/bash
 #egrep -cv "grep|$$" 用于过滤掉包含grep 或者 $$ 表示的当前Shell进程ID
 count=$(ps -ef | grep nginx | egrep -cv "grep|$$")
 if [ "$count" -eq 0 ];then
     systemctl stop keepalived
 fi
 chmod +x /etc/nginx/check_nginx.sh  #为脚本增加执行权限
 #启动keepalived服务（一定要先启动了nginx服务，再启动keepalived服务，否则keepalived检测到nginx没有启动，会杀死自己）
 systemctl start keepalived
 systemctl enable keepalived
 ip addr             #查看主节点的VIP是否生成
 #测试使用VIP:3344访问web网页
 curl 192.168.10.100:3344
 #----------3、关闭主调度器的nginx服务，模拟故障，测试keepalived-------
 #关闭主调度器lb01的Nginx服务，模拟宕机，观察VIP是否漂移到备节点
 systemctl stop nginx
 ip addr
 systemctl status keepalived   #此时keepalived被脚本杀掉了   
 #备节点查看是否生成了VIP
 ip addr    #此时VIP漂移到备节点lb02
 #恢复主节点
 systemctl start nginx         #先启动nginx
 systemctl start keepalived    #再启动keepalived
 ip addr
复制代码

##两台负载均衡器，将网关地址修改为防火墙服务器的内网IP地址
 vim /etc/sysconfig/network-scripts/ifcfg-ens33
 GATEWAY="192.168.10.1"
 systemctl restart network   #重启网络
 systemctl restart keepalived   #如果VIP丢失，需要重启一下keepalived
 ##配置防火墙服务器
 #-------------1、关闭防火墙和selinux-------------
 systemctl stop firewalld
 systemctl disable firewalld
 setenforce 0
 sed -i 's/enforcing/disabled/' /etc/selinux/config
 #------------2、开启路由转发功能----------------
 vim /etc/sysctl.conf
 net.ipv4.ip_forward = 1     //在文件中增加这一行，开启路由转发功能
 sysctl -p    //加载修改后的配置
 #------------3、配置iptables策略---------------
 #先将原有的规则清除
 iptables -F && iptables -t nat -F && iptables -t mangle -F && iptables -X
 #设置SNAT服务，解析源地址。修改nat表中的POSTROUTING链。
 #将源地址192.168.10.100转换为为12.0.0.1
 iptables -t nat -A POSTROUTING -s 192.168.10.0/24 -o ens36 -j SNAT --to 12.0.0.1
  #-t nat                  //指定nat表
  #-A POSTROUTING          //在POSTROUTING链中添加规则  
  #-s 192.168.10.100/24    //数据包的源地址
  #-o ens36                //出站网卡
  #-j SNAT --to 12.0.0.1   //使用SNAT服务，将源地址转换成公网IP地址。
 #设置DNAT服务，解析目的地址。修改nat表中的PRETROUTING链。
 #将目的地址12.0.0.1:3344 转换成 192.168.10.100:3344
 iptables -t nat -A PREROUTING -i ens36 -d 12.0.0.1 -p tcp --dport 3344 -j DNAT --to 192.168.10.100:3344
  #-A PREROUTING         //在PREROUTING链中添加规则        
  #-i ens36              //入站网卡
  #-d 12.0.0.254         //数据包的目的地址
  #-p tcp --dport 3344   //数据包的目的端口
  #-j DNAT --to 192.168.10.100:3344   //使用DNAT功能，将目的地址和端口转换成192.168.10.100:3344
 iptables -t nat -nL   #查看策略
 Chain PREROUTING (policy ACCEPT)
 target     prot opt source               destination
 DNAT       tcp  --  0.0.0.0/0            12.0.0.1             tcp dpt:3344 to:192.168.10.100:3344
 Chain INPUT (policy ACCEPT)
 target     prot opt source               destination
 Chain OUTPUT (policy ACCEPT)
 target     prot opt source               destination
 Chain POSTROUTING (policy ACCEPT)
 target     prot opt source               destination
 SNAT       all  --  192.168.10.0/24      0.0.0.0/0            to:12.0.0.1
 ##客户端修改网关配置文件，测试访问内网的Web服务
 客户端IP地址：12.0.0.12，将网关地址设置为防火墙服务器的外网网卡地址：12.0.0.1
 浏览器输入 http://12.0.0.1:3344 进行访问
复制代码