k8s相关服务与负载均衡
一，服务基础
1，多容器集群，多副本会自动分配到不同的计算节点上（2副本实验）
[root@master config]# vim pod-apache.yaml
replicas: 2 #副本数改成2
[root@master config]# kubectl apply -f pod-apache.yaml
[root@master config]# kubectl get pod -o wide #查看，此时运行两个资源都在zsl节点上
NAME READY STATUS RESTARTS AGE IP NODE NOMINATED NODE READINESS GATES
my-apache-695fd775fd-jpsgr 1/1 Running 0 27s 10.244.2.30 zsl <none> <none>
my-apache-695fd775fd-x8c4d 1/1 Running 0 27s 10.244.2.29 zsl <none> <none>
2，会变化的pod资源，当发现某一个pod不能使用的时候，RS会在其他节点上再创建一个相同的pod，及其对应的容器。
例：模拟其中一个资源容器不可用，此时会再创建出一个新的pod资源，而且可以在任何节点上生成，且ip地址也会发生改变。
[root@master config]# kubectl delete pod my-apache-695fd775fd-x8c4d #删除其中一个资源
[root@master config]# kubectl get pod -o wide #再次查看，又新生一个pod资源在node节点上
NAME READY STATUS RESTARTS AGE IP NODE NOMINATED NODE READINESS GATES
my-apache-695fd775fd-4bng8 1/1 Running 0 16s 10.244.1.13 node <none> <none>
my-apache-695fd775fd-jpsgr 1/1 Running 0 6m53s 10.244.2.30 zsl <none> <none>
3，service服务
①，pod存在生命周期，每个一段时间，pod就会自动重新创建，ip地址也会发生变化，所以直接对pod中的服务产生很大影响，因为访问地址在不断地变化。
②，service服务作用是创建一个cluster ip，也可以实现pod的负载均衡。用户访问web服务时，先访问service的cluster ip，由service代替用户找到对应的pod，最后访问pod中的web服务器。
③，会变化的pod给我们带来了诸多的不变，service就是解决这一问题的方法，会创建一个cluster ip，这个地址对应资源地址，且不会变化，会在多个服务上实现负载均衡的访问效果。
④，service服务通过port、nodeport、targetport将访问的请求最终映射到pod的容器内部服务上。
4，service服务端口
①，port：是service暴露在cluster ip上的端口，是提供给集群内部客户访问service的入口，供集群内部服务访问使用。
②，targetport：是pod上容器服务监听的端口，从port或nodeport上到来的数据最终经过kube-proxy流入到后端pod的targetport上进入容器，从而达到访问pod容器内部服务的目的。
5，service服务资源文件
①，作修改
[root@master config]# vim pod-apache.yaml #修改Apache资源文件
matchLabels: #匹配具体的东西
app: mytest #更改标签名字，与下面的labels相同
replicas: 2
template:
metadata:
labels:
app: mytest #更改标签名字
②，编辑
[root@master config]# vim pod-service.yaml #编辑新的yaml资源文件
---
apiVersion: v1
kind: Service
metadata:
name: httpd-service
spec:
ports:
- protocol: TCP
port: 80 #设置端口
targetPort: 80
selector:
app: mytest #要和上面pod-apache.yaml文件的标签一致
type: ClusterIP
[root@master config]# kubectl delete -f pod-apache.yaml #删除原来的
[root@master config]# kubectl apply -f pod-apache.yaml #运行修改后的
[root@master config]# kubectl apply -f pod-service.yaml #运行新创建的
③，查看k8s集群中service信息
[root@master config]# kubectl get service
NAME TYPE CLUSTER-IP EXTERNAL-IP PORT(S) AGE
httpd-service ClusterIP 10.96.79.49 <none> 80/TCP 64s
kubernetes ClusterIP 10.96.0.1 <none> 443/TCP 2d1h
④，此时直接使用10.96.79.49这个ip地址是访问不了的，需要进入到容器访问。
创建一个资源类型为pod的资源文件
[root@master config]# vim pod-httpd.yaml
---
apiVersion: v1 #版本
kind: Pod #资源类型
metadata:
name: my-pod
labels:
app: mypod
spec:
containers:
- name: my-pod-httpd #容器名字
image: 192.168.1.134:5000/myapache:httpd #指定镜像
stdin: true #开启交互式和终端
tty: true
#ports: #注释掉端口和协议
#- protocol: TCP
# containerPort: 80
⑤，创建资源
[root@master config]# kubectl apply -f pod-httpd.yaml
pod/my-pod created
[root@master config]# kubectl get pod -o wide #查看，pod下两个容器在运行
NAME READY STATUS RESTARTS AGE IP NODE NOMINATED NODE READINESS GATES
my-apache-f9b95d95f-jn4vv 1/1 Running 0 10m 10.244.2.32 zsl <none> <none>
my-apache-f9b95d95f-skjh7 1/1 Running 0 10m 10.244.2.31 zsl <none> <none>
my-pod 1/1 Running 0 2m46s 10.244.1.14 node <none> <none>
[root@master config]# kubectl get service #查看集群中service服务信息
NAME TYPE CLUSTER-IP EXTERNAL-IP PORT(S) AGE
httpd-service ClusterIP 10.96.79.49 <none> 80/TCP 11m
kubernetes ClusterIP 10.96.0.1 <none> 443/TCP 2d1h
⑥，进入容器
[root@master config]# kubectl exec -it my-pod -- /bin/bash
[root@my-pod html]#
⑦，访问成功
[root@my-pod html]# curl 10.96.79.49 #访问的是service服务中的httpd服务地址
[root@my-pod html]# curl 10.96.79.49/info.php #访问成功，多访问几次，此时是轮询的，可以看到php_host: 处的变化，不同的容器在提供服务
<pre>
Array
(
[REMOTE_ADDR] => 10.244.1.14
[REQUEST_METHOD] => GET
[HTTP_USER_AGENT] => curl/7.29.0
[REQUEST_URI] => /info.php
)
php_host: my-apache-f9b95d95f-skjh7
1229
二，服务自动发现
1，创建服务：kubectl apply -f 资源文件
2，查询服务：kubectl get service
3，服务自动发现：cluster ip是集群分配的服务ip，供集群访问，在集群内部也可以通过服务的名称访问，服务的名称是通过coredns解析的，每个服务在创建的过程中都会完成自动注册。
服务名称：<服务名称>.<名称空间>.svc.cluster.local
4，在刚才的容器里，直接访问服务名称
[root@my-pod html]# curl httpd-service #服务名称，从service查看
[root@my-pod /]# curl httpd-service.default.svc.cluster.local #也可以加上后缀访问
[root@my-pod /]# cat /etc/resolv.conf #后缀所在文件
nameserver 10.96.0.10
search default.svc.cluster.local svc.cluster.local cluster.local
options ndots:5
5，多资源文件，多个资源可以写到同一个文件中，使用---分割
[root@master config]# cat pod-apache.yaml > web.apache.yaml
[root@master config]# cat pod-service.yaml >> web.apache.yaml #写到一个文件中
[root@master config]# kubectl delete -f pod-apache.yaml #删除资源
[root@master config]# kubectl delete -f pod-service.yaml #删除资源
[root@master config]# kubectl get pod -o wide #查看，还剩一个pod资源在运行
NAME READY STATUS RESTARTS AGE IP NODE NOMINATED NODE READINESS GATES
my-pod 1/1 Running 0 90m 10.244.1.14 node <none> <none>
6，查看并创建运行资源
[root@master config]# vim web.apache.yaml
#tty: true
ports:
- protocol: TCP
containerPort: 80
--- #两个资源文件，分割
apiVersion: v1
kind: Service
metadata:
name: httpd-service
[root@master config]# kubectl apply -f web.apache.yaml #一次创建出两个
deployment.apps/my-apache created
service/httpd-service created
[root@master config]# kubectl get service #查看
NAME TYPE CLUSTER-IP EXTERNAL-IP PORT(S) AGE
httpd-service ClusterIP 10.96.211.116 <none> 80/TCP 50s
kubernetes ClusterIP 10.96.0.1 <none> 443/TCP 2d2h
[root@master config]# kubectl get pod #查看
NAME READY STATUS RESTARTS AGE
my-apache-f9b95d95f-8m8qv 1/1 Running 0 56s
my-apache-f9b95d95f-zfkhh 1/1 Running 0 56s
my-pod 1/1 Running 0 95m
三，服务原理
1，代理模式：
k8s v1.0服务支持userspace代理模式
k8s v1.1服务支持iptables代理模式
k8s v1.8服务支持IPVS代理模式
在k8s v1.2中，kube-proxy的iptables模式成为模式设置，现在默认使用IPVS，如果不能满足，要求退回至iptables模式
2，userspace用户空间代理模式：
用户访问的还是cluster ip，cluster ip并不是把请求转发给后端的容器，而是把请求转发给kube-proxy，再由kube-proxy转发给后端的容器，各个服务中，此时由于所有的请求都给了kube-proxy，对于这个软件的要求就比较高，性能很差，为了解决这个问题，就需要使用其他模式。
3，iptables模式：
此模式在用户访问的时候发生了变化，用户访问到cluster ip之后，由iptables实现端口映射，把请求转发到后端，此时kube-proxy只是设置负载均衡映射的访问策略和端口转发规则，但是算法有限，更多的功能支持不了，此时就有了IPVS模式，此模式架构不变，只是用户访问的是lvs模块。
4，IPVS模式：与iptables模式架构相同，只是用户访问的是lvs模块。
四，在外部访问集群
1，service允许指定一个type类型，默认是cluster ip。
2，type类型：
①，cluster ip：通过集群的内部ip暴露服务，服务只能够在集群内部可以访问，这就是默认的servicetype。
②，nodeport：通过每个node的ip和静态端口（nodeport）暴露服务，nodeport服务会路由到cluster ip服务。
③，loadbalancer：使用云提供商的负载均衡器，外部的负载均衡器可以路由到nodeport服务和cluster ip服务。
3，nodeport：是提供给集群外部用户访问service入口的一种方式，是提供给集群外部用户访问service的入口。
五，对外发布服务
1，之前构建的服务已经可以在集群内部运转起来了，但集群外部还是无法访问集群内部的服务。
2，有时候服务可能来自第三方或者其他团队，无法把所有服务都放入集群内部，这时候就需要集群内部和集群外部的服务实现互访。
①，loadbalancer：使用外部的云服务（需要支持，externallps）
②，nodeport：基于端口对外提供服务（四层）
③，lngress：使用ingress规则控制器（七层）
例：修改服务类型
[root@master config]# vim pod-service.yaml
app: mytest
type: NodePort #改为nodeport，基于端口对外提供服务
[root@master config]# kubectl apply -f pod-apache.yaml#运行Apache资源
[root@master config]# kubectl apply -f pod-service.yaml #创建资源
[root@master config]# kubectl get service #查看
NAME TYPE CLUSTER-IP EXTERNAL-IP PORT(S) AGE
httpd-service NodePort 10.96.161.244 <none> 80:30552/TCP 49s
kubernetes ClusterIP 10.96.0.1 <none> 443/TCP 2d3h
测试访问，都可以访问成功
访问：curl 节点主机名（IP地址）:服务映射端口，任何节点都可以
[root@master config]# curl node:30552
[root@master config]# curl zsl:30552
[root@master config]# curl node:30552/info.php
<pre>
Array
(
[REMOTE_ADDR] => 10.244.1.0
[REQUEST_METHOD] => GET
[HTTP_USER_AGENT] => curl/7.29.0
[REQUEST_URI] => /info.php
)
php_host: my-apache-f9b95d95f-thtrp
1229
五，headless服务
1，有时不需要或不想要负载均衡，以及单独的cluster ip，遇到这种情况，我们可以创建headless服务。
2，headless服务会把ip通过多个A记录的形式解析到具体的容器ip上面，多用于有状态的服务。
3，测试，复制service服务资源文件
[root@master config]# cp pod-service.yaml headless.yaml
[root@master config]# vim headless.yaml
---
apiVersion: v1
kind: Service
metadata:
name: headless #名字可改可不改
spec:
ports:
- protocol: TCP
port: 80
targetPort: 80
selector:
app: mytest
type: ClusterIP #更改为ClusterIP类型
clusterIP: None #设置为none，不设置ip
4，创建资源
[root@master config]# kubectl apply -f headless.yaml #运行headless资源文件
[root@master config]# kubectl apply -f pod-httpd.yaml#运行pod类型资源文件
[root@master config]# kubectl exec -it my-pod -- /bin/bash #进入容器
5，安装需要的软件
[root@my-pod html]# cd /etc/yum.repos.d/ #这里需要配置yum源
[root@my-pod yum.repos.d]# ls
dv
[root@my-pod yum.repos.d]# vim dvd.repod.repo
[dvd]
name=dvd
baseurl=http://192.168.1.134/mnt #去访问另外一个节点的挂载点，需要把挂载点放到/var/www/html下
enabled=1
gpgcheck=0
[root@my-pod ~]# yum -y install bind-utils #安装软件
6，访问测试
[root@my-pod yum.repos.d]# host headless #如果访问不了，是dns域名解析失败
六，lngress控制器
1，lngress公开了集群外部到集群内部的service路由。
2，可以将lngress配置为提供服务、外部可访问的URL负载均衡流量。
3，lngress控制器通常由负载均衡器来实现。
4，必须具有ingress控制器才能满足lngress的要求，仅创建资源无效。
5，lngress：是从集群外部访问集群内部的路由。
6，lngress控制器接收用户的域名访问请求，将请求分发给集群中的service服务，由service服务以负载均衡的方式，将请求分发给pod，由pod中的容器提供对应的服务。
7，安装lngress
我这里已经准备好了ingress的安装tar包
[root@master ~]# cd ingress/
[root@master ingress]# ls
ingress-example.yaml ingress-nginx.tar.gz ingress-service.yaml mandatory.yaml
[root@master ingress]# docker load -i ingress-nginx.tar.gz #恢复镜像
[root@master ingress]# docker tag quay.io/kubernetes-ingress-controller/nginx-ingress-controller:0.30.0 192.168.1.134:5000/nginx-ingress:0.30.0 #打标签
[root@master ingress]# docker push 192.168.1.134:5000/nginx-ingress:0.30.0 #传到私有仓库
[root@master ingress]# curl 192.168.1.134:5000/v2/_catalog #查看，已上传到私有仓库
{"repositories":["centos","myapache","nginx","nginx-ingress","redis","ububtu"]}
8，编辑安装ingress的资源文件
[root@master ingress]# vim mandatory.yaml
221 image: 192.168.1.134:5000/nginx-ingress:0.30.0 #改成私有仓库地址
[root@master ingress]# kubectl apply -f mandatory.yaml #创建资源
9，验证是否成功，需要指定命名空间，因为ingress创建的有自己的命名空间
[root@master ingress]# kubectl -n ingress-nginx get pod
NAME READY STATUS RESTARTS AGE
nginx-ingress-controller-5cdb8dbb4c-rz5qp 0/1 CrashLoopBackOff 2 40s
10，创建
[root@master ~]# kubectl delete -f config/web.apache.yaml #把原来的资源停掉
[root@master ~]# kubectl apply -f config/web.apache.yaml #重新创建
[root@master ~]# kubectl apply -f ingress/ingress-example.yaml #创建ingress资源
[root@master ~]# kubectl get ingresses #查看
NAME CLASS HOSTS ADDRESS PORTS AGE
my-app <none> * 80 23s
11，访问，任何一个节点的ip都可以访问了，公开了内部、外部之间的路由
[root@master ~]# curl 192.168.1.133
[root@master ~]# curl 192.168.1.134
[root@master ~]# curl 192.168.1.135
