随着微服务，DevOps等概念的诞生，k8s变得越来越受欢迎，为了应对快速的产品迭代和产品更新需求，很多公司都在把业务转移到相应的k8s集群中，那么当我们使用k8s时，最重要的一部分就是网络性能，当线上环境部署大量机器时，网络是影响客户体验的重要因素，所以当使用k8s时，需要先进行网络性能测试，目前使用较多的网络插件有flannel，calico，canel等，但是如果对比以上几种网络插件的性能，还是calico最受欢迎，所以这篇文章将会带领大家了解网络插件calico
一、calico概述
1.calico介绍
Calico是一个纯三层的网络插件，calico的bgp模式类似于flannel的host-gw
calico方便集成 OpenStack这种 IaaS云架构，为openstack虚拟机、容器、裸机提供多主机间通信。
2.calico原理
calico是一个纯三层的虚拟网络，它没有复用docker的docker0网桥，而是自己实现的， calico网络不对数据包进行额外封装，不需要NAT和端口映射，扩展性和性能都很好。Calico网络提供了DockerDNS服务， 容器之间可以通过hostname访问，Calico在每一个计算节点利用LinuxKernel实现了一个高效的vRouter（虚拟路由）来负责数据转发，它会为每个容器分配一个ip，每个节点都是路由，把不同host的容器连接起来，从而实现跨主机间容器通信。而每个vRouter通过BGP协议（边界网关协议）负责把自己节点的路由信息向整个Calico网络内传播——小规模部署可以直接互联，大规模下可通过指定的BGProute reflector来完成；Calico基于iptables还提供了丰富而灵活的网络策略，保证通过各个节点上的ACLs来提供多租户隔离、安全组以及其他可达性限制等功能。
3.calico网络模式
1）IPIP
把一个IP数据包又套在一个IP包里，即把IP层封装到IP层的一个 tunnel，它的作用其实基本上就相当于一个基于IP层的网桥，一般来说，普通的网桥是基于mac层的，根本不需要IP，而这个ipip则是通过两端的路由做一个tunnel，把两个本来不通的网络通过点对点连接起来；
calico以ipip模式部署完毕后，node上会有一个tunl0的网卡设备，这是ipip做隧道封装用的,也是一种overlay模式的网络。当我们把节点下线，calico容器都停止后，这个设备依然还在，执行 rmmodipip命令可以将它删除。
2）BGP
边界网关协议（BorderGateway Protocol, BGP）是互联网上一个核心的去中心化的自治路由协议。它通过维护IP路由表或‘前缀’表来实现自治系统（AS）之间的可达性，属于矢量路由协议。BGP不使用传统的内部网关协议（IGP）的指标，而是基于路径、网络策略或规则集来决定路由。因此，它更适合被称为矢量性协议，而不是路由协议，通俗的说就是将接入到机房的多条线路（如电信、联通、移动等）融合为一体，实现多线单IP；
BGP 机房的优点：服务器只需要设置一个IP地址，最佳访问路由是由网络上的骨干路由器根据路由跳数与其它技术指标来确定的，不会占用服务器的任何系统；
官方提供的calico.yaml模板里，默认打开了ip-ip功能，该功能会在node上创建一个设备tunl0，容器的网络数据会经过该设备被封装一个ip头再转发。这里，calico.yaml中通过修改calico-node的环境变量：CALICO_IPV4POOL_IPIP来实现ipip功能的开关：默认是Always，表示开启；Off表示关闭ipip。
二、性能评测指标
1.ping延迟: 用ping测试hosts之间和pods之间的延迟2
2.带宽测试: 用iperf测试hosts之间和pods之间的带宽
3.HTTP性能测试: 部署单进程nginx server并使用apache benchmark(ab)测试
三、物理机性能评测
1.ping延迟:
登录到master1节点，运行ping master2 测试延迟
通过下面的脚本例子计算ping延迟的平均值
ping master2 | head -n 20 | gawk '/time/ {split($8, ss, "="); sum+=ss[2]; count+=1;} END{print sum/count "ms";}'
结论：相互之间多次ping测试。延迟一般在60-64ms
2.iperf带宽：
（1）查看物理机带宽
登录到master1节点
ethtool ens160
上面可以看到物理机带宽为万兆
（2）用iperf开始测试带宽
登陆到master1和master2节点，安装iperf，yum install iperf -y
在master2上启动iperf服务
iperf server:iperf -s 显示如下：
在master1上启动客户端命令：
iperf -c master2 -i 1
iperf -c master2 -u -t 60 -b 1000M
iperf -c master2 -u -t 60 -b 2000M
结论：物理机iperf带宽4.51 Gbits/sec
3.nginx benchmark
在master1节点运行一个nginx的pod
docker run --name nginx-test -p 8050:80 nginx
在master2节点通过ab进行压测
ab -n 90000 -c 50 http://172.16.0.1:8050/
四、物理机到pod之间的性能测评
1.带宽
测试master1到node3节点上的pod之间的带宽
运行一个iperf3的pod
kubectl run iperf3 --image=networkstatic/iperf3 --replicas=3 -- iperf3 -s
kubectl get pods -o wide 显示如下：
iperf3 -c 10.244.5.149 -i 1
结论：master1和node3上的pod之间的带宽是4.06Gbits/s
五、pod到pod之间的性能测评
1.带宽
测试node3上的pod到node2上的pod的带宽
登录到node3上的pod
kubectl exec -it iperf3-57d88c87b4-89kxw -- /bin/sh
iperf3 -c 10.244.4.213 -i 1
结论：node3上的pod和node2上的pod之间的带宽是5.40Gbits/s
六、calico使用ipip网络模式
1.测试带宽，测试10次取平均值：
(1) 物理机到物理机/master1------>master2
在master2上 iperf3 -s
在master1上执行测试脚本：
cat iperftest.sh #!/bin/bash for i in {1..10}; do if [ "$i" -eq "1" ] then iperf3 -c master2 > iperf3data else iperf3 -c master2 >> iperf3data fi done cat iperf3data | grep sender | awk '{print $7}' > sender cat iperf3data | grep receiver | awk '{print $7}' > receiver awk '{sum += $1};END {print "sender Avg= ",sum/NR}' sender awk '{sum += $1};END {print "receiver Avg= ",sum/NR}' receiver
结论：
sender Avg= 5.07
receiver Avg= 5.068
(2)物理机到pod/master1------>node3上的pod（pod：iperf3-57d88c87b4-89kxw ip：10.244.5.149）
在master1上执行测试脚本：
cat iperftest.sh #!/bin/bash for i in {1..10}; do if [ "$i" -eq "1" ] then iperf3 -c 10.244.5.149 > iperf3data else iperf3 -c 10.244.5.149 >> iperf3data fi done cat iperf3data | grep sender | awk '{print $7}' > sender cat iperf3data | grep receiver | awk '{print $7}' > receiver awk '{sum += $1};END {print "sender Avg= ",sum/NR}' sender awk '{sum += $1};END {print "receiver Avg= ",sum/NR}' receiver
结论：
sender Avg= 4.436
receiver Avg= 4.435
(3).pod到pod/node3节点pod（（pod：iperf3-57d88c87b4-89kxw ip：10.244.5.149））------>node2上的pod（pod：iperf3-57d88c87b4-fmkcj ip：10.244.4.213 ）
在node3的pod上执行测试脚本：
kubectl exec -it iperf3-57d88c87b4-89kxw -- /bin/sh cat iperftest.sh #!/bin/bash for i in {1..10}; do if [ "$i" -eq "1" ] then iperf3 -c 10.244.4.213 > iperf3data else iperf3 -c 10.244.4.213 >> iperf3data fi done cat iperf3data | grep sender | awk '{print $7}' > sender cat iperf3data | grep receiver | awk '{print $7}' > receiver awk '{sum += $1};END {print "sender Avg= ",sum/NR}' sender awk '{sum += $1};END {print "receiver Avg= ",sum/NR}' receiver
结论：
sender Avg= 4.76
receiver Avg= 4.75889
2.测试ping延时，测试20次取平均值：
(1).物理机到物理机/master1------>master2
登录到master1节点，运行ping master2 测试延时
通过下面的脚本例子计算ping延迟的平均值
ping master2 | head -n 20 | gawk '/time/ {split($8, ss, "="); sum+=ss[2]; count+=1;} END{print sum/count "ms";}'
结论：多次ping取平均值，延迟一般在0.189158ms
(2).物理机到pod/master1------>node3上的pod（pod：iperf3-57d88c87b4-89kxw ip：10.244.5.149）
ping 10.244.5.149 | head -n 20 | gawk '/time/ {split($7, ss, "="); sum+=ss[2]; count+=1;} END{print sum/count "ms";}'
结论：多次ping取平均值，延迟一般在0.297368ms
(3).pod到pod/node3节点pod（（pod：iperf3-57d88c87b4-89kxw ip：10.244.5.149））------>node2上的pod（pod：iperf3-57d88c87b4-fmkcj ip：10.244.4.213 ）
kubectl exec -it iperf3-57d88c87b4-89kxw -- /bin/bash
ping 10.244.4.213 | head -n 20 | awk '/time/ {split($7, ss, "="); sum+=ss[2]; count+=1;} END{print sum/count "ms";}'
结论：多次ping取平均值，延迟一般在0.312ms
七、calico使用bgp网络模式
1.测试带宽，测试10次取平均值：
(1).物理机到物理机/master1------>master2
在master2上 iperf3 -s
在master1上执行测试脚本：
cat iperftest.sh #!/bin/bash for i in {1..10}; do if [ "$i" -eq "1" ] then iperf3 -c master2 > iperf3data else iperf3 -c master2 >> iperf3data fi done cat iperf3data | grep sender | awk '{print $7}' > sender cat iperf3data | grep receiver | awk '{print $7}' > receiver awk '{sum += $1};END {print "sender Avg= ",sum/NR}' sender awk '{sum += $1};END {print "receiver Avg= ",sum/NR}' receiver
结论：
sender Avg= 5.081
receiver Avg= 5.079
(2).物理机到pod/master1------>node3上的pod（pod：iperf3-57d88c87b4-wbpqn ip：10.244.5.156）
在master1上执行测试脚本：
cat iperftest.sh #!/bin/bash for i in {1..10}; do if [ "$i" -eq "1" ] then iperf3 -c 10.244.5.156 > iperf3data else iperf3 -c 10.244.5.156 >> iperf3data fi done cat iperf3data | grep sender | awk '{print $7}' > sender cat iperf3data | grep receiver | awk '{print $7}' > receiver awk '{sum += $1};END {print "sender Avg= ",sum/NR}' sender awk '{sum += $1};END {print "receiver Avg= ",sum/NR}' receiver
结论：
sender Avg= 4.679
receiver Avg= 4.679
(3).pod--->pod
结论：跨节点pod之间不能通信
2.测试ping延时，测试20次取平均值：
(1).物理机到物理机/master1------>master2
登录到master1节点，运行ping master2 测试延时
通过下面的脚本例子计算ping延迟的平均值
ping master2 | head -n 20 | gawk '/time/ {split($8, ss, "="); sum+=ss[2]; count+=1;} END{print sum/count "ms";}'
结论：多次ping取平均值，延迟一般在0.188842ms
(2).物理机到pod/master1------>node3上的pod（pod：iperf3-57d88c87b4-wbpqn ip：10.244.5.156）
ping 10.244.5.156 | head -n 20 | gawk '/time/ {split($7, ss, "="); sum+=ss[2]; count+=1;} END{print sum/count "ms";}'
结论：多次ping取平均值，延迟一般在0.268053ms
(3).pod到pod节点
结论：跨节点pod之间不能通信
上述两种网络模式网络性能总结表
结论：
calico使用BGP网络模式可以大幅提升不同节点间容器的通信网络传输速率，但是一个节点不能访问另一个节点的容器。
