ACK的容器网络主要有Flannel和Terway两种，在Flannel网络下，因为pod访问其他服务是通过节点NAT出去的，所以，我们在Flannel网络下在数据库设置白名单时，首先可以将客户端pod通过节点绑定的方式调度到固定的少数节点上去，然后，在数据库侧直接对节点的ip地址做加白操作即可，该方式相对比较简单，不做赘述；但是，在Terway网络下，podip是通过ENI提供，从pod通过ENI访问外部服务，外部服务拿到的客户端ip是ENI提供的ip地址，我们即使把pod和节点做亲和性绑定，pod访问外部服务的客户端ip是ENI提供的ip而不是节点的ip，podip还是会从Terway指定的vswitch中随机分配ip地址，而且我们的客户端pod通常都会有自动伸缩之类的配置，那即使能固定podip也很难满足弹性伸缩的场景，最好的做法是直接给客户端指定一个网段来分配ip，然后在数据库处对这个网段来做加白操作，那么我们在Terway网络模式下应该怎么来指定pod使用的ip的范围呢？
其实Terway提供了给指定节点上的pod使用指定vswitch的功能，可以参考：https://github.com/AliyunContainerService/terway/blob/master/docs/dynamic-config.md
简单来说，就是通过给指定节点添加标签来指定pod使用的vswitch，从而当我们把pod调度到有固定标签的节点上，该pod就可以通过自定义的vswitch去创建podip，下面简单列下相关操作步骤：
- 在kube-system下单独创建一个configmap eni-config-fixed，在里面指定专门的vswitch，vsw-2zem796p76viir02c6980 10.2.1.0/24
apiVersion: v1
data:
eni_conf: |
{
"vswitches": {"cn-beijing-h":["vsw-2zem796p76viir02c6980"]}
}
kind: ConfigMap
metadata:
name: eni-config-fixed
namespace: kube-system- 创建节点池，给节点打上label terway-config：eni-config-fixed ；为了保证该节点池内的节点上不会出现其他pod，可以给节点池同时配置上污点，比如：fixed=true:NoSchedule
- 通过节点池扩容出来的节点默认会有上面的label及污点
- 创建pod调度到有上面label的节点上（注意添加容忍）
apiVersion: apps/v1 # for versions before 1.8.0 use apps/v1beta1
kind: Deployment
metadata:
name: nginx-fixed
labels:
app: nginx-fixed
spec:
replicas: 2
selector:
matchLabels:
app: nginx-fixed
template:
metadata:
labels:
app: nginx-fixed
spec:
tolerations:
- key: "fixed"
operator: "Equal"
value: "true"
effect: "NoSchedule"
nodeSelector:
terway-config: eni-config-fixed
containers:
- name: nginx
image: nginx:1.9.0 # replace it with your exactly <image_name:tags>
ports:
- containerPort: 80可以看到podip已经从我们自己指定的vswitch分配了podip
kubectl get po -o wide | grep fixed
nginx-fixed-57d4c9bd97-lwfxr 1/1 Running 0 39s 10.2.1.124 bj-tw.062149.aliyun.com <none> <none>
nginx-fixed-57d4c9bd97-tk4j9 1/1 Running 0 39s 10.2.1.125 bj-tw.062148.aliyun.com <none> <none>- scale该deployment，可以看到生成的podip全部在指定的vswitch下
kubectl scale deployment nginx-fixed --replicas=30
nginx-fixed-57d4c9bd97-2rxjz 1/1 Running 0 60s 10.2.1.132 bj-tw.062148.aliyun.com <none> <none>
nginx-fixed-57d4c9bd97-4w76t 1/1 Running 0 60s 10.2.1.144 bj-tw.062149.aliyun.com <none> <none>
nginx-fixed-57d4c9bd97-5brzw 1/1 Running 0 60s 10.2.1.143 bj-tw.062148.aliyun.com <none> <none>
...- 这样，我们可以在数据库侧直接对这个vswitch做加白操作，从而实现给动态podip做访问控制。
注意：
- 最好是新建的节点，如果是已有节点，需要在添加进集群之前先将ENI和ECS实例做解绑（ECS控制台上可以操作），添加进集群的方式选用自动添加已有节点（替换系统盘）
- 注意给特定的节点池打上label和taint，尽可能保证不需要加白的业务不会调度到这部分节点上
- 该用法其实是配置覆盖，会用现在指定的configmap里的配置来覆盖之前的eni-config的配置，请参照https://github.com/AliyunContainerService/terway/blob/master/docs/dynamic-config.md 中的描述进行配置
- 指定的vswitch的ip个数建议为预计的pod个数的2倍（或更多），一方面可以给将来的扩容多一些余量，另外也避免当故障发生导致podip无法及时回收时出没有ip可分配的故障
