如何对ACK在Terway网络下给pod指定网段加白

本文涉及的产品
容器镜像服务 ACR,镜像仓库100个 不限时长
简介: 通常我们需要在一些类似数据库之类的服务设置白名单,以此来给服务提供更安全的访问控制能力,在容器网络下该场景同样有这个需求,那么我们在容器场景下,如何给动态变化的podip设置白名单呢?

ACK的容器网络主要有Flannel和Terway两种,在Flannel网络下,因为pod访问其他服务是通过节点NAT出去的,所以,我们在Flannel网络下在数据库设置白名单时,首先可以将客户端pod通过节点绑定的方式调度到固定的少数节点上去,然后,在数据库侧直接对节点的ip地址做加白操作即可,该方式相对比较简单,不做赘述;但是,在Terway网络下,podip是通过ENI提供,从pod通过ENI访问外部服务,外部服务拿到的客户端ip是ENI提供的ip地址,我们即使把pod和节点做亲和性绑定,pod访问外部服务的客户端ip是ENI提供的ip而不是节点的ip,podip还是会从Terway指定的vswitch中随机分配ip地址,而且我们的客户端pod通常都会有自动伸缩之类的配置,那即使能固定podip也很难满足弹性伸缩的场景,最好的做法是直接给客户端指定一个网段来分配ip,然后在数据库处对这个网段来做加白操作,那么我们在Terway网络模式下应该怎么来指定pod使用的ip的范围呢?

其实Terway提供了给指定节点上的pod使用指定vswitch的功能,可以参考:https://github.com/AliyunContainerService/terway/blob/master/docs/dynamic-config.md

简单来说,就是通过给指定节点添加标签来指定pod使用的vswitch,从而当我们把pod调度到有固定标签的节点上,该pod就可以通过自定义的vswitch去创建podip,下面简单列下相关操作步骤:

  • 在kube-system下单独创建一个configmap eni-config-fixed,在里面指定专门的vswitch,vsw-2zem796p76viir02c6980 10.2.1.0/24
apiVersion: v1
data:
  eni_conf: |
    {
       "vswitches": {"cn-beijing-h":["vsw-2zem796p76viir02c6980"]}
    }
kind: ConfigMap
metadata:
  name: eni-config-fixed
  namespace: kube-system
  • 创建节点池,给节点打上label terway-config:eni-config-fixed ;为了保证该节点池内的节点上不会出现其他pod,可以给节点池同时配置上污点,比如:fixed=true:NoSchedule
  • 通过节点池扩容出来的节点默认会有上面的label及污点
  • 创建pod调度到有上面label的节点上(注意添加容忍)
apiVersion: apps/v1 # for versions before 1.8.0 use apps/v1beta1
kind: Deployment
metadata:
  name: nginx-fixed
  labels:
    app: nginx-fixed
spec:
  replicas: 2
  selector:
    matchLabels:
      app: nginx-fixed
  template:
    metadata:
      labels:
        app: nginx-fixed
    spec:
      tolerations:
      - key: "fixed"
        operator: "Equal"
        value: "true"
        effect: "NoSchedule"
      nodeSelector:
        terway-config: eni-config-fixed
      containers:
      - name: nginx
        image: nginx:1.9.0 # replace it with your exactly <image_name:tags>
        ports:
        - containerPort: 80

可以看到podip已经从我们自己指定的vswitch分配了podip

kubectl get po -o wide | grep fixed
nginx-fixed-57d4c9bd97-lwfxr                   1/1     Running             0          39s    10.2.1.124    bj-tw.062149.aliyun.com   <none>           <none>
nginx-fixed-57d4c9bd97-tk4j9                   1/1     Running             0          39s    10.2.1.125    bj-tw.062148.aliyun.com   <none>           <none>
  • scale该deployment,可以看到生成的podip全部在指定的vswitch下
kubectl scale deployment nginx-fixed --replicas=30
nginx-fixed-57d4c9bd97-2rxjz                   1/1     Running     0          60s     10.2.1.132    bj-tw.062148.aliyun.com   <none>           <none>
nginx-fixed-57d4c9bd97-4w76t                   1/1     Running     0          60s     10.2.1.144    bj-tw.062149.aliyun.com   <none>           <none>
nginx-fixed-57d4c9bd97-5brzw                   1/1     Running     0          60s     10.2.1.143    bj-tw.062148.aliyun.com   <none>           <none>
...
  • 这样,我们可以在数据库侧直接对这个vswitch做加白操作,从而实现给动态podip做访问控制。

注意:

  1. 最好是新建的节点,如果是已有节点,需要在添加进集群之前先将ENI和ECS实例做解绑(ECS控制台上可以操作),添加进集群的方式选用自动添加已有节点(替换系统盘)
  2. 注意给特定的节点池打上label和taint,尽可能保证不需要加白的业务不会调度到这部分节点上
  3. 该用法其实是配置覆盖,会用现在指定的configmap里的配置来覆盖之前的eni-config的配置,请参照https://github.com/AliyunContainerService/terway/blob/master/docs/dynamic-config.md 中的描述进行配置
  4. 指定的vswitch的ip个数建议为预计的pod个数的2倍(或更多),一方面可以给将来的扩容多一些余量,另外也避免当故障发生导致podip无法及时回收时出没有ip可分配的故障
相关实践学习
通过Ingress进行灰度发布
本场景您将运行一个简单的应用,部署一个新的应用用于新的发布,并通过Ingress能力实现灰度发布。
容器应用与集群管理
欢迎来到《容器应用与集群管理》课程,本课程是“云原生容器Clouder认证“系列中的第二阶段。课程将向您介绍与容器集群相关的概念和技术,这些概念和技术可以帮助您了解阿里云容器服务ACK/ACK Serverless的使用。同时,本课程也会向您介绍可以采取的工具、方法和可操作步骤,以帮助您了解如何基于容器服务ACK Serverless构建和管理企业级应用。 学习完本课程后,您将能够: 掌握容器集群、容器编排的基本概念 掌握Kubernetes的基础概念及核心思想 掌握阿里云容器服务ACK/ACK Serverless概念及使用方法 基于容器服务ACK Serverless搭建和管理企业级网站应用
相关文章
|
24天前
|
存储 Kubernetes 调度
【赵渝强老师】什么是Kubernetes的Pod
Pod 是 Kubernetes 中的基本逻辑单位,代表集群上的一个应用实例。它可以由一个或多个容器组成,并包含数据存储和网络配置等资源。Pod 支持多种容器执行环境,如 Docker。Kubernetes 使用 Pod 管理容器,具有简化部署、方便扩展和调度管理等优点。视频讲解和图示详细介绍了 Pod 的组成结构和使用方式。
|
2月前
|
Kubernetes API 调度
k8s中节点无法启动Pod
【10月更文挑战第3天】
104 6
|
24天前
|
存储 Kubernetes Docker
【赵渝强老师】Kubernetes中Pod的基础容器
Pod 是 Kubernetes 中的基本单位,代表集群上运行的一个进程。它由一个或多个容器组成,包括业务容器、基础容器、初始化容器和临时容器。基础容器负责维护 Pod 的网络空间,对用户透明。文中附有图片和视频讲解,详细介绍了 Pod 的组成结构及其在网络配置中的作用。
【赵渝强老师】Kubernetes中Pod的基础容器
|
24天前
|
运维 Kubernetes Shell
【赵渝强老师】K8s中Pod的临时容器
Pod 是 Kubernetes 中的基本调度单位,由一个或多个容器组成,包括业务容器、基础容器、初始化容器和临时容器。临时容器用于故障排查和性能诊断,不适用于构建应用程序。当 Pod 中的容器异常退出或容器镜像不包含调试工具时,临时容器非常有用。文中通过示例展示了如何使用 `kubectl debug` 命令创建临时容器进行调试。
|
24天前
|
Kubernetes 调度 容器
【赵渝强老师】K8s中Pod中的业务容器
Pod 是 Kubernetes 中的基本调度单元,由一个或多个容器组成。除了业务容器,Pod 还包括基础容器、初始化容器和临时容器。本文通过示例介绍如何创建包含业务容器的 Pod,并提供了一个视频讲解。示例中创建了一个名为 &quot;busybox-container&quot; 的业务容器,并使用 `kubectl create -f firstpod.yaml` 命令部署 Pod。
|
24天前
|
Kubernetes 容器 Perl
【赵渝强老师】K8s中Pod中的初始化容器
Kubernetes的Pod包含业务容器、基础容器、初始化容器和临时容器。初始化容器在业务容器前运行,用于执行必要的初始化任务。本文介绍了初始化容器的作用、配置方法及优势,并提供了一个示例。
|
24天前
|
弹性计算 Kubernetes Perl
k8s 设置pod 的cpu 和内存
在 Kubernetes (k8s) 中,设置 Pod 的 CPU 和内存资源限制和请求是非常重要的,因为这有助于确保集群资源的合理分配和有效利用。你可以通过定义 Pod 的 `resources` 字段来设置这些限制。 以下是一个示例 YAML 文件,展示了如何为一个 Pod 设置 CPU 和内存资源请求(requests)和限制(limits): ```yaml apiVersion: v1 kind: Pod metadata: name: example-pod spec: containers: - name: example-container image:
139 1
|
27天前
|
Kubernetes Nacos 微服务
探讨了在Kubernetes中使用Nacos v2.2.3时,强制删除Pod后Pod仍存在的常见问题
本文深入探讨了在Kubernetes中使用Nacos v2.2.3时,强制删除Pod后Pod仍存在的常见问题。通过检查Pod状态、事件、配置,调整Nacos和Kubernetes设置,以及手动干预等步骤,帮助开发者快速定位并解决问题,确保服务稳定运行。
53 2
|
24天前
|
存储 Kubernetes 调度
深入理解Kubernetes中的Pod与Container
深入理解Kubernetes中的Pod与Container
28 0
|
24天前
|
Kubernetes Java 调度
Kubernetes中的Pod垃圾回收策略是什么
Kubernetes中的Pod垃圾回收策略是什么

相关产品

  • 容器服务Kubernetes版