AI 助理
备案控制台
开发者社区 云原生 文章 正文

全景剖析阿里云容器网络数据链路（五）：Terway ENI-Trunking

2023-02-09 938
版权
版权声明：
本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《 阿里云开发者社区用户服务协议》和 《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写 侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。
简介： 本篇文章主要聚焦ACK 在Terway ENI-Trunking模式下，不同SOP场景下的数据链路转发路径。

本系列文章由余凯执笔创作，联合作者：阿里云容器服务 谢石 对本文亦有贡献


近几年，企业基础设施云原生化的趋势越来越强烈，从最开始的IaaS化到现在的微服务化，客户的颗粒度精细化和可观测性的需求更加强烈。容器网络为了满足客户更高性能和更高的密度，也一直在高速的发展和演进中，这必然对客户对云原生网络的可观测性带来了极高的门槛和挑战。为了提高云原生网络的可观测性，同时便于客户和前后线同学增加对业务链路的可读性，ACK产研和AES联合共建，合作开发ack net-exporter和云原生网络数据面可观测性系列，帮助客户和前后线同学了解云原生网络架构体系，简化对云原生网络的可观测性的门槛，优化客户运维和售后同学处理疑难问题的体验 ，提高云原生网络的链路的稳定性。


鸟瞰容器网络，整个容器网络可以分为三个部分：Pod网段，Service网段和Node网段。这三个网络要实现互联互通和访问控制，那么实现的技术原理是什么？整个链路又是什么，限制又是什么呢？Flannel， Terway有啥区别？不同模式下网络性能如何？这些，需要客户在下搭建容器之前，就要依据自己的业务场景进行选择，而搭建完毕后，相关的架构又是无法转变，所以客户需要对每种架构特点要有充分了解。比如下图是个简图，Pod网络既要实现同一个ECS的Pod间的网络互通和控制，又要实现不同ECS Pod间的访问， Pod访问SVC 的后端可能在同一个ECS 也可能是其他ECS，这些在不同模式下，数据链转发模式是不同的，从业务侧表现结果也是不一样的。


1.png


本文是[全景剖析容器网络数据链路]第五部分部分，主要介绍Kubernetes Terway ENI-Trunking模式下，数据面链路的转转发链路，一是通过了解不同场景下的数据面转发链路，从而探知客户在不同的场景下访问结果表现的原因，帮助客户进一步优化业务架构；另一方面，通过深入了解转发链路，从而在遇到容器网络抖动时候，客户运维以及阿里云同学可以知道在哪些链路点进行部署观测手动，从而进一步定界问题方向和原因。


系列一：全景剖析阿里云容器网络数据链路（一）—— Flannel

系列二：全景剖析阿里云容器网络数据链路（二）—— Terway ENI

系列三：全景剖析阿里云容器网络数据链路（三）—— Terway ENIIP

系列四：全景剖析阿里云容器网络数据链路（四）—— Terway IPVLAN+EBPF

系列六：全景剖析阿里云容器网络数据链路（六）—— ASM Istio (To be continued)


Terway ENI-Trunking 模式架构设计


弹性网卡中继Trunk ENI是一种可以绑定到专有网络VPC类型ECS实例上的虚拟网卡。相比弹性网卡ENI，Trunk ENI的实例资源密度明显提升。启用Terway Trunk ENI功能后，指定的Pod将使用Trunk ENI资源。为Pod开启自定义配置是可选功能，默认情况下创建的Pod，未开启Terway Trunk ENI功能，使用的是共享ENI上的IP地址。只有当您主动声明为指定Pod开启自定义配置后，相应的Pod才能使用Pod自定义配置能力，Terway才可以同时使用共享ENI以及Trunk ENI为Pod分配IP。两种模式共享节点最大Pod数量配额，总部署密度和开启前一致。


金融、电信，政府等行业对数据信息安全有着非常严格的数据安全要求，通常，重要的核心数据会放在自建的机房内，并且对访问此数据的客户端有严格的白名单控制，通常会限制具体的IP访问源。业务架构上云时，往往是通过专线，VPN等打通自建机房和云上资源打通，由于传统容器中PodIP 是不固定的，NetworkPolicy 只能在集群内生效，这对客户的白名单设置有了非常大的挑战。ENI 在 Trunk 模式下，可以配置独立的安全组、vSwitch能力，带来更为细化的网络配置能力，提供极具竞争力的容器网络解决方案。


2.png


在trunking的命名空间内可以看到相关的pod信息和节点信息，其中pod应用的IP 的网络我们稍后会详细说明


3.png4.png5.png


Pod内有只有指向eth0的默认路由，说明Pod访问任何地址段都是从eth0为统一的出入口


6.png


那么Pod是如何ECS OS进行通信呢？在OS层面，我们一看到calicxxxx的网卡，可以看到是附属于eth1的，对于节点和Pod的通信连接，这个类似于《全景剖析阿里云容器网络数据链路（三）—— Terway ENIIP》 ，此处不再进行过多说明。通过OS Linux Routing 我们可以看到，所有目的是 Pod IP 的流量都会被转发到Pod对应的calico虚拟往卡上，到这里为止，ECS OS 和Pod的网络命名空间已经建立好完整的出入链路配置了。


7.png8.png


让我们把目光聚焦ENI Trunking本身。ENI Truning 是如何实现Pod的交换机和安全组的配置呢？Terway增加一种名为PodNetworking的自定义资源来描述网络配置。您可以创建多个PodNetworking，来规划不同网络平面。创建PodNetworking资源后，Terway将同步网络配置信息，只有status成为Ready后，该网络资源才能对Pod生效。如下图所示，类型为Elastic，只要namespce的标签的符合tryunking：zoneb， 就给pod使用指定的安全组和交换机。


9.png


创建Pod时，Pod将通过标签去匹配PodNetworking。如果Pod没有匹配到任何PodNetworking，则Pod将使用默认的共享ENI上的IP。如果Pod有匹配到PodNetworking，则将使用PodNetworking中定义的配置分配ENI。关于Pod标签的相关内容，请参见标签。


Terway会为这类Pod创建相应的名为PodENI的自定义资源，用于跟踪Pod所使用的资源，该资源由Terway管理，您不可修改该资源。如下trunking 命名空间下的centos-59cdc5c9c4-l5vf9 pod匹配了相应的podnetworking设置，被分配了相应的memeber ENI、对应的Trunking ENI，安全组，交换机和被绑定的ECS实例，这样就实现了Pod维度的交换机，安全组的配置和管理。


10.png


通过ECS的控制台，我们也可以清楚的看到memenber ENI和Trunking ENI 之间的关系，相应的安全组交换机等等信息。


11.png12.png


通过上面的配置，我们了解如何去给每个Pod单独配置交换机，安全组等信息，让每个pod在通过Trunking ENI出ECS后，可以自动走到对应的配置Member ENI 上，让这些配置生效。那么所有的配置其实落到宿主机上都是通过相关的策略实现的，Trunking ENi网卡是如何知道把对应Pod的流量转发到正确的对应的Member ENI上的呢？这其实通过的vlan来实现的。在tc层面可以看到VLAN ID。所以在egress或者ingress的阶段会打上或者去除VLAN ID。


13.png


故Terway ENI-Trunking 模式总体可以归纳为：


  • 弹性网卡中继Trunk ENI是一种可以绑定到专有网络VPC类型ECS实例上的虚拟网卡。相比弹性网卡ENI，Trunk ENI的实例资源密度明显提升
  • Terway Trunk ENI支持为每个Pod配置固定IP、独立的虚拟交换机、安全组，能提供精细化流量管理、流量隔离、网络策略配置和IP管理能力。
  • 使用Terway插件，您需要选择较高规格和较新类型的ECS神龙机型，即5代或者6代的8核以上机型，且机型要支持Trunk ENI。更多信息，请参见实例规格族。
  • 单节点所支持的最大Pod数取决于该节点的弹性网卡（ENI）数。共享ENI支持的最大Pod数=（ECS支持的ENI数-1）×单个ENI支持的私有IP数。
  • Pod安全组规则不会应用到同节点Pod间流量及同节点上节点与Pod间流量。如果您需要限制，可以通过NetworkPolicy进行配置。
  • Pod和对应MemeberENI流量对应是通过VLAN  ID 来实现的。


Terway ENI-Trunking 模式容器网络数据链路剖析


可以看到由于可以实现Pod维度的安全组，交换机设置，那么宏观上不同链路访问必然更加趋于复杂，我们可以将Terway ENI-TRunking模式下的网络链路大体分为以Pod IP对外提供服务和以SVC对外提供服务两个大的SOP场景，进一步细分，可以归纳为10个不同的小的SOP场景。


14.png


对这11个场景的数据链路梳理合并，这些场景可以归纳为下面10类典型的场景：


  • 通节点访问Pod（相同or不同安全组）
  • 同节点同安全组Trunk Pod互访（含访问SVC IP，源端和svc后端部署在同一节点）
  • 同节点不同安全组Trunk Pod互访（含访问SVC IP，源端和svc后端部署在同一节点）
  • 不同节点同安全组Trunk Pod互访
  • 不同节点不同安全组Trunk Pod互访
  • 集群内源端访问SVC IP（源端和SVC后端不同节点，相同安全组，含Local模式访问external IP）
  • 集群内源端访问SVC IP（源端和SVC后端不同节点，不同安全组，含Local模式访问external IP）
  • Cluster模式下，集群内源端访问SVC ExternalIP（源端和SVC后端不同节点，不同安全组）
  • Cluster模式下，集群内源端访问SVC ExternalIP（源端和SVC后端不同节点，相同安全组）
  • 集群外访问SVC IP


2.1 场景一：通节点访问Pod（相同or不同安全组）


环境


15.png


cn-hongkong.10.0.4.22 节点上存在 nginx-6f545cb57c-kt7r8和 10.0.4.30


内核路由


nginx-6f545cb57c-kt7r8  IP地址 10.0.4.30  ，该容器在宿主机表现的PID是1734171，该容器网络命名空间有指向容器eth0的默认路由


16.png17.png


该容器eth0在ECS OS 内是通过ipvlan隧道的方式和ECS的附属ENI eth1建立的隧道，同时附属ENI eth1还有个虚拟的calxxx 网卡


18.png19.png


在ECS OS内，有指向Pod IP，下一跳为为calixxxx的路由，通过前文可以知道calixxx网卡是和每个pod内的veth1组成的pair，所以，pod内访问SVC的CIDR会有指向veth1的路由，不会走默认的eth0路由。故：calixx网卡在这里的主要作用是用于：1. 节点访问Pod 2. 当节点或者Pod访问 SVC的CIDR时，会走ECS OS内核协议栈转换，走到calixxx和veth1访问pod。


20.png


trunking 命名空间下的nginx-6f545cb57c-kt7r8  pod匹配了相应的podnetworking设置，被分配了相应的memeber ENI、对应的Trunking ENI，安全组，交换机和被绑定的ECS实例，这样就实现了Pod维度的交换机，安全组的配置和管理。


21.png


在tc层面可以看到VLAN ID 1027，所以数据流量在egress或者ingress的阶段会打上或者去除VLAN ID。


22.png


ENI的网卡所属的安全组可以看到只允许了指定的IP可以访问nginx pod的80 端口。


23.png


置于数据面流量在OS层面的流量转发逻辑，这个类似于《全景剖析阿里云容器网络数据链路（三）—— Terway ENIIP》 ，不在这里做过多的叙述。


小结


可以访问到目的端


24.png

数据链路转发示意图


  • 会经过calicao网卡，每个非hostnetwork的pod会和calicao网卡形成veth pair，用于和其他pod或node进行通信
  • 整个链路不会和请求不会经过pod所分配的ENI，直接在OS的ns中命中Ip rule 被转发1、
  • 整个请求链路是 ECS1  OS -> calixxxx -> ECS1 Pod1
  • 因为是通过 os内核routing转发，不经过 member eni，所以安全组不生效，此链路与pod所属的member eni的安全组无关


2.2 场景二：同节点同安全组Trunk Pod互访（含访问SVC IP，源端和svc后端部署在同一节点）


环境


25.png


cn-hongkong.10.0.4.22 节点上存在 nginx-6f545cb57c-kt7r8，10.0.4.30和busybox-87ff8bd74-g8zs7，10.0.4.24。


内核路由


nginx-6f545cb57c-kt7r8  IP地址 10.0.4.30  ，该容器在宿主机表现的PID是1734171，该容器网络命名空间有指向容器eth0的默认路由


26.png27.png


该容器eth0在ECS OS 内是通过ipvlan隧道的方式和ECS的附属ENI eth1建立的隧道，同时附属ENI eth1还有个虚拟的calixxxx  网卡


28.png29.png


在ECS OS内，有指向Pod IP，下一跳为为calixxxx的路由，通过前文可以知道calixxx网卡是和每个pod内的veth1组成的pair，所以，pod内访问SVC的CIDR会有指向veth1的路由，不会走默认的eth0路由。故：calixx网卡在这里的主要作用是用于：1. 节点访问Pod 2. 当节点或者Pod访问 SVC的CIDR时，会走ECS OS内核协议栈转换，走到calixxx和veth1访问pod。


30.png


trunking 命名空间下的busybox-87ff8bd74-g8zs7 和 nginx-6f545cb57c-kt7r8  pod匹配了相应的podnetworking设置，被分配了相应的memeber ENI、对应的Trunking ENI，安全组，交换机和被绑定的ECS实例，这样就实现了Pod维度的交换机，安全组的配置和管理。


31.png32.png


在tc层面可以看到VLAN ID 1027，所以数据流量在egress或者ingress的阶段会打上或者去除VLAN ID。


33.png


ENI的网卡所属的安全组可以看到只允许了指定的IP可以访问nginx pod的80 端口。


34.png


置于数据面流量在OS层面的流量转发逻辑，这个类似于《全景剖析阿里云容器网络数据链路（三）—— Terway ENIIP》 ，不在这里做过多的叙述。


小结


可以访问到目的端


35.png

数据链路转发示意图


  • 会经过calicao网卡，每个非hostnetwork的pod会和calicao网卡形成veth pair，用于和其他pod或node进行通信
  • 整个链路不会和请求不会经过pod所分配的ENI，直接在OS 的ns中命中 Ip rule 被转发
  • 整个请求链路是ECS1 Pod1 eth0 -> cali1xxxxxx-> cali2xxxxxx -> ECS1 Pod2 eth0
  • pod属于 同or不同 ENI，链路请求是一致的，不经过ENI
  • 因为是通过 os内核 routing 转发，不经过 member eni，所以安全组不生效，此链路与pod所属的member eni的安全组无关
  • 访问Pod IP 和访问 SVC IP（external ipor clusterip）的区别是:


访问SVC IP， SVC 会在源端pod eth0和calixxx网卡捕捉到，在目的端pod的eth0和calixxx时捕捉不到


2.3 场景三：同节点不同安全组Trunk Pod互访（含访问SVC IP，源端和svc后端部署在同一节点）


环境


36.png


cn-hongkong.10.0.4.244 节点上存在 nginx-96bb9b7bb-wwrdm，10.0.5.35 和centos-648f9999bc-nxb6l，10.0.5.18。


内核路由


相关的Pod的容器网络命名空间，路由等不在进行过多描述，详情可以见前面两小节。


通过podeni可以看到centos-648f9999bc-nxb6l 所分配的ENI，安全组sg，交换机vsw等.


37.png


通过安全组sg-j6ccrxxxx可以看到centos 的pod可以访问外部所有的地址


38.png


同理，可以查看出服务端Pod的nginx-96bb9b7bb-wwrdm 的安全组 sg-j6ccrze8utxxxxx 是只允许192.168.0.0/16 可以访问


39.png40.png


小结


可以访问到目的端


41.png

数据链路转发示意图


  • 会经过calicao网卡，每个非hostnetwork的pod会和calicao网卡形成veth pair，用于和其他pod或node进行通信
  • 整个链路不会和请求不会经过pod所分配的ENI，直接在OS 的ns中命中 Ip rule 被转发
  • 整个请求链路是ECS1 Pod1 eth0 -> cali1xxxxxx-> cali2xxxxxx -> ECS1 Pod2 eth0
  • pod属于 同or不同 ENI，链路请求是一致的，不经过ENI
  • 因为是通过 os内核 routing 转发，不经过 member eni，所以安全组不生效，此链路与pod所属的member eni的安全组无关
  • 访问Pod IP 和访问 SVC IP（external ipor clusterip）的区别是:


访问SVC IP， SVC 会在源端pod eth0和calixxx网卡捕捉到，在目的端pod的eth0和calixxx时捕捉不到


2.4 场景四：不同节点同安全组Trunk Pod互访


环境


42.png


cn-hongkong.10.0.4.20 节点上存在客户端 centos-59cdc5c9c4-l5vf9 和IP 10.0.4.27

cn-hongkong.10.0.4.22  节点上存在服务端 nginx-6f545cb57c-kt7r8  和IP 10.0.4.30


内核路由


相关的Pod的容器网络命名空间，路由等不在进行过多描述，详情可以见前面两小节。通过podeni可以看到centos-59cdc5c9c4-l5vf9 所分配的ENI，安全组sg，交换机vsw等.


通过安全组sg-j6cf3sxrlbuwxxxxx可以看到centos和nginx的 的pod属于同一个安全组 sg-j6cf3sxrlbuxxxxx。


43.png44.png


小结


是否可以访问取决于安全组配置


45.png

数据链路转发示意图


  • 会经过calicao网卡，每个非hostnetwork的pod会和calicao网卡形成veth pair，用于和其他pod或node进行通信
  • 整个链路不会和请求不会经过pod所分配的ENI，直接在OS 的ns中命中 Ip rule 被转发
  • 出ECS后，根据要访问的pod和该pod ENI所属vswitch，命中VPC路由规则或者直接VSW上的二层转发；
  • 整个请求链路是 ECS1 Pod1 eth0 -> cali1xxx > Trunk eni ( ECS1) -> Pod1 member eni -> vpc route rule(如有) -> Pod2 member eni -> > Trunk eni ( ECS2) cali2 xxx  -> ECS2 Pod1 eth0
  • 因为是通过os内核 routing 转发，经过 member eni，因为member eni属于同一个安全组，所以安全组内默认是互通的


2.5 场景五：不同节点不同安全组Trunk Pod互访


环境


46.png


cn-hongkong.10.0.4.20 节点上存在客户端 centos-59cdc5c9c4-l5vf9 和IP 10.0.4.27

cn-hongkong.10.0.4.244   节点上存在服务端 nginx-96bb9b7bb-wwrdm 和IP 10.0.5.35


内核路由


相关的Pod的容器网络命名空间，路由等不在进行过多描述，详情可以见前面两小节。通过podeni可以看到centos-59cdc5c9c4-l5vf9 所分配的ENI，安全组sg，交换机vsw等。


通过安全组sg-j6cf3sxrlbuwxxxxx可以看到centos 的pod可以访问外部所有的地址


47.png48.png


同理，可以查看出服务端Pod的nginx-96bb9b7bb-wwrdm 的安全组 sg-j6ccrze8utxxxxx 是只允许192.168.0.0/16 可以访问


49.png50.png


小结


是否可以访问取决于安全组配置


51.png

数据链路转发示意图


  • 会经过calicao网卡，每个非hostnetwork的pod会和calicao网卡形成veth pair，用于和其他pod或node进行通信
  • 整个链路不会和请求不会经过pod所分配的ENI，直接在OS 的ns中命中 Ip rule 被转发
  • 整个请求链路是ECS1 Pod1 eth0 -> cali1xxx > Trunk eni ( ECS1) -> Pod1 member eni -> vpc route rule(如有) -> Pod2 member eni -> > Trunk eni ( ECS2) cali2 xxx  -> ECS2 Pod1 eth0
  • 因为是通过os内核routing转发，流量会经过member eni， 是否可以访问成功，安全组配置对此有着决定性的作用。


2.6 场景六：集群内源端访问SVC IP（源端和SVC后端不同节点，相同安全组，含Local模式访问external IP）


环境


52.png53.png


cn-hongkong.10.0.4.20 节点上存在客户端 centos-59cdc5c9c4-l5vf9 和IP 10.0.4.27cn-hongkong.10.0.4.22  节点上存在服务端 nginx-6f545cb57c-kt7r8  和IP 10.0.4.30

nginx 的svc的ClusterIP是 192.168.81.92  External IP是 8.210.162.178


内核路由


ENI-Trunking相比较ENIIP来说，只是在VPC侧增加了对应的Truning和Member ENI，在OS内并无区别，此处可以参考《全景剖析阿里云容器网络数据链路（三）—— Terway ENIIP》 2.4 小节


小结


是否可以访问取决于安全组配置


54.png

数据链路转发示意图

  • 会经过calicao网卡，每个非hostnetwork的pod会和calicao网卡形成veth pair，用于和其他pod或node进行通信
  • 整个链路不会和请求不会经过pod所分配的ENI，直接在OS 的ns中命中 Ip rule 被转发
  • 出ECS后，根据要访问的pod和该pod ENI所属vswitch，命中VPC路由规则或者直接VSW上的二层转发；
  • 整个请求链路是


去方向：ECS1 Pod1 eth0 -> cali1xxx > ECS eth0 -> Pod1 member eni -> vpc route rule(如有) -> Pod2 member eni -> Trunk eni ( ECS2) cali2 xxx  -> ECS2 Pod1 eth0


回方向：ECS2 Pod1 eth0 -> Trunk eni ( ECS2) cali2 xxx -> Pod2 member eni -> vpc route rule(如有) -> Pod1 member eni -> Trunk eni ( ECS1) -> cali1xxx -> ECS1 Pod1 eth0


  • 经过ipvs规则fnat转化， 数据包是以源pod IP 从ECS eth0 出，请求目的pod IP。（访问SVC clusterIP，以及Local模式下访问External IP）
  • 这个经过的ENI有 ECS1 的eth0， Pod1 member eni，Pod2 member eni。所以这三个网卡的安全组的配置都会影响数据链路的连通性


2.7 场景七：集群内源端访问SVC IP（源端和SVC后端不同节点，不同安全组，含Local模式访问external IP）


环境


55.png56.png


cn-hongkong.10.0.4.20 节点上存在客户端 centos-59cdc5c9c4-l5vf9 和IP 10.0.4.27cn-hongkong.10.0.4.244   节点上存在服务端 nginx-96bb9b7bb-wwrdm 和IP 10.0.5.35


nginx 的svc的ClusterIP是 192.168.31.83  External IP是 47.243.87.204


内核路由


ENI-Trunking相比较ENIIP来说，只是在VPC侧增加了对应的Truning和Member ENI，在OS内并无区别，此处可以参考《全景剖析阿里云容器网络数据链路（三）—— Terway ENIIP》 2.4 小节


小结


是否可以访问取决于安全组配置


57.png

数据链路转发示意图


  • 会经过calicao网卡，每个非hostnetwork的pod会和calicao网卡形成veth pair，用于和其他pod或node进行通信
  • 整个链路不会和请求不会经过pod所分配的ENI，直接在OS 的ns中命中 Ip rule 被转发
  • 出ECS后，根据要访问的pod和该pod ENI所属vswitch，命中VPC路由规则或者直接VSW上的二层转发；
  • 整个请求链路是


去方向：ECS1 Pod1 eth0 -> cali1xxx > ECS eth0 -> Pod1 member eni -> vpc route rule(如有) -> Pod2 member eni -> Trunk eni ( ECS2) cali2 xxx  -> ECS2 Pod1 eth0


回方向：ECS2 Pod1 eth0 -> Trunk eni ( ECS2) cali2 xxx -> Pod2 member eni -> vpc route rule(如有) -> Pod1 member eni -> Trunk eni ( ECS1) -> cali1xxx -> ECS1 Pod1 eth0


  • 经过ipvs规则fnat转化， 数据包是以源pod IP 从ECS eth0 出，请求目的pod IP。（访问SVC clusterIP，以及Local模式下访问External IP）
  • 这个经过的ENI有 ECS1 的eth0， Pod1 member eni，Pod2 member eni。所以这三个网卡的安全组的配置都会影响数据链路的连通性。需要保证 安全组互相放通Pod和ECS的响应IP


2.8 场景八：Cluster模式下，集群内源端访问SVC ExternalIP（源端和SVC后端不同节点，不同安全组）


环境


58.png59.png60.png


cn-hongkong.10.0.4.20 节点上存在客户端 centos-59cdc5c9c4-l5vf9 和IP 10.0.4.27cn-hongkong.10.0.4.244   节点上存在服务端 nginx-96bb9b7bb-wwrdm 和IP 10.0.5.35


nginx 的svc的ClusterIP是 192.168.31.83  External IP是 47.243.87.204, ExternalTrafficPolicy 是 Cluster模式


内核路由


ENI-Trunking相比较ENIIP来说，只是在VPC侧增加了对应的Truning和Member ENI，在OS内并无区别，此处可以参考《全景剖析阿里云容器网络数据链路（三）—— Terway ENIIP》 2.5 小节


小结


是否可以访问取决于安全组配置


61.png

数据链路转发示意图


  • 会经过calicao网卡，每个非hostnetwork的pod会和calicao网卡形成veth pair，用于和其他pod或node进行通信
  • 整个链路不会和请求不会经过pod所分配的ENI，直接在OS 的ns中命中 Ip rule 被转发
  • 出ECS后，根据要访问的pod和该pod ENI所属vswitch，命中VPC路由规则或者直接VSW上的二层转发；
  • 整个请求链路是ECS1 Pod1 eth0 -> cali1xxx > ECS eth0 ->  vpc route rule(如有) -> Pod2 member eni -> Trunk eni ( ECS2) cali2 xxx  -> ECS2 Pod1 eth0
  • 经过ipvs规则fnat转化， 数据包是以源pod IP 从ECS eth0 出，请求目的pod IP。（访问SVC clusterIP，以及Local模式下访问External IP）
  • 这个经过的ENI有 ECS1 的eth0，Pod2 member eni。所以这两个网卡的安全组的配置都会影响数据链路的连通性。需要保证 安全组互相放通Pod和ECS的响应IP


2.9 场景九：Cluster模式下，集群内源端访问SVC ExternalIP（源端和SVC后端不同节点，相同安全组）


环境


62.png63.png64.png


cn-hongkong.10.0.4.20 节点上存在客户端 centos-59cdc5c9c4-l5vf9 和IP 10.0.4.27cn-hongkong.10.0.4.22  节点上存在服务端 nginx-6f545cb57c-kt7r8  和IP 10.0.4.30


nginx 的svc的ClusterIP是 192.168.81.92  External IP是 8.210.162.178 ExternalTrafficPolicy为Cluster


内核路由


ENI-Trunking相比较ENIIP来说，只是在VPC侧增加了对应的Truning和Member ENI，在OS内并无区别，此处可以参考《全景剖析阿里云容器网络数据链路（三）—— Terway ENIIP》 2.5 小节


小结


是否可以访问取决于安全组配置


65.png

数据链路转发示意图


  • 会经过calicao网卡，每个非hostnetwork的pod会和calicao网卡形成veth pair，用于和其他pod或node进行通信
  • 整个链路不会和请求不会经过pod所分配的ENI，直接在OS 的ns中命中 Ip rule 被转发
  • 出ECS后，根据要访问的pod和该pod ENI所属vswitch，命中VPC路由规则或者直接VSW上的二层转发；
  • 整个请求链路是ECS1 Pod1 eth0 -> cali1xxx > ECS eth0 ->  vpc route rule(如有) -> Pod2 member eni -> Trunk eni ( ECS2) cali2 xxx  -> ECS2 Pod1 eth0
  • 经过ipvs规则fnat转化， 数据包是以源pod IP 从ECS eth0 出，请求目的pod IP。（访问SVC clusterIP，以及Local模式下访问External IP）
  • 这个经过的ENI有 ECS1 的eth0，Pod2 member eni。所以这两个网卡的安全组的配置都会影响数据链路的连通性。需要保证 安全组互相放通Pod和ECS的响应IP


2.10 场景十：集群外访问SVC IP


环境


66.png67.png68.png


cn-hongkong.10.0.4.20 节点上存在客户端 centos-59cdc5c9c4-l5vf9 和IP 10.0.4.27cn-hongkong.10.0.4.22  节点上存在服务端 nginx-6f545cb57c-kt7r8  和IP 10.0.4.30


nginx 的svc的ClusterIP是 192.168.81.92  External IP是 8.210.162.178 ExternalTrafficPolicy为Cluster


SLB相关配置


在SLB控制台，可以看到 lb-j6cmv8aaojf7nqdai2a6a 虚拟服务器组的后端服务器组是两个后端nginx pod 的的ENI eni-j6cgrqqrtvcwhhcyuc28, eni-j6c54tyfku5855euh3db 和 eni-j6cf7e4qnfx22mmvblj0，这几个ENI 都是member ENI


69.png70.png


小结


是否可以访问取决于安全组配置


71.png

数据链路转发示意图


  • 会经过calicao网卡，每个非hostnetwork的pod会和calicao网卡形成veth pair，用于和其他pod或node进行通信
  • 数据链路：client ->  SLB  -> Pod Member ENI + Pod Port  -> Trunking ENI ->  ECS1 Pod1 eth0
  • ExternalTrafficPolicy 为Local或Cluster模式下， SLB只会将 pod分配的member ENI挂在到SLB的虚拟服务器组
  • SLB转发请求只会转发到目标member ENI上，然后通过vlan发送到Trunk ENI，再由Trunk ENI 转发到 POD


总结


本篇文章主要聚焦ACK 在Terway ENI-Trunking模式下，不同SOP场景下的数据链路转发路径。伴随着客户对业务网络的更精细化的管理需求，引入了Pod维度交换机和安全组配置设置，在Terway ENI-Trunking模式下，一共可以分为10个SOP场景，并对这些场景技术实现原理，云产品配置等一一梳理并总结，这对我们遇到Terway ENI-Trunking架构下的链路抖动、最优化配置，链路原理等提供了初步指引方向。在Terway ENI-Trunking模式下，利用veth pair来联通宿主机和pod的网络空间，pod的地址是来源于弹性网卡的辅助IP地址，并且节点上需要配置策略路由来保证辅助IP的流量经过它所属的弹性网卡，通过此种方式可以实现ENI多Pod共享，大大提升了Pod的部署密度，同时利用tc egress/ingress 在数据流输入ECS时候，打上或者去除VLAN tag，以便实现数据流量能真正的走到属于他的Member ENI网卡，从而实现精细化的管理。目前微服务越来越盛行，采用sidecar的方式，让每个pod都可以成为一个网络节点，从而实现pod中不同的流量实现不同的网络行为和可观测性，下一系列我们将进入到Terway ENIIP模式的全景解析最后一章——《全景剖析阿里云容器网络数据链路（六）—— ASM Istio》。

文章标签：
云服务器 ECS
负载均衡
专有网络VPC
Perl
容器
微服务
Cloud Native
应用服务中间件
弹性计算
Linux
数据安全/隐私保护
网络虚拟化
nginx
关键词：
网络数据
阿里云网络
阿里云容器
容器网络
网络容器
相关实践学习
通义万相文本绘图与人像美化
本解决方案展示了如何利用自研的通义万相AIGC技术在Web服务中实现先进的图像生成。
7天玩转云服务器
云服务器ECS（Elastic Compute Service）是一种弹性可伸缩的计算服务，可降低 IT 成本，提升运维效率。本课程手把手带你了解ECS、掌握基本操作、动手实操快照管理、镜像管理等。了解产品详情: https://www.aliyun.com/product/ecs
阿里云云原生
目录
相关文章
南瓜佬
|
3月前
|
存储 Kubernetes 网络安全
关于阿里云 Kubernetes 容器服务（ACK）添加镜像仓库的快速说明
本文介绍了在中国大陆地区因网络限制无法正常拉取 Docker 镜像的解决方案。作者所在的阿里云 Kubernetes 集群使用的是较旧版本的 containerd（1.2x），且无法直接通过 SSH 修改节点配置，因此采用了一种无需更改 Kubernetes 配置文件的方法。通过为 `docker.io` 添加 containerd 的镜像源，并使用脚本自动修改 containerd 配置文件中的路径错误（将错误的 `cert.d` 改为 `certs.d`），最终实现了通过多个镜像站点拉取镜像。作者还提供了一个可重复运行的脚本，用于动态配置镜像源。虽然该方案能缓解镜像拉取问题，
南瓜佬
452 2
专有云小编
|
11月前
|
供应链 安全 Cloud Native
阿里云飞天企业版获【可信云·容器平台安全能力】先进级认证
阿里云飞天企业版容器系列产品获中国信息通信研究院【可信云·容器平台安全能力】先进级认证，这是飞天企业版容器产品获得《等保四级PaaS平台》和《 云原生安全配置基线规范V2.0》之后，本年度再一次获得行业权威认可，证明飞天企业版的容器解决方案具备符合行业标准的最高等级容器安全能力。
专有云小编
346 8
阿里云飞天企业版获【可信云·容器平台安全能力】先进级认证
路边两盏灯
|
5月前
|
存储 Linux 容器
【Container App】在容器中抓取网络包的方法
本文介绍在Azure Container App中安装tcpdump抓取网络包，并通过Storage Account上传抓包文件的方法。内容包括使用curl和nc测试外部接口连通性、长Ping端口、安装tcpdump、抓取网络包、以及通过crul命令上传文件至Azure Storage。适用于需要分析网络请求和排查网络问题的场景。
路边两盏灯
208 1
游客beejssedmb2sq
|
6月前
|
Docker 容器
Docker网关冲突导致容器启动网络异常解决方案
当执行`docker-compose up`命令时，服务器网络可能因Docker创建新网桥导致IP段冲突而中断。原因是Docker默认的docker0网卡（172.17.0.1/16）与宿主机网络地址段重叠，引发路由异常。解决方法为修改docker0地址段，通过配置`/etc/docker/daemon.json`调整为非冲突段（如192.168.200.1/24），并重启服务。同时，在`docker-compose.yml`中指定网络模式为`bridge`，最后通过检查docker0地址、网络接口列表及测试容器启动验证修复效果。
游客beejssedmb2sq
1141 39
阿里云基础设施.
|
人工智能 弹性计算 运维
ACK Edge与IDC：高效容器网络通信新突破
本文介绍如何基于ACK Edge以及高效的容器网络插件管理IDC进行容器化。
阿里云基础设施.
336 4
凤中枫
|
7月前
|
网络协议 Docker 容器
使用网络--容器互联
使用网络--容器互联
凤中枫
178 18
sysin
|
7月前
|
Kubernetes Cloud Native 区块链
Arista cEOS 4.30.10M - 针对云原生环境设计的容器化网络操作系统
Arista cEOS 4.30.10M - 针对云原生环境设计的容器化网络操作系统
sysin
246 0
阿里云基础设施.
|
Prometheus Kubernetes 监控
OpenAI故障复盘 - 阿里云容器服务与可观测产品如何保障大规模K8s集群稳定性
聚焦近日OpenAI的大规模K8s集群故障，介绍阿里云容器服务与可观测团队在大规模K8s场景下我们的建设与沉淀。以及分享对类似故障问题的应对方案：包括在K8s和Prometheus的高可用架构设计方面、事前事后的稳定性保障体系方面。
阿里云基础设施.
758 60
技术小达人
|
9月前
|
安全 持续交付 云计算
课时5：阿里云容器服务：最原生的集成Docker和云服务
阿里云容器服务以服务化形式构建容器基础设施，大幅提升开发效率，简化应用部署流程。通过Docker容器和DevOps工具（如Jenkins），实现自动化部署与迭代，优化企业内部复杂部署问题。该服务支持GPU调度、混合云架构无缝迁移，并与阿里云产品体系无缝集成，提供安全防护、网络负载均衡等多重功能支持。凭借微服务架构，帮助企业突破业务瓶颈，提高资源利用率，轻松应对海量流量。
技术小达人
348 0
课时5：阿里云容器服务：最原生的集成Docker和云服务
探索云世界动手实践
|
10月前
|
监控 Kubernetes Cloud Native
基于阿里云容器服务Kubernetes版（ACK）的微服务架构设计与实践
本文介绍了如何基于阿里云容器服务Kubernetes版（ACK）设计和实现微服务架构。首先概述了微服务架构的优势与挑战，如模块化、可扩展性及技术多样性。接着详细描述了ACK的核心功能，包括集群管理、应用管理、网络与安全、监控与日志等。在设计基于ACK的微服务架构时，需考虑服务拆分、通信、发现与负载均衡、配置管理、监控与日志以及CI/CD等方面。通过一个电商应用案例，展示了用户服务、商品服务、订单服务和支付服务的具体部署步骤。最后总结了ACK为微服务架构提供的强大支持，帮助应对各种挑战，构建高效可靠的云原生应用。
探索云世界动手实践
610 1