《云原生网络数据面可观测性最佳实践》——二、全景剖析阿里云容器网络数据链路——5. Terway ENI-Trunking 模式架构设计(上)

简介: 《云原生网络数据面可观测性最佳实践》——二、全景剖析阿里云容器网络数据链路——5. Terway ENI-Trunking 模式架构设计(上)

弹性网卡中继Trunk ENI是一种可以绑定到专有网络VPC类型ECS实例上的虚拟网卡。相比弹性网卡ENI,Trunk ENI的实例资源密度明显提升。启用Terway Trunk ENI功能后,指定的Pod将使用Trunk ENI资源。为Pod开启自定义配置是可选功能,默认情况下创建的Pod,未开启Terway Trunk ENI功能,使用的是共享ENI上的IP地址。

 

只有当您主动声明为指定Pod开启自定义配置后,相应的Pod才能使用Pod自定义配置能力,Terway才可以同时使用共享ENI以及Trunk ENI为Pod分配IP。两种模式共享节点最大Pod数量配额,总部署密度和开启前一致。

 

金融、电信,政府等行业对数据信息安全有着非常严格的数据安全要求,通常,重要的核心数据会放在自建的机房内,并且对访问此数据的客户端有严格的白名单控制,通常会限制具体的IP访问源。业务架构上云时,往往是通过专线,VPN等打通自建机房和云上资源打通,由于传统容器中PodIP 是不固定的,NetworkPolicy 只能在集群内生效,这对客户的白名单设置有了非常大的挑战。

 

ENI 在 Trunk 模式下,可以配置独立的安全组、vSwitch能力,带来更为细化的网络配置能力,提供极具竞争力的容器网络解决方案。

 image.png

 

在trunking的命名空间内可以看到相关的pod信息和节点信息,其中pod应用的IP的网络我们稍后会详细说明

image.png

image.png

image.png

Pod内有只有指向eth0的默认路由,说明Pod访问任何地址段都是从eth0为统一的出入口。

image.png

那么Pod是如何ECS OS进行通信呢?在OS层面,我们一看到calicxxxx的网卡,可以看到是附属于eth1的,对于节点和Pod的通信连接,这个类似于Terway ENIIP模式架构群内非SVC后端pod所在节点访问SVC ClusterIP。通过OS Linux Routing我们可以看到,所有目的是Pod IP的流量都会被转发到Pod对应的calico虚拟往卡上,到这里为止,ECS OS和Pod的网络命名空间已经建立好完整的出入链路配置了。 image.pngimage.png

让我们把目光聚焦ENI Trunking本身。ENI Truning 是如何实现Pod的交换机和安全组的配置呢?Terway增加一种名为PodNetworking的自定义资源来描述网络配置。您可以创建多个PodNetworking,来规划不同网络平面。

 

创建PodNetworking资源后,Terway将同步网络配置信息,只有status成为Ready后,该网络资源才能对Pod生效。如下图所示,类型为Elastic,只要namespce的标签的符合tryunking:zoneb,就给pod使用指定的安全组和交换机。

image.png

创建Pod时,Pod将通过标签去匹配PodNetworking。如果Pod没有匹配到任何PodNetworking,则Pod将使用默认的共享ENI上的IP。如果Pod有匹配到PodNetworking,则将使用PodNetworking中定义的配置分配ENI。关于Pod标签的相关内容,请参见标签

 

Terway会为这类Pod创建相应的名为PodENI的自定义资源,用于跟踪Pod所使用的资源,该资源由Terway管理,您不可修改该资源。如下trunking 命名空间下的centos-59cdc5c9c4-l5vf9Pod匹配了相应的podnetworking设置,被分配了相应的memeber ENI、对应的Trunking ENI,安全组,交换机和被绑定的ECS实例,这样就实现了Pod维度的交换机,安全组的配置和管理。

image.png

通过ECS的控制台,我们也可以清楚的看到memenber ENI和Trunking ENI 之间的关系,相应的安全组交换机等等信息。

image.png

image.png

通过上面的配置,我们了解如何去给每个Pod单独配置交换机,安全组等信息,让每个pod在通过Trunking ENI出ECS后,可以自动走到对应的配置Member ENI 上,让这些配置生效。那么所有的配置其实落到宿主机上都是通过相关的策略实现的,Trunking ENi网卡是如何知道把对应Pod的流量转发到正确的对应的Member ENI上的呢? 这其实通过的vlan来实现的。在tc层面可以看到VLAN ID。所以在egress或者ingress的阶段会打上或者去除VLAN ID。

image.png 故Terway ENI-Trunking 模式总体可以归纳为:

 

弹性网卡中继Trunk ENI是一种可以绑定到专有网络VPC类型ECS实例上虚拟网卡相比弹性网卡ENI,Trunk ENI实例资源密度明显提升

Terway Trunk ENI支持为每个Pod配置固定IP、独立虚拟交换机、安全组,能提供精细化流量管理、流量隔离、网络策略配置和IP管理能力

使用Terway插件,您需要选择较高规格和较新类型ECS神龙机型,即5代或者6代8核以上机型,且机型要支持Trunk ENI更多信息,请参见实例规格族

单节点所支持最大Pod数取决于该节点弹性网卡(ENI)数共享ENI支持最大Pod数=(ECS支持ENI数-1)×单个ENI支持私有IP数

Pod安全组规则不会应用到同节点Pod间流量及同节点上节点与Pod间流量如果您需要限制,可以通过NetworkPolicy进行配置

Pod和对应MemeberENI流量对应是通过VLAN ID 来实现的。

 

1) Terway ENI-Trunking 模式容器网络数据链路剖析

可以看到由于可以实现Pod维度的安全组,交换机设置,那么宏观上不同链路访问必然更加趋于复杂,我们可以将Terway ENI-TRunking模式下的网络链路大体分为以Pod IP对外提供服务和以SVC对外提供服务两个大的SOP场景,进一步细分,可以归纳为10个不同的小的SOP场景。

 image.png

对这20个场景的数据链路梳理合并,这些场景可以归纳为下面10类典型的场景:

 

通节点访问Pod(相同or不同安全组)

同节点同安全组TrunkPod互访(含访问SVC IP,源端和svc后端部署在同一节点)

同节点不同安全组TrunkPod互访(含访问SVC IP,源端和svc后端部署在同一节点)

不同节点同安全组TrunkPod互访

不同节点不同安全组TrunkPod互访

集群内源端访问SVC IP(源端和SVC后端不同节点,相同安全组,含Local模式访问external IP)

集群内源端访问SVC IP(源端和SVC后端不同节点,不同安全组,含Local模式访问external IP)

Cluster模式下,集群内源端访问SVC ExternalIP(源端和SVC后端不同节点,不同安全组)

Cluster模式下,集群内源端访问SVC ExternalIP(源端和SVC后端不同节点,相同安全组)

集群外访问SVC IP

 

2) 场景一:通节点访问Pod(相同or不同安全组)

环境

image.png

 cn-hongkong.10.0.4.22节点上存在 nginx-6f545cb57c-kt7r8和10.0.4.30

内核路由

nginx-6f545cb57c-kt7r8 IP地址10.0.4.30,该容器在宿主机表现的PID是1734171,该容器网络命名空间有指向容器eth0的默认路由。image.png

image.png

该容器eth0在ECS OS 内是通过ipvlan隧道的方式和ECS的附属ENI eth1建立的隧道,同时附属ENI eth1还有个虚拟的calxxx 网卡。

 image.pngimage.png

在ECS OS内,有指向Pod IP,下一跳为calixxxx的路由,通过前文可以知道calixxx网卡是和每个pod内的veth1组成的pair,所以,pod内访问SVC的CIDR会有指向veth1的路由,不会走默认的eth0路由。故:calixx网卡在这里的主要作用是用于:

 

节点访问Pod

当节点或者Pod访问 SVC的CIDR时,会走ECS OS内核协议栈转换,走到calixxx和veth1访问pod

image.png

trunking 命名空间下的nginx-6f545cb57c-kt7r8 Pod匹配了相应的podnetworking设置,被分配了相应的memeber ENI、对应的Trunking ENI,安全组,交换机和被绑定的ECS实例,这样就实现了Pod维度的交换机,安全组的配置和管理。

image.png

在tc层面可以看到VLAN ID 1027,所以数据流量在egress或者ingress的阶段会打上或者去除VLAN ID。

image.png

 ENI的网卡所属的安全组可以看到只允许了指定的IP可以访问nginxPod的80 端口。

image.png

 

置于数据面流量在OS层面的流量转发逻辑,这个类似于Terway ENIIP模式架构群内非SVC后端pod所在节点访问SVC ClusterIP,不在这里做过多的叙述。

小结

可以访问到目

数据链路转发示意图:

image.png

 

会经过calicao网卡,每个非hostnetworkpod会和calicao网卡形成veth pair,用于和其他pod或node进行通信

整个链路不会和请求不会经过pod所分配ENI,直接在OSns中命中Ip rule 被转发1

整个请求链路是ECS1 OS -> calixxxx ->ECS1 Pod1

因为是通过os内核routing转发,不经过 member eni,所以安全组不生效,此链路与pod所属member eni安全组无关

 

3) 场景二:同节点同安全组TrunkPod互访(含访问SVC IP,源端和svc后端部署在同一节点)

环境

image.png

 cn-hongkong.10.0.4.22节点上存在 nginx-6f545cb57c-kt7r8,10.0.4.30和busybox-87ff8bd74-g8zs7,10.0.4.24。

内核路由

nginx-6f545cb57c-kt7r8 IP地址10.0.4.30,该容器在宿主机表现的PID是1734171,该容器网络命名空间有指向容器eth0的默认路由。

image.png

image.png

 该容器eth0在ECS OS 内是通过ipvlan隧道的方式和ECS的附属ENI eth1建立的隧道,同时附属ENI eth1还有个虚拟的calixxxx 网卡。

image.png

image.png

在ECS OS内,有指向Pod IP,下一跳为calixxxx的路由,通过前文可以知道calixxx网卡是和每个pod内的veth1组成的pair,所以,pod内访问SVC的CIDR会有指向veth1的路由,不会走默认的eth0路由。

 

故calixx网卡在这里的主要作用是用于:

节点访问Pod

当节点或者Pod访问 SVC的CIDR时,会走ECS OS内核协议栈转换,走到calixxx和veth1访问pod

image.png

trunking 命名空间下的busybox-87ff8bd74-g8zs7和nginx-6f545cb57c-kt7r8 Pod匹配了相应的podnetworking设置,被分配了相应的memeber ENI、对应的Trunking ENI,安全组,交换机和被绑定的ECS实例,这样就实现了Pod维度的交换机,安全组的配置和管理。

image.png


image.png 

在tc层面可以看到VLAN ID 1027,所以数据流量在egress或者ingress的阶段会打上或者去除VLAN ID。

image.png

 ENI的网卡所属的安全组可以看到只允许了指定的IP可以访问nginxPod的80 端口。

image.png

 

置于数据面流量在OS层面的流量转发逻辑,这个类似于Terway ENIIP模式架构群内非SVC后端pod所在节点访问SVC ClusterIP,不在这里做过多的叙述

小结

可以访问到目

数据链路转发示意图:

image.png

 

会经过calicao网卡,每个非hostnetworkpod会和calicao网卡形成veth pair,用于和其他pod或node进行通信

整个链路不会和请求不会经过pod所分配ENI,直接在OSns中命中Ip rule 被转发

整个请求链路ECS1 Pod1 eth0 -> cali1xxxxxx-> cali2xxxxxx ->ECS1 Pod2 eth0

pod属于同or不同ENI,链路请求是一致,不经过ENI

因为是通过os内核 routing 转发,不经过 member eni,所以安全组不生效,此链路与pod所属member eni安全组无关

访问Pod IP访问 SVC IP(external ipor clusterip)区别是:访问SVC IPSVC 会在源端pod eth0和calixxx网卡捕捉到,在目端podeth0和calixxx时捕捉不到

 

更多精彩内容,欢迎观看:

《云原生网络数据面可观测性最佳实践》——二、全景剖析阿里云容器网络数据链路——6. ASM Istio 模式架构设计(中):https://developer.aliyun.com/article/1221385?spm=a2c6h.13148508.setting.33.15f94f0eCydDfj

相关实践学习
2分钟自动化部署人生模拟器
本场景将带你借助云效流水线Flow实现人生模拟器小游戏的自动化部署
7天玩转云服务器
云服务器ECS(Elastic Compute Service)是一种弹性可伸缩的计算服务,可降低 IT 成本,提升运维效率。本课程手把手带你了解ECS、掌握基本操作、动手实操快照管理、镜像管理等。了解产品详情: https://www.aliyun.com/product/ecs
相关文章
|
21天前
|
Kubernetes Cloud Native Docker
云原生时代的容器化实践:Docker和Kubernetes入门
【10月更文挑战第37天】在数字化转型的浪潮中,云原生技术成为企业提升敏捷性和效率的关键。本篇文章将引导读者了解如何利用Docker进行容器化打包及部署,以及Kubernetes集群管理的基础操作,帮助初学者快速入门云原生的世界。通过实际案例分析,我们将深入探讨这些技术在现代IT架构中的应用与影响。
69 2
|
26天前
|
人工智能 云计算 网络架构
阿里云引领智算集群网络架构的新一轮变革
11月8日~10日在江苏张家港召开的CCF ChinaNet(即中国网络大会)上,众多院士、教授和业界技术领袖齐聚一堂,畅谈网络未来的发展方向,聚焦智算集群网络的创新变革。
阿里云引领智算集群网络架构的新一轮变革
|
14天前
|
Kubernetes Cloud Native Docker
云原生之旅:从传统架构到容器化服务的演变
随着技术的快速发展,云计算已经从简单的虚拟化服务演进到了更加灵活和高效的云原生时代。本文将带你了解云原生的概念、优势以及如何通过容器化技术实现应用的快速部署和扩展。我们将以一个简单的Python Web应用为例,展示如何利用Docker容器进行打包和部署,进而探索Kubernetes如何管理这些容器,确保服务的高可用性和弹性伸缩。
|
19天前
|
云安全 人工智能 安全
阿里云稳居公共云网络安全即服务市占率第一
日前,全球领先的IT市场研究和咨询公司IDC发布了《中国公有云网络安全即服务市场份额,2023:规模稳步增长,技术创新引领市场格局》报告。报告显示,阿里云以27.0%的市场份额蝉联榜首。
|
26天前
|
人工智能 运维 网络架构
阿里云引领智算集群网络架构的新一轮变革
11月8日至10日,CCF ChinaNet(中国网络大会)在江苏张家港召开,众多院士、教授和技术领袖共聚一堂,探讨网络未来发展方向。阿里云研发副总裁蔡德忠发表主题演讲,展望智算技术发展趋势,提出智算网络架构变革的新思路,发布高通量以太网协议和ENode+超节点系统规划,引起广泛关注。阿里云HPN7.0引领智算以太网生态蓬勃发展,成为业界标杆。未来,X10规模的智算集群将面临新的挑战,Ethernet将成为主流方案,推动Scale up与Scale out的融合架构,提升整体系统性能。
|
22天前
|
Kubernetes Cloud Native Docker
云原生技术探索:容器化与微服务的实践之道
【10月更文挑战第36天】在云计算的浪潮中,云原生技术以其高效、灵活和可靠的特性成为企业数字化转型的重要推手。本文将深入探讨云原生的两大核心概念——容器化与微服务架构,并通过实际代码示例,揭示如何通过Docker和Kubernetes实现服务的快速部署和管理。我们将从基础概念入手,逐步引导读者理解并实践云原生技术,最终掌握如何构建和维护一个高效、可扩展的云原生应用。
|
24天前
|
人工智能 安全 Cloud Native
|
1月前
|
Kubernetes 负载均衡 Cloud Native
云原生应用:Kubernetes在容器编排中的实践与挑战
【10月更文挑战第27天】Kubernetes(简称K8s)是云原生应用的核心容器编排平台,提供自动化、扩展和管理容器化应用的能力。本文介绍Kubernetes的基本概念、安装配置、核心组件(如Pod和Deployment)、服务发现与负载均衡、网络配置及安全性挑战,帮助读者理解和实践Kubernetes在容器编排中的应用。
73 4
|
1月前
|
Cloud Native 持续交付 云计算
云原生入门指南:从容器到微服务
【10月更文挑战第28天】在数字化转型的浪潮中,云原生技术成为推动现代软件开发的关键力量。本篇文章将带你了解云原生的基本概念,探索它如何通过容器化、微服务架构以及持续集成和持续部署(CI/CD)的实践来提升应用的可伸缩性、灵活性和可靠性。你将学习到如何利用这些技术构建和部署在云端高效运行的应用,并理解它们对DevOps文化的贡献。
52 2
|
1月前
|
Kubernetes 监控 Cloud Native
云原生应用:Kubernetes在容器编排中的实践与挑战
【10月更文挑战第26天】随着云计算技术的发展,容器化成为现代应用部署的核心趋势。Kubernetes(K8s)作为容器编排领域的佼佼者,以其强大的可扩展性和自动化能力,为开发者提供了高效管理和部署容器化应用的平台。本文将详细介绍Kubernetes的基本概念、核心组件、实践过程及面临的挑战,帮助读者更好地理解和应用这一技术。
62 3