【阅读原文】戳:助力数据中心内外创新 阿里云亮相2022 OCP全球峰会
近期,2022 OCP全球峰会在加利福尼亚州圣何塞举行,本次峰会以“赋能开放”为主题,聚集了众多希望将开源和开放协作的优势应用于硬件和软件用以加快数据中心内外创新步伐的技术专家。阿里巴巴联合博通公司在本次峰会中进行了两场主题分享。
图 | 2022 OCP峰会现场
OCP(Open Compute Project)峰会是全球计算机软硬件开源和开放交流的盛会,会议旨在加快数据中心内外的创新步伐。通过协作公开研究、开发、测试、部署和共享技术加速企业的技术转型和迭代。OCP全球峰会每年秋季在加利福尼亚州圣何塞举行。
10月20日,阿里巴巴联合博通公司在本次峰会中进行的两场主题分享分别是《Network Performance Anomaly Detection using In-band Telemetry》和《High Performance Congestion Control (HPCC++) for RoCEv2 Networks Leveraging SAI TAM》,获得了现场专家的积极反馈和提问。
-1-
Network Performance Anomaly Detection using In-band Telemetry
图 |马丁分享《《Network Performance Anomaly Detection using In-band Telemetry》
阿里云高级技术专家马丁介绍了IFA(inband flow analyzer)技术在阿里巴巴大规模落地的挑战,以及阿里云如何通过使用新一代带内遥测技术提高网络监控能力和新场景的覆盖。马丁认为:随着近些年AI/ML、大数据、VR/AR等新型应用的兴起,用户对网络的要求逐渐转变为对网络高质量的要求。而传统网络监控如syslog、snmp、gRPC等技术更多专注在设备层面以及control plane,已无法满足用户对网络质量日益增长的需求。带内遥测技术的出现,成为对传统网络监控体系的很好补充。通过使用带内遥测技术,网络运维人员可以窥探网络“内部”发生的各种事件。
图 | IFA工作原理
上图简要介绍了IFA的工作原理,当数据包进入网络后。每一跳交换机在原有数据包上加入IFA meta数据。Meta数据包含进/出端口编号、进/出时间戳、所在队列信息。在数据包到达最后一跳交换机时,将所有meta数据从数据包上剥离并上报,原有数据包抵达终端服务器。
图 | 规模部署挑战
在使用新技术带来的红利的同时,马丁也分享到:以IFA为代表的带内遥测技术产生的大量网络监控数据,将会带来网络资源和计算资源的巨大消耗。如何达成监控效率和成本的平衡是规模部署的主要挑战之一。另一方面,由于带内遥测技术还属于相对初期的阶段,芯片的实现方式参差不齐,各个厂商也没有形成统一的标准。这就要求早期用户需要与芯片厂商共同协作的同时,要具备足够的软件开发能力,从而从应用侧进行弥补。
/-2-/
High Performance Congestion Control (HPCC++) for RoCEv2 Networks Leveraging SAI TAM
图 | 缪睿分享《High Performance Congestion Control (HPCC++) for RoCEv2 Networks Leveraging SAI TAM》
第二个演讲的主题是基于IFA的拥塞控制算法HPCC++原理和阿里网络的部署经验。首先,博通公司的Surendra Anubolu和Bhaskar Chinni介绍了博通交换芯片的SAI Telemetry And Monitoring v2.0架构,即SAI TAMv2,以及基于此芯片架构设计的IFA带内遥感能力。IFA能够实现在数据包转发的过程中,向数据包内插入交换机的状态信息,例如队列长度、链路负载、转发时延等等。因此,IFA能够被广泛应用于网络诊断,监控和告警等,这也是IFA被设计的初衷。随后,阿里巴巴高级技术专家缪睿介绍了高性能网络场景和拥塞控制在其中的重要性,并创造性地提出利用IFA来实现更高精度的拥塞控制算法的可能性。
图 | HPCC++拥塞控制工作原理
上图所示为HPCC++拥塞控制算法,发送端在发送数据的同时,周期性地发送携带有IFA header的网络探测包(probe)用于感知网络拥塞,探测包在经过网络路径上的交换机时,交换机会识别探测包中的IFA header,并在其中按照指定的偏移上插入metadata信息,这些metadata信息用于记录交换机端口链路的拥塞程度,包括链路的队列长度、链路的发送数据字节数、时间戳、链路物理带宽等。之后,探测包收集了逐跳的metadata信息后,由接收端反馈给发送端,用于拥塞的检测和发送速率的调整。由于采用了IFA提供的精确网络信息,HPCC++能够提供快速的拥塞收敛,使得网络保持几乎零排队,实现高性能网络的高带宽和低延迟。
图 | HPCC++拥塞控制在存储网络的部署
缪睿还介绍了HPCC++拥塞控制算法在高性能存储网络的部署场景。根据阿里网络数据,存储流量占了数据中心流量的60%以上,同时存储流量是分布式高并发的模型(high fan-out),应用对于存储I/O性能非常敏感,因此,存储网络对于带宽和延迟都有很高的要求。HPCC++的设计和部署充分发挥了IFA对于网络动态状态的感知,用于满足应用对于网络性能的需求。HPCC++的设计理念和部署经验引发了现场与会代表的热烈讨论,有对于IFA的使用规格、字段信息等设计细节指标的关注,也有对于高精度拥塞控制下网络的稳定性、探测包发送频率和带宽开销等算法层面的思考等。
现场的阵阵热议引发了OCP对于成熟规模部署方案的关注和认可,在OCP峰会的智能网卡和主机侧网络主题演讲中,HPCC++也作为被支持的算法之一,纳入设计标准。
点击 此处 get更多OCP峰会演讲内容
我们是阿里巴巴云计算和大数据技术幕后的核心技术输出者。
获取关于我们的更多信息~