网络“高速公路”首秀双11 | 探秘阿里巴巴HAIL数据中心网络-阿里云开发者社区

开发者社区> 初商> 正文

网络“高速公路”首秀双11 | 探秘阿里巴巴HAIL数据中心网络

简介: 今天这个超级数字的背后,是交易、搜索,到中间件、存储、数据库等等这些庞大分布式系统的计算和IO能力的飞跃。而支撑这些系统能力高速不间断运转的,则是底层网络技术。
+关注继续查看

image.png

对于技术人员而言,每年的双11都是一次技术盛宴,是对系统性能的极致挑战,对系统稳定性的终极考验。从2009到2018这十年间,交易额达到今天的2135亿,每秒订单创建的峰值也是屡创新高,对于攻城狮来说,这不仅仅是数字的飞跃和世界记录的刷新。今天这个超级数字的背后,是交易、搜索,到中间件、存储、数据库等等这些庞大分布式系统的计算和IO能力的飞跃。而支撑这些系统能力高速不间断运转的,则是底层网络技术。

数据中心网络作为这些大型分布式系统内部的高速公路,越来越多的承载着计算和存储系统IO延伸的作用,网络即IO。更高的带宽、更低延时才能给业务系统带来更加极致的性能表现。

2018年双11,阿里巴巴数据中心网络的主角,是阿里巴巴全新一代网络架构5.1,架构的项目代号为HAIL(1.0版本,后续还有region级别的架构演进HAIL2.0)。

HAIL代表“High Availability、Intelligence, and Low latency”,是5.1网络架构设计核心思想和目标的最直白体现。其中,RDMA、去堆叠、流量可视化 等是HAIL 5.1网络架构的核心关键词。

High Intelligence依托于network telemetry技术和自动化平台的能力构建了整个5.1数据中心网络架构自动化和智能化基石。关于这些方面,HAIL 5.1架构中有很多业界首创性的尝试,由于各种原因不在本文中介绍。

####High Availability的关键设计——去堆叠

高可用是基础网络永恒的使命,而这个目标看起来简单直接,却并不是那么容易做到。5.1网络架构的双上联去堆叠设计,为高可用的目标增加了强有力的支撑。

堆叠为我们带来了什么,为什么去堆叠?

为了支持业务的高可用,阿里巴巴网络架构历来都是采用双上行接入的方式,从Server的接入link到TOR的层面都实现了双活备份,使得一条link的故障,或者一台TOR的故障对于业务系统的可用性影响降到最低,会出现高水位时性能的损失但是不会出现服务不可用。

传统的双活接入的方式,业界通用的方法都是通过两台TOR交换机实现vpc/mlag/堆叠这类技术来实现,而这种双活技术要求两台交换机之间通过协议交互转发表项信息,甚至堆叠技术要求两台TOR在管理和转发层面都merge成为一台设备,这在无形中增加了技术复杂度和出问题的概率。实际运行过程中也体现了这一点,两台TOR由于堆叠系统的软硬件bug原因导致同时宕机的情况屡见不鲜,对业务系统的稳定性形成了很大的挑战。

去堆叠设计

5.1网络架构中,我们创新性的实现了服务器双活接入+TOR去堆叠(如下图),在保证服务器双活接入的可用性前提下,解决了堆叠系统本身稳定性所带来的问题。支撑2018年双11的所有5.1网络集群和数以万计的服务器,都是运行在阿里自主设计开发的去堆叠技术之上, 使得5.1架构在双11的流量压力和高可用要求下,更加从容应对。

image.png

网络去堆叠设计的基本原则:在网络设备上通过feature实现,使所有业务访问均走三层转发,利用三层转发的路由传递能力覆盖所有failover场景,同时保持服务器的bond接入生态,在主机侧做最小的改动。

网络侧

  • arp转换为host路由。所有ASW上学习到的arp都转换为/32主机路由(host-route);
  • LACP sysID可设置。可以对两台ASW进行LACP sysID设置以达到两台ASW与下联Server的两条链路完成LACP协商;
  • arp proxy。ASW使用自身mac地址代答所有主机或者虚拟主机的arp,使所有主机间的互访在网络设备上进行三层转发。

主机侧

  • 我们在服务器上实现arp报文在bond slave端口TX方向上的broadcast。如下图所示

image.png

这个模块实现对arp报文在多个bond slave上的broadcast,可以协助两台交换机来同步arp。

Low latency —— RDMA技术第一次大规模应用考验

业务系统有两个非常关键的业务指标,即Throughput(吞吐量,单位时间内可以处理的请求数或执行的任务数)和Latency(时延,系统在处理一个请求或一个任务时的延迟)。当然不同的业务场景中,对于Throughput和Latency的诉求也会不尽相同,侧重点也会有所不同。然而无论如何,Low Latency是永恒的追求,Latency越小,在同等系统资源条件下,就能获得更大的Throughput。

5.1网络架构在Low latency方面有两个方面的设计实现。

  1. scale out设计中,PSW设备改为单芯片设备,从转发路径上减小了PSW层面转发的芯片数从而减小了转发节点数,降低了一个pod内部交互的转发时延。而以往架构采用框式设备,一个PSW节点的转发需要经过三跳。

image.png

  1. HAIL 5.1网络架构以POD为单位支持RDMA,给业务提供了目前业界最强的高性能低延时网络技术方案。(当然,1.中对PSW的单芯片设计也大大简化了RDMA部署的复杂度,这两个设计相辅相成)

近几年,当我们讨论Low latency时, RDMA是绕不开的话题。大家都在讨论IB、iWrap、RoCE的优劣和取舍的时候,实际上阿里巴巴已经实现了业界最大规模的RDMA 部署,同时也经受了当今世界最严苛的技术考验——天猫双11.

目前运行在5.1RDMA平台上的业务包括集团DB、阿里云ESSD、阿里云PolarDB、大数据PAI、高性能计算等,2018年双11更是RDMA大显身手的舞台,100% 大促DB业务,和100% 大促ESSD存储都运行在RDMA上,网络为业务系统的极致性能提供了最强的赛道!

5.1架构以POD为单位支持RDMA,使用了RoCEv2协议规范,以及DCQCN+Lossless网络的流控方案,目前已经在集团的存储、DB、高性能计算、机器学习等业务场景中大规模使用。

HAIL5.1网络架构不仅仅实现了RDMA技术能力的落地,同时建立了RDMA业务支撑平台和RDMA运营生态,这是RDMA作为一个落地生产的技术架构非常重要的部分。

· 向上层业务,我们提供了RDMA-Service的平台化RDMA支撑模块,方便业务快速部署和使用RDMA,同时模块中集成了rdma关键参数的监控和校验能力;

· RDMA自身的闭环运维能力。监控系统通过gRPC/erspan等通道从物理网络获取实时的RDMA运行状态,包括pfc/cnp/nak/buffer-usage/queue-drop/mmu-err/link-flap/crc/…,通过这些数据我们可以实时监控RDMA网络的运行状态;自动化系统对监控数据进行分析,对监控事件进行响应,来实现快速的故障发现和定位,实现基于pfc拓扑的mmu异常点定位和隔离,基于nak/cnp来快速判断网络丢包。

image.png

展望

接下来,阿里巴巴数据中心网络架构还将进行region级别的HAIL架构演进(架构代号HAIL2.0),实现更大范围内的“高可用、智能化、低延迟”网络,我们将在自研机、可视化和RDMA领域持续发力,上线由自主研发的DC交换机组成的数据中心新一代架构,运行自主研发的RDMA流控方案和定制协议的智能网卡,继续引领新一代网络可视化技术的发展和落地。阿里巴巴数据中心网络架构HAIL2.0,我们明年双11见!

image.png

版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。

相关文章
7、Libgdx网络操作
(官网:www.libgdx.cn) Libgdx包含了一些跨平台的网络操作类,这些类在Gdx.net中。 特性 跨平台HTTP请求 多平台TCP C/S Socket支持(可配置) TCP C/S优化 跨平台浏览器访问 说明 Net.java 跨平台网络接口。
844 0
手把手教你生成对抗网络 GAN,50 行代码玩转 GAN 模型!
本文为大家介绍了生成对抗网络(Generate Adversarial Network,GAN),以最直白的语言来讲解它,最后实现一个简单的 GAN 程序来帮助大家加深理解。
1587 0
双11核心系统100%上云 !阿里数据库处理峰值远超传统厂商
刚刚结束的天猫双11创下了两项新记录:交易额2684亿,订单峰值54.4万笔/秒,阿里巴巴集团CTO张建锋在当晚宣布,双11核心系统100%上云,背后作为数据核心支撑的自研数据库OceanBase和POLARDB每秒处理峰值都远远超越传统Oracle数据库。
923 0
【双11背后的技术】永不停止的脚步——数据库优化之路
作者:佳毅 前言 2016年双11已经顺利落下帷幕,在千亿电商流量的冲击下,集团数据库整体表现完美。完美表现的背后,隐藏着数据库团队对技术的执着追求。这是一个什么样的团队,他们究竟做了什么,是什么支持着双11这一全民狂欢的数字一次次突破?笔者以一个亲历者的角度来给大家揭开双11背后,阿里巴巴数据库团队的神秘面纱。
5358 0
【双11背后的技术】AliCloudDB——双11商家后台数据库的基石
作者:玄惭 前言 2016年天猫双11购物狂欢节已经完美落下帷幕,千亿成交的背后,作为整个天猫商家后台数据库的基石,AliCloudDB是如何保障在零点洪峰来临时候稳定、安全和顺畅?如此庞大规模的数据库实例集群又是怎样一步步成长起来的?AliCloudDB团队核心老司机玄惭,为你带来,双11是这
3630 0
对《网络出版服务管理办法》的一点忧思
  最近南周新年献词一事将新闻自由所遭受的限制引到了聚光灯下,然而于此同时,另一类同样重要且更为广泛的自由,即通过网络公开表达自己思想的自由,正在被一对巨钳暗地里越收越紧,这对巨钳来自新闻出版总署正在征求意见的《网络出版服务管理办法》("《办法》")。
601 0
Linux网络基础编程|学习笔记
快速学习Linux网络基础编程
38 0
【技术精华汇总】不一样的技术创新——阿里巴巴2016双11背后的技术
  每年的“双11”是阿里技术的大阅兵和创新能力的集中检阅。2016年的“双11”背后,更是蕴藏了异常丰富的技术实践与突破。   历经1个月的编写,最终27篇精华技术文章入册《不一样的技术创新-阿里巴巴2016双11背后的技术》(以下简称《不一样的技术创新》)一书。这27篇“2
14626 0
GAN网络通俗解释(图画版)
最通俗的GAN网络介绍!
4955 0
+关注
770
文章
584
问答
来源圈子
更多
阿里基础设施事业群,隐身于你接触到的阿里集团的各种服务和应用中。我们将在这个平台上与大家交流技术及IT行业的各种问题。
+ 订阅
文章排行榜
最热
最新
相关电子书
更多
文娱运维技术
立即下载
《SaaS模式云原生数据仓库应用场景实践》
立即下载
《看见新力量:二》电子书
立即下载