《策略驱动型数据中心——ACI技术详解》——1.3 数据中心设计

简介:

本节书摘来自异步社区《策略驱动型数据中心——ACI技术详解》一书中的第1章,第1.3节,作者: 【美】Lucien Avramov 【意】Maurizio Portolani 更多章节内容可以访问云栖社区“异步社区”公众号查看。

1.3 数据中心设计

数据中心网络基础架构设计,还包括定义交换机如何互联和如何保证网络中的数据通信。在包含接入、汇聚和核心的三层设计方法中,思科vPC是数据中心最常用的部署技术。还有一种被称之为“主干-叶节点”的新型两层矩阵的设计方法。这两种方法都会在本章后面的“采用主干-叶节点的ACI基础架构的逻辑数据中心设计”小节中介绍。

物理数据中心有3种基本的设计方法:列端式(EoR)、列中式(MoR)和架顶式(ToR)。该命名约定表示网络交换机在数据中心列中的位置。

这些部署模型的选择将基于以下的数据中心项目需求

  • 故障域大小
  • 可供机架和数据中心使用的功率
  • 每个机架的服务器数量
  • 每台服务器的NIC数量
  • NIC速率
  • 布线制约因素
  • 操作制约因素
  • 市场上可用的交换机形态规格
  • 可用的预算
  • 超载比

这个列表并不是最全面的,这只是为了解释主要的列中式或架顶式方法的最终选择决策背后的概念。目前的发展趋势是使用ToR方法来设计数据中心。这并不意味着ToR是唯一可采用的设计方法,因为每个数据中心的需求是不同的,但它是目前最常见的部署方法。

1.3.1 列端式
EoR是经典的数据中心模型,其中的交换机放在数据中心机柜列的一端。每个机架有电缆连接到列端网络设备,如图1-14所示。EoR模型减少了需要管理的网络设备数量,优化了网络的端口利用率。在此模型中,机架中的服务器布局决策所受的约束更少。要实现冗余设计,可使用两束铜线来连接每个机架,二者都连接到相反的EoR网络基础架构。此模型的不足在于,必须在每列上要预先水平铺设大量的电缆,以及从列的每端通过架空托架或地下连接大量的电缆。此外,它会为每列生成一个很大的网络故障域。当服务器是虚拟化的,而且每台服务器运行数十到数百个VM时,这方面的影响会更大。这些不足使EoR模型不适合在现代数据中心中采用,在现代数据中心中,机架以各种不同的方式部署,而且不同机架的速率和电缆的需求可能会不同,所以需要经常重新布线。EoR模型非常适合具有高可用性的机箱式交换机,其中服务器接入端口事实上是连接到模块化的机箱式交换机上的。


4fee1131c580a6e46d37fdb248a09e51f517b3ec

列中式
MoR是EoR模型的一种变形。MoR模型定义了将服务器连接到位于机柜列中部的交换机的架构。MoR 模型减少了对从列的一端连接到另一端的更长的电缆的要求,因为使用MoR,网络位于中部。MoR不仅在电缆长度上,而且在电缆类型上减少了布线成本。7至10米长的CX-1双绞线可用于将设备与MoR网络设备互联,而不需要包含配线架在内的更长的光纤。

架顶式:现代数据中心方法
前面已经提到,ToR方法是目前最常用的。它更适合POD设计并且包含一个故障域。ToR模型定义了将服务器连接到位于同一个机架内的交换机的架构。这些交换机通常使用水平光纤电缆来连接到汇聚交换机。此模型提供了接入层向优化的高带宽网络和低成本低运维开销布线设施架构的清晰的迁移路线图。它还支持按需付费的计算机部署模型,这增加了业务敏捷性。数据中心的接入层给架构师带来的挑战最大,因为他们需要选择布线架构来支持数据中心计算机的互联需求。

ToR网络架构和布线模型建议使用光纤作为连接机架的主干电缆,而在机架上主要使用铜线或光纤介质来连接服务器。来自每个机架的光纤的使用还有助于保护基础架构投资,因为在采用任何其他传输机制之前,不断演变的标准(包括40-GE和100-GE)更可能使用光纤实现。例如,40-GE能够使用在现有的多模10-GE光纤基础架构上开发的思科QSFP BiDi光模块作为收发器来运行。通过限制机架内的铜线的使用,ToR模型可将最常更改的布线隔离到最常变更的数据中心组件中:即机架本身。对于来自机架的光纤的使用提供了一种灵活的数据中心布线基础架构,以支持从1-GE过渡到现在的10-GE和40-GE,同时支持在未来过渡到100-GE和更高速率。ToR方法的主要不足在于要管理的交换机数量。这对思科Nexus 2000方法来说不是问题,它可以进行集中管理。此外,借助思科ACI矩阵,此问题更不需要担忧,因为所有的矩阵都由应用定义和控制。本书大部分篇幅将涉及ACI矩阵。

采用ToR方法,叶节点、主干或汇聚交换机可在EoR(如图1-15所示)或MoR(如图1-16所示)上连接,同时显著减少了电缆数量,在机架级别上提供了可扩展的按需付费模式。


<a href=https://yqfile.alicdn.com/d2f0a85663f7bba908dfb1a594bddbb88827273b.png" >

在 ToR 上,服务器与上行链路带宽之间典型的超载比为 5:1。这就是最初为 ToR 配置基于48 个端口的非阻塞交换机的原因,其中40个端口是面向服务器的,8个端口用于上行链路。根据部署需求,可实现非阻塞ToR设计或较高的超载比设计。例如,HFT环境需要非阻塞且无超载比的网络,而高度密集的虚拟化环境或虚拟桌面需要更高的比率。根据是否是虚拟化环境,双宿主或单宿主服务器可通过1-GE、10-GE或40-GE NIC卡来部署。在100-GE或更高速率的NIC变得可用时,同样的原则也将适用。

机架大小正从标准的42个机架单元(RU)和19英寸宽的插槽演变为更密集和更高的模型。机架大小有许多选择,目前最宽为23英寸,高度选项涵盖从44个RU到包含57个RU的超高的自定义机架设计。一个RU表示1.75英寸的高度。在当前的设计中,48个RU的大小变得更常见,因为它将42个RU的大小拉伸到更密集的形式,而且仍符合货运卡车、入户门大小等的实际情况。

通常需要2至4个RU用于管理带外网络、接线板、配置电缆等。因为能够容纳40个RU的服务器密度是常见的需求,这就为ToR交换机留出了4至6个RU。ToR交换机的通风气流是从前往后的,而且不需要在交换机之间增加空间。它们应堆叠在服务器上。可以通过更换思科Nexus交换机中的风扇盘和电源,将气流方向更改为从后往前。在列端式设计中可以看到这种从后往前的气流设计。

单宿主服务器设计
对于单宿主服务器,通常在机架中部署单个ToR交换机。ToR交换机为服务器提供了交换端口,还提供了连接到汇聚层的上行链路端口,汇聚层可能是 MoR、EoR 等。通常,ToR 交换机的所有端口都拥有相同的功能。没有特定的专用上行链路端口,除了思科 Nexus 2000产品系列之外,其上行链路端口是特定的,而且它们只能连接到上游的 Nexus 5000、5500、6000、7000、7700或9000产品。通过采用网络vPC、VXLAN、IP或最新的端到端以应用为中心的ACI基础架构来支持上行流量,矩阵技术或连接技术可以在2层或3层中使用。

对于双宿主服务器,会在机架中部署一对ToR交换机。在此场景中,给定服务器上的每张NIC连接到一台不同的ToR交换机。

服务器可以在以下场景中运行。

  • 双活第2层
  • 双活第3层
  • 主备模式

矩阵或连接技术可拥有与具有ToR的矩阵的第2层和第3层冗余连接,或者具有采用vPC技术的第2层的冗余性。在ToR上游,可使用与单宿主服务器设计类似的技术。

1.3.2 采用主干-叶节点ACI基础架构的逻辑数据中心设计
传统的网络是基于生成树协议的冗余模型搭建的。后来,vPC的使用带来了双活连接方式,与STP主备拓扑结构相比,该双活连接获得了两倍带宽的增强。过去5年来在数据中心最常用的就是vPC设计和拓扑结构,但本节并不介绍它们。数据中心设计的新趋势是,使用主干-叶节点两层设计,ACI矩阵所采用的也是这种设计。本节介绍主干-叶节点架构和设计,然后介绍ACI主干-叶节点的优势。

数据中心网络通常是在物理上配置于单个管理域内。不同于传统的企业网络,数据中心的大部分流量都是东西向传输(在数据中心内的服务器之间)而不是南北向(在数据中心内的服务器与外部之间)。数据中心内的设备倾向于均匀分布(服务器、网络工具、NIC、存储和连接)。在服务器端口方面,数据中心网络可涵盖3000个到100000个端口。它们对成本也更加敏感,但没有传统企业网络那么丰富的功能。最后,数据中心内的大多数应用都会被量身调整来使用这些常规特征。

主干-叶节点数据中心架构旨在满足这些需求,它由一个拓扑结构、一组开放协议和每个网络节点中最少的功能组成。它的物理拓扑结构的最简单形式是基于两层、“胖树”拓扑结构,也称为Clos或非阻塞拓扑结构。此拓扑结构包含一组叶节点设备,它们连接到一个完整的二分图中的一组主干设备。也就是说,每个叶边界设备连接到每个主干,反之亦然,如图1-17所示。


<a href=https://yqfile.alicdn.com/121d8b69aa091484928b396c482bbd7dc0ede0eb.png" >

此架构拥有以下4个基本特征。

  • 胖树拓扑结构。
  • 通过细粒度的冗余性获得非常高的网络可用性。
  • 基于开放、可交互操作、标准的技术。
  • 扩展管理具有同质性、定期性和简单性。
  • 此架构的优势包括以下几点。
  • 可扩展性。
  • 灵活性。
  • 可靠性。
  • 可随时启用。
  • 开放、可互操作的组件。
  • 低拥有成本和运维成本。

每个节点是一台全功能的交换机。例如,每个节点可接收标准网络数据包并转发它,就像典型的交换机或路由器那样。此外,每个节点有一个关联的控制平面,用于确定该节点的转发状态。

此拓扑结构大量使用了多路径以在节点之间获得所需带宽。用于主干-叶节点架构的转发模式可基于2层转发(网桥)或3层转发(路由),具体可根据特定客户的需求。每种方式都有其实际(且能感觉到)的优势和不足。本节不讨论这些优劣的权衡。例如,ACI架构依赖于路由主机方法或主干-叶节点架构的3层转发。

主干-叶节点架构提供了细粒度冗余性的优势,意味着许多组件会并行工作,因此任何一个组件或少量组件的故障都不会给网络的整体功能带来重大影响。如果交换机失效了,对网络管理员来说这并不是很重要。这会是一个微妙但非常有趣的概念。细粒度冗余性的优势可通过一个比较示例来很好地演示。对于传统的数据中心网络设计,在树的顶部有两台交换机,如果其中一台交换机出于任何原因发生故障,网络将会损失50%的性能。一台交换机发生故障的概率与它的可靠性相关,典型的可靠性目标为5个9,也就是说有0.00001%的几率失去网络性能的50%。尽管这是个很小的几率,但客户显然喜欢更好的。

在基于主干-叶节点的网络中,主干中有20台交换机。要损失同样的带宽量,也就是50%,就要10台交换机同时失效。这显然是非常不可能的,为了得到具体的数字,让我们做一个假设和简单的计算。假设出于某种原因,交换机的可靠性非常差,只有两个9;也即交换机发生故障的几率为 1%。这些交换机中的 10 台同时发生故障的几率为 0.01^10 或0.000000000000000001%。这与高度可用的交换机的0.00001%的几率相比不是很差。这里的基本理念是,在设计网络时会假设一些组件是会发生故障的,而不是尝试让网络组件完美无瑕。没有组件是“大而不倒”的。例如,MSDC客户应采用此方法计算所需资源和基础架构。与说服某人任何单个组件极不可能发生故障,因此他们就可以高枕无忧相比,说服某人其网络的设计能很好地处理故障会更容易。

同样的观点也可应用于网络的运维方面。在交换机的软件必须升级时,甚至在该交换机支持思科在线软件升级(ISSU)时,人们通常非常担忧该升级对网络服务的影响。借助细粒度冗余性,管理员只需让该交换机停止运行,升级它,重新启动它,或者执行其他必要的操作,而无需担心对整体网络设备的影响。在主干-叶节点架构中,高可用性由整个矩阵来处理,无需让单台设备支持ISSU,以预防应用中断。

最后,端口间的延迟会很低,并且延迟是固定的。假设队列延迟为0,许多MSDC客户想要获得稳定的任意端口到任意端口的延迟。

在主干-叶节点架构中,无论网络有多大,数据包从一个端口传输到任何其他端口的最大延迟是相同的。该延迟是边缘设备延迟的两倍加上主干的延迟。随着业界和思科开发了更优化延迟的新交换机,主干-叶节点架构将无缝地采用这些进步。事实上,使用思科目前正在开发的交换机很容易为100000个非阻塞10-GE端口实现最大1.5毫秒的延迟。因此,此网络甚至可满足低延迟网络需求。类似的考虑因素适用于缓存和转发表大小。这些是交换机已实现的功能。如果需要更大的缓冲,则使用具有更大缓存区的交换机。表项大小也是如此。这种依据开发小组可能拥有的具体权衡因素和市场考虑因素而设计每个网络组件的自由,是主干-叶节点架构所提供的灵活性。超大规模、固定的每端口成本以及较低、一致的延迟,都是主干-叶节点架构非常有吸引力的特征。

ACI架构依赖于本节所介绍的主干-叶节点模型。ACI矩阵还采用了中央管理点,同时保留了独立设备分布式控制平面。这允许该矩阵提供单一的交换机操作模式,同时获得主干-叶节点架构的所有好处。

相关实践学习
使用ROS创建VPC和VSwitch
本场景主要介绍如何利用阿里云资源编排服务,定义资源编排模板,实现自动化创建阿里云专有网络和交换机。
阿里云专有网络VPC使用教程
专有网络VPC可以帮助您基于阿里云构建出一个隔离的网络环境,并可以自定义IP 地址范围、网段、路由表和网关等;此外,也可以通过专线/VPN/GRE等连接方式实现云上VPC与传统IDC的互联,构建混合云业务。 产品详情:https://www.aliyun.com/product/vpc
相关文章
|
3月前
|
机器学习/深度学习 存储 监控
利用机器学习技术优化数据中心能效
【7月更文挑战第36天】在数据中心管理和运营中,能源效率已成为关键性能指标之一。随着能源成本的不断上升以及环境保护意识的增强,开发智能化、自动化的解决方案以降低能耗和提高能源利用率变得尤为重要。本文探讨了如何应用机器学习技术对数据中心的能源消耗进行建模、预测和优化,提出了一个基于机器学习的框架来动态调整资源分配和工作负载管理,以达到节能的目的。通过实验验证,该框架能够有效减少数据中心的能耗,同时保持服务质量。
|
6月前
|
存储 大数据 数据处理
探索现代数据中心的冷却技术
【5月更文挑战第25天】 在信息技术迅猛发展的今天,数据中心作为其核心基础设施之一,承载了巨大的数据处理需求。随着服务器密度的增加和计算能力的提升,数据中心的能耗问题尤其是冷却系统的能效问题日益凸显。本文将深入探讨现代数据中心所采用的高效冷却技术,包括液冷解决方案、热管技术和环境自适应控制等,旨在为数据中心的绿色节能提供参考和启示。
|
6月前
|
人工智能 监控 物联网
探索现代数据中心的冷却技术
【5月更文挑战第27天】 在信息技术迅猛发展的今天,数据中心作为信息处理的核心设施,其稳定性和效率至关重要。而随着计算能力的提升,数据中心面临的一个重大挑战便是散热问题。本文将深入探讨现代数据中心冷却技术的进展,包括传统的空气冷却系统、水冷系统,以及新兴的相变材料和热管技术。通过对不同冷却方式的效率、成本及实施难度的分析,旨在为读者提供一份关于数据中心散热优化的参考指南。
|
6月前
|
机器学习/深度学习 资源调度 监控
利用机器学习技术优化数据中心能效
【5月更文挑战第30天】在数据中心管理和运营中,能源效率的优化是降低运营成本和减少环境影响的关键。本文旨在探讨如何应用机器学习技术来提升数据中心的能源效率。通过对现有数据中心运行数据的深入分析,开发预测性维护模型,以及实施智能资源调度策略,我们可以显著提高数据中心的能效。本研究提出了一种集成机器学习算法的框架,该框架能够实时监控并调整数据中心的能源消耗,确保以最佳性能运行。
|
6月前
|
存储 大数据 数据中心
提升数据中心能效的先进冷却技术
【5月更文挑战第27天】 在信息技术不断进步的今天,数据中心作为计算和存储的核心枢纽,其能源效率已成为评价其可持续性的关键指标。本文将探讨当前数据中心面临的热管理挑战,并展示一系列创新的冷却技术解决方案,旨在提高数据中心的能效,同时确保系统的稳定性和可靠性。通过对比传统冷却方法和新兴技术,我们将分析各种方案的优势、局限性以及实施难度,为数据中心运营者提供科学的决策参考。
|
5月前
|
移动开发 监控 前端开发
基于 HTML5 WebGL 和 VR 技术的 3D 机房数据中心可视化
基于 HTML5 WebGL 和 VR 技术的 3D 机房数据中心可视化
|
6月前
|
机器学习/深度学习 数据采集 资源调度
利用机器学习技术优化数据中心能效
【5月更文挑战第27天】 在本文中,我们探讨了一种基于机器学习的技术框架,旨在实现数据中心能效的优化。通过分析数据中心的能耗模式并应用预测算法,我们展示了如何动态调整资源分配以减少能源消耗。与传统的摘要不同,此部分详细阐述了研究的动机、使用的主要技术手段以及期望达成的目标,为读者提供了对文章深入理解的基础。
|
6月前
|
机器学习/深度学习 敏捷开发 测试技术
深入理解自动化测试:框架选择与实践挑战利用机器学习技术优化数据中心冷却系统
【5月更文挑战第27天】 在现代软件开发周期中,自动化测试已成为确保产品质量和加快市场投放的关键步骤。本文深入探讨了自动化测试的框架选择问题,并剖析了实施过程中面临的挑战及其解决方案。通过比较不同测试框架的特点,我们旨在为读者提供一套明确的指导原则,帮助他们根据项目需求做出恰当的技术决策。同时,文中还分享了实际案例和最佳实践,以期帮助开发团队克服实施自动化测试时可能遇到的障碍。
|
6月前
|
机器学习/深度学习 缓存 算法
深入理解操作系统的虚拟内存管理利用机器学习技术优化数据中心能效
【5月更文挑战第25天】 在现代计算机系统中,虚拟内存是允许用户程序逻辑地址空间与物理内存解耦的关键概念。它为每个进程提供了一个独立的、连续的地址空间,通过内存管理单元(MMU)硬件的支持,将程序使用的虚拟地址映射到实际的物理内存地址。这种机制不仅简化了程序的编写和内存的管理,还提供了保护机制,防止不同进程之间的相互干扰。本文将探讨虚拟内存的工作原理、分页系统的实现以及虚拟内存带来的性能影响,并讨论操作系统如何优化内存使用和管理。
|
6月前
|
存储 边缘计算 人工智能
探索现代数据中心的心脏:高效液冷技术
【5月更文挑战第20天】 在信息技术不断进步的今天,数据中心作为处理和存储海量数据的枢纽,其运行效率与可靠性至关重要。传统的空气冷却系统由于其局限性已逐渐不能满足高密度计算设备的需求。本文将介绍一种创新的冷却方案——高效液冷技术,分析其工作原理、优势以及面临的挑战,并探讨该技术在未来数据中心发展中的潜在应用。