2017下一代数据中心网络研究报告zz

简介: http://dy.163.com/v2/article/detail/CDG9CD7G05179LAH.html  2月2日,SDxCentral发布了2017下一代数据中心研究报告(2017 Next Gen Data Center Networking Report)。

http://dy.163.com/v2/article/detail/CDG9CD7G05179LAH.html

  2月2日,SDxCentral发布了2017下一代数据中心研究报告(2017 Next Gen Data Center Networking Report)。这份报告系统介绍了下一代数据中心网络的发展趋势、关键功能、典型案例、行业标准以及热门产品。

  下一代数据中心演进的四大驱动力

  1、业务竞争驱动:企业提升自身竞争力,对敏捷性、差异化和成本节约提出了新要求

  Increased Competitiveness Driving Agility, Cost-savings, Differentiation in IT

  2、内容流量驱动: 高速增长的视频和富媒体内容成为数据中心的新压力

  Increased Consumption of Video and Media-rich Content

   3、交付模式驱动: 云计算和移动化成为主流交付模式

  Dominance of Cloud and Mobile Applications

  4、工作负载驱动: 大数据分析和物联网日益重要,未来将成为数字化转型的关键手段。

  Importance of Data - Big Data, IoT and Analytics

  这部分开场白都是套话,没什么干货,就不详细翻译了

  下一代数据中心对网络的关键需求

  
1、简单化、标准化和模块化

  Simplification, Standardization and Modularity

  数据中心运营者希望能够删减那些不必要的路由/交换功能,利用标准服务器提供网络优化,采用较少商用芯片数量构建更为简单的网络矩阵,同时将L4-L7的功能迁移到标准服务器上,这些需求,都与传统厂商的理念背道而驰。

  LinkedIn、Facebook、Microsoft、Google等巨头已经开启模块化数据中心Pod之路,每个Pod都包含了标准化的网络架构,大规模利用成本低廉的商品化交换机,芯片也切换到BCM、Marvell和一些新兴芯片制造商(比如Barefoot、Cavium Xpliant和盛科)。

  模块化的节点更易部署和替换,也提升了横向扩展能力,随着这种云服务商的带动,大型企业级市场也有这种趋势。

   2、对虚拟化和容器的支持

  Virtualization and Containers

  在虚拟化和容器化盛行的时代,无论南北流量还是东西流量,都无法回避虚拟交换机的存在。人们希望虚拟交换机的支持,能像以前使用VLAN一样简单。

  复杂的叠加网络环境造成各种标签混杂,比如来自与广域网的MPLS链接很有可能就被ToR交换机给终结掉了。

   3、可编程能力

  Programmability

  为满足业务敏捷型和灵活性需求,网络可编程能力必不可少。上层业务必须能够实时控制底层网络,进行编排和优化。无论这些业务采用基于XML/JSON的RESTful接口,还是用P4编程或者Openflow协议控制,都需要网络设备本身能够“被集成”,与数据中心融为一体。

  如今已经有越来越多的企业级网络产品可以被云管理平台(比如Openstack、VMware vRealize suite、Cloudstack)集成部署。网络被系统配置管理是大势所趋,甚至这种响应被要求是实时的。

   4、自动化和DevOps/NetOps

  Automation and DevOps/NetOps

  可编程性让网络集成到编排系统成为可能,但是系统需要被部署、被监控、被更新,并非一劳永逸。传统情况下,网工最爱命令行CLIs,很多厂商提供过图形配置界面,但是很少能广泛应用的,大量的设备还是被“命令行”管理着。

  但是,DevOps正在对网络行业产生影响,或者说我们需要NetOps来拯救。基于自动化配置工具(Ansible/Puppet/Chef等),网工们也可以像管理服务器一样去管理网络基础设施了。

   5、可视化与Troubleshooting

  Improved Visibility and Troubleshooting

  跨数据中心流量暴增以及Overlays的存在,让网络可视化变得尤为重要。可视化有理于快速定位网络延迟或者洞察流量突发。还需要具备对流量数据的收集和分析能力,用于排障、优化和安全防范,如果只有海量告警事件日志,那就只能抓瞎了。

  另外,由于数据中心网络正在演进为基于ECMP的leaf-spine三层Fabric,保障所有数据的可达性非常关键,不要让“大象数据流”阻挡了“老鼠数据流”,“可视化”有助于让我们了解整个交换矩阵发生了什么,甚至细化到每个交换机端口的缓存利用率。

   6、开放的硬件平台

  Open Hardware Platforms

  从成本和可配置性考虑,数据中心网络运营者越来越关注白盒或者其他开放硬件平台。有人相信,采用白盒,在硬件成本上可以节省30%-80%。由于这些白盒供应商同时也为品牌交换机厂商提供OEM/ODM服务,所以产品品质和可靠性不存在疑问。

  时至今日,诸如EdgeCore等低成本白盒硬件供应商值得考虑,但你需要找到成熟的软件来支持。另外,像Dell、HPE和华为也提供白盒交换机,但是会提供他们自己的品牌软件,这种模式被称为“灰盒”(gray box)。

  下一代数据中心网络演进

  
“老帮菜”数据中心网络长这样

  由纯物理交换机/路由器组成,有主备或者双A设计,以南北流量为主。

  

  “新生代”数据中心网络长这样

  到了云时代,SDN和NFV参与进来,数据中心网络的边界定义被扩大,从服务器内部的虚拟网络到数据中心物理网络,再到数据中心互联网络。

  

  在这样的数据中心里,四个关键组件必不可少:

  虚拟交换机:满足服务器内部vm和容器的交换需求。

  网络加速卡:智能网卡或加速器提供vSwitch卸载、安全以及存储加速

  ToR与Leaf/Spine:两层Clos架构再次得到推广,架构开放,扩展性强。(虽然这种架构早在1950年代就已经在电话交换网中使用了),大量的商用套片和白盒被应用在Leaf和Spine交换机中,降低成本,解决厂商锁定。

  数据中心互联(DCI):数据中心基于交换机就可以完成直连,DCI互联模块被直接集成到数据中心交换机上,比如100Gbps DWDM。L2 over L3的隧道技术也得到推广应用,还有我们不得不提的SDWAN。

  下一代数据中心网络关键趋势

  
趋势1、解耦与白盒

  Disaggregation and White box

  解耦的意义包含两层,第一层:控制平面与数据平面结构,这是SDN的范畴;第二层:网络硬件与软件解耦,这是白盒和ONIE的范畴。

  白盒交换机采用的商用套片通常来自于Broadcom(目前主流芯片如Trident II, Trident II+, Tomahawk等等),这类白盒基于ONIE标准提供一个交换机启动环境,最终用户可以选择安装交换机OS,如 Big Switch的ONL、Apstra的Apstra OS、Cumulus Linux等等。

  为保证网络与数据中心集成和可编程性,这些OS还提供了相应接口,包括OF-DPA (OpenFlow Data Plane Abstraction)、OpenNSL (Open Network Switch Layer) 以及 SAI (Switch Abstraction Interface)。前两个接口标准主要绑定Broadcom,而SAI出身于OCP,支持多个厂商的芯片(Broadcom, Cavium, Mellanox, Centec、Barefoot)。

  在交换机OS之上,还有诸多为交换机管理和转发功能定制的“插件”,比如开源三层路由代码Quagga和BIRD,以及Facebook出品的FBOSS、微软Azure出品的SNOiC,开放的世界很精彩。

  解耦的白盒阵营与传统的交换机贵族Cisco、Arista、Junper、Brocade还有很长的博弈时间,但是我们看到,戴尔、HPE、华为已经开始销售开放网络平台(灰盒)。而新进玩家Cumulus、EdgeCore、Pica8和其他ODM厂商也在努力推动白盒产业。

  在OCP的推动下,新供应商们正在给市场带来更具性价比、更高性能的硬件产品,而开源团体也会在软件上持续努力,用廉价的开放产品去替代企业级市场那些高价货!

  趋势2、虚拟化、Overlays和Openstack

  Virtualization, Overlays and OpenStack

  虽然Facebook声明他们的业务并不需要Overlays和计算虚拟化,(他们的应用被设计运行的物理服务器上),但是Amazon、Google和Microsoft却是虚拟化和容器化的重度使用者。

  在重度虚拟化应用场景,vSwitch必须保持高性能(基于硬件加速、DPDK、FDiO VPP等等),同时还需要支持Overlay的终结,VXLAN应该作为架顶交换机(ToR)的必选项:实现Overlays流量可视化、在VM和物理机混合接入环境下提供VTEP能力等等。

  对于下一代数据中心网络来说,另一个重要考量是支持以Openstack为代表的CMP(cloud management platform)平台,提供部署、监控、管理接口,对于企业级运行环境,还应该支持VM热迁移的集成接口。

  趋势3、支持ECMP的两层Clos-Fabrics

  2-stage Leaf-spine Clos-Fabrics with ECMP and Pods

  现代数据中心已经从老式胖树架构进化到两级L3 Leaf-spine Clos矩阵,基于ECMP提供多路径流量分担。这种架构抛弃了大型的机箱式核心交换机,用简单的Leaf-spine交换机实现部署低成本、高灵活。连老牌厂商Cisco、Juniper、Arista也开始拥抱Leaf-Spine,积极在企业级数据中心市场进行鼓吹推广。

  而在全球最大的一些数据中心里面,Clos结构的网络被打包在“Pod”里面,通过横向扩展满足Pod巨量的连接需求(参见下文Facebook的Altoona数据中心)。

  然而leaf-spine架构也有不爽之处,首先Leaf和Spine之间需要大量的网络连接,线缆维护复杂,替换和新增spine的时候,工作量是巨大的。其次,基于L3技术,VLAN受到Leaf交换机的限制,导致VM移动性不佳,这就必须依赖VXLAN之类的Overlay技术去解决,会增大开销。

  由于Leaf和Spine之间的海量连接,要进行监控和排错很难,微软在其Azure数据中心里,采用了一种全量ping测试,被称为PingMesh。PingMesh本质上讲是一种强力的在所有端点之间运行Ping测试的方式,可视化的去显示任意两个端点之间的连接状况。

  PingMesh已经在微软数据中心运行多年,每天要产生超过两千亿次探测。

  趋势4、软件定义网络、策略、意图

  SDN, Policy and Intent

  当今数据中心网络之复杂,仅靠人肉运维是不可能的,SDN作为自动化工具,流行起来顺理成章。大型数据中心(如Goole和微软),无论内部还是外部,都有各种形态的SDN存在,Goolge的 B4广域网,就是SDN最典型的案例之一。

  在以云计算为核心的生产环境中,传统手工作坊式的网络配置、参数修改如同杯水车薪,应用需要基于CMP来自动化部署系统、优化参数,每个应用都有不同的配置文件、需要特定的网络支持以满足时延、弹性等QoS要求。这些需求会被绑定成策略集,自动化完成下发和部署。

  Cisco ACI就是一个策略化(Policy-based)处理网络的商用案例,同样,OpenDaylight和ONOS等SDN控制器的目标,也是在网络部署中提供可编程策略。

  基于策略分发,让我们正在向“意图型”网络(intent-based networking)演进:只需要“告诉我你想得到什么”,而不是“告诉我具体怎么做”,剩下的,交给SDN去干。

  也许这就是智能网络的未来状态,让你从繁复的具体配置工作中解脱出来!

  趋势5、大数据分析

  Big Data and Analytics

  下一代数据中心网络的典型应用场景是大数据分析,戏剧性的是,网络生成的数据流本身就是一个大数据用例。很多厂商和组织抓取这些数据,用于优化和潜在安全分析,初创公司Pluribus和Big Switch都在兜售他们的数据监控能力,而Cisco则推出了Tetration平台用于网络数据分析。

  下一代数据中心网络成果和标准

  
1、互联网巨头们的实践

  A 6-Pack of Wedge, Firehose, Watchtower, Pluto, Saturn, Jupiter, Altair, Olympus and more

  引领数据中心变革的,是那些别无选择只能追求持续创新的互联网企业,Facebook、Google、微软、领英都在不断努力,他们内部的数据中心团队驱动着从架构、软件、硬件全方位演进。

  Google

  

 

  Google的数据中心已经进化到第5代,从设计了却没用的“Firehose”,到“Watchtower”,再到"Pluto" 和"Saturn",直到今天使用的 "Jupiter",最新保密设计并未对外公开。Google希望实现一个完整的内置网络的云基础设施,作为一个单元来设计。其目标是打造超过10000台Server的超级集群,将资源利用率发挥到极致。

  

 

  LinkedIn

  

 

  LinkedIn的网络团队对自己的Altair项目和Falco项目非常自豪。Falco项目其实是基于BCM Tomahawk芯片打造的交换机,该交换机被命名为“鸽子”,提供3.2Tbps交换能力,可以作为Leaf或者Spine使用。“鸽子”运行基于Linux的软件系统,并集成了一大宗监控和管理工具。Altair项目则是一个大规模可伸缩的数据中心网络Fabric,用于替换传统网络。

  

 

  Facebook

  

 

  Facebook是开放计算硬件的领导者,他们发起了的OCP,并贡献了Wedge和6-pack。

  Wedge是一款ToR交换机,有40G和100G两种规格,全部贡献给了OCP项目,并且目前两款硬件都可以从第三方供应商EdgeCore买到。

  6-pack是Facebook发布的开放式模块化交换机平台,它以Wedge为基本构件,是一个全网状且无阻断的两级(two-stage)交换机,内含12个独立的交换组件,每个组件的交换容量为1.28Tbps。每个组件也运行自己的操作系统,从交换、主板控制,到冷却系统都是独立的。这代表用户能够在不影响整体系统或软/硬件的前提下更改系统的任何部份,并藉由独特的双背板解决方案来打造无阻断的拓扑结构。

  

  在数据中心层面,Facebook设计了Pod级别的模块——Altoona。Altoona设计可借鉴之处在于,你可以使用小型开放交换机构建你的数据中心,这个架构可以让你扩展到任何规模,而不需要改变基本构建块。

  

  

 

  Microsoft Azure

  

 

  微软Azure的网络广泛使用了SDN技术,每个Azure节点都是用了基于FPGA的网络加速卡——Azure Smart NIC,用来加速流处理、存储进程、QoS以及加解密。Azure使用SDN控制每块加速卡上的流表和规则,保障Azure节点的高性能吞吐。

  微软同时也在云交换机领域也在驱动创新,是SAI和SONiC(Software for Open Networking in the Cloud)的应用先锋。SONiC是一个网络软件组件集合,包含了交换机常备的BGP、ECMP、LLDP等功能,得到了大量硬件供应商的支持,这里面包括了Arista(微软是A公司最大的客户之一)、BigSwitch、Dell、Mellanox,以及芯片厂商BCM、Cavium和盛科。

  

 

  2、Linux基金会及相关项目

  Linux Foundation and its associated projects

  项目很多,就不一一详述了,统一列在这里

  

  3、OCP和TIP

  Open Compute Project (OCP) and Telecom Infra Project (TIP)

  下一代数据中心网络最主要的推动者就是OCP,该项目由Facebook发起,目前获得了业内广泛的支持。从互联网巨头LinkedIn、 Microsoft、Google,到运营商AT&T、Fidelity和DT 再到设备商Cisco、Dell,、Huawei、HPE、Intel、 Ericsson等等。下图为OCP白金会员列表。

  

  OCP是数据中心关键硬件方案之家,包括高密度机架(Open Rack)、服务器(Microsoft OpenCloudServer和Facebook Yosemite)、网络平台(Wedge 40 100 6-pack)。OCP还是ONIE、ONL、SAI、SONiC这些核心网络软件项目的老巢。

  作为OCP的补充,Facebook在2016年又成立了TIP项目(Telecom Infra Project),推动运营商基础设施的变革和演进,替换传统网络架构。TIP的成员包括Intel、Nokia、德电、SK电信、沃达丰、T-Mobile以及思科Juniper等。

目录
相关文章
|
11天前
|
机器学习/深度学习 算法 PyTorch
基于图神经网络的大语言模型检索增强生成框架研究:面向知识图谱推理的优化与扩展
本文探讨了图神经网络(GNN)与大型语言模型(LLM)结合在知识图谱问答中的应用。研究首先基于G-Retriever构建了探索性模型,然后深入分析了GNN-RAG架构,通过敏感性研究和架构改进,显著提升了模型的推理能力和答案质量。实验结果表明,改进后的模型在多个评估指标上取得了显著提升,特别是在精确率和召回率方面。最后,文章提出了反思机制和教师网络的概念,进一步增强了模型的推理能力。
35 4
基于图神经网络的大语言模型检索增强生成框架研究:面向知识图谱推理的优化与扩展
|
1月前
|
算法 数据中心
数据结构之数据中心网络路由(BFS)
本文介绍了数据中心网络路由中使用广度优先搜索(BFS)算法的重要性及其应用。随着数据中心从集中式大型机系统发展到分布式架构,高效的数据路由成为确保低延迟、高吞吐量和网络可靠性的关键。BFS通过系统地探索网络层次,从源节点开始向外遍历,确保发现最短路径,特别适合于数据中心网络环境。文中还提供了BFS算法的具体实现代码,展示了如何在数据中心网络中应用该算法来查找节点间的最短路径,并讨论了BFS的优缺点。
45 0
数据结构之数据中心网络路由(BFS)
|
2月前
|
移动开发 网络协议 测试技术
Mininet多数据中心网络拓扑流量带宽实验
Mininet多数据中心网络拓扑流量带宽实验
81 0
|
4月前
|
边缘计算 负载均衡 5G
边缘计算问题之数据中心内部和外部网络如何解决
边缘计算问题之数据中心内部和外部网络如何解决
38 1
|
5月前
|
运维 负载均衡 监控
|
4月前
|
存储 人工智能 运维
深度解析 | 什么是超融合数据中心网络?
深度解析 | 什么是超融合数据中心网络?
5058 1
|
4月前
|
机器学习/深度学习 数据可视化 数据挖掘
【Macos系统】安装VOSviewer及使用VOSviewer教程!!以ESN网络的研究进行案例分析
本文介绍了如何在MacOS系统上安装VOSviewer软件,并以ESN(Echo State Network)网络的研究为例,通过VOSviewer对相关科学文献进行可视化分析,以深入了解ESN在学术研究中的应用和发展情况。
322 0
【Macos系统】安装VOSviewer及使用VOSviewer教程!!以ESN网络的研究进行案例分析
|
7月前
|
数据中心 网络架构 Python
【计算巢】数据中心的网络架构设计原则
【5月更文挑战第31天】探讨数据中心网络架构设计原则:稳定性是基础,需抵御各种挑战;强调扩展性,适应业务发展;追求高效,确保数据传输速度;注重灵活性,灵活应对变化。简单Python代码示例展示网络节点连接。设计时需具备长远眼光,综合考虑技术方案,以构建坚固高效的信息桥梁。同学们,要持续学习和探索,为信息世界贡献力量!
104 2
|
6月前
|
安全 网络安全 数据安全/隐私保护
网络安全威胁分析与防护技术研究
网络安全威胁分析与防护技术研究
59 0
|
7月前
|
机器学习/深度学习 存储 人工智能
利用机器学习优化数据中心能效的策略研究
【5月更文挑战第30天】 在信息技术日益发展的当下,数据中心作为其支撑的基础设施之一,承担着处理和存储海量数据的重要任务。随着数据中心规模的扩张和计算需求的增加,如何在保证性能的同时降低能耗成为了业界关注的焦点。本文通过引入机器学习技术,探讨了数据中心能效优化的新方法。文中首先概述了数据中心能效的重要性及其面临的挑战,随后详细介绍了机器学习在数据中心能效管理中的应用方式,包括预测模型的构建、能源消耗模式的分析以及动态调整策略的实施。最后,通过一系列实验验证了所提策略的有效性,并与传统方法进行了对比分析。

热门文章

最新文章