0001-CDH网络要求(Lenovo参考架构)

简介: 1.组网配置 建议的Cloudera组网配置如下图,主要包含数据网络和管理网络。2.数据网络 数据网络是用于数据访问的节点之间的私有集群数据互连,比如在集群内的节点之间移动数据,或者将数据导入到CDH集群。

1.组网配置

建议的Cloudera组网配置如下图,主要包含数据网络和管理网络。
在这里插入图片描述
2.数据网络

数据网络是用于数据访问的节点之间的私有集群数据互连,比如在集群内的节点之间移动数据,或者将数据导入到CDH集群。CDH集群通常会连接到企业内部的数据网络。

需要2个TOR交换机:一个是用作带外管理,一个是用于CDH的数据网络。节点的带外管理至少需要一个1GbE交换机。数据网络的交换机一般为10GbE,具体取决于工作负载。

推荐的1GbE交换机是Lenovo RackSwitch G8052。10Gb以太网交换机可以提供额外的I/O带宽,以获得更好的性能。推荐的10GbE交换机是Lenovo System NetworkingRackSwitch 8272。

每个节点的两个Broadcom 10GbE端口可以绑定后连接到G8272交换机,从而提高性能或配置HA。数据网络可以配置为使用VLAN。

注:无论是工作节点还是管理节点,Cloudera都不支持multi-homing。

3.硬件管理网络

硬件管理网络是用于带外硬件管理的1 GbE网络。通过System x3650 M5服务器中的集成管理模块II(IMM2),带外管理可实现集群节点的硬件级管理,如节点部署,基本输入/输出系统(BIOS)配置,状态和电源状态。

Hadoop不依赖于IMM2。根据客户要求,管理链接可以分隔到不同的VLAN或子网上。 管理网络通常直接连接到客户的管理网络。

参考架构需要一个1 Gb以太网TOR交换机用于硬件管理网络。管理员还可以通过客户管理网络访问集群中的所有节点,在第一章的图中,管理链路连接到集成的1 GBaseT适配器上的专用IMM2端口。

4.多机架的网络

以上谈到的数据网络的参考架构配置是由单个网络拓扑构成的。如果是多机架的架构,还需要一个联想RackSwitch G8316核心交换机。 在这种情况下,第二个Broadcom10 GbE端口可以连接到第二个Lenovo RackSwitch G8272。G8272的过载率(over-subscription ratio)是1:2.

下图展示了当CDH集群安装在多个机架上时,如何配置网络。每个机架的G8272交换机通过两个聚合的40 GbE上行链路连接到核心G8316交换机。
在这里插入图片描述

注:为了简化这个图,图中仅绘制了一个G8272,但是推荐使用两个G8272并配置为HA。

跨机架的交换机推荐40GbE的,可以用Lenovo System NetworkingRackSwitch G8316。最佳实践是为每个机架安装冗余的核心交换机,以避免单点故障。在每个机架内,G8052交换机可以选择配置为具有两个G8272交换机的上行链路,以允许通过G8316核心交换机在集群机架之间传播管理VLAN。对于大型集群,推荐使用Lenovo System NetworkingRackSwitch G8332,因为每个40 Gb的端口的价格比G8316要更低。可以配置成许多机架能互相访问网络,但可能需要做一些特定的部署配置来满足超过3个机架的快速寻址。

如果开始规划的就是多机架的解决方案,或者随着系统的扩容后面慢慢的加入了一些机架,CDH管理服务相关的节点我们建议分开部署在不同的机架从而最大化容错。

5.CDH其他网络要求
Hadoop网络要求:

1.所有的Hadoop服务器节点应该是独有的网络,而不存在跟其他应用程序的节点共享网络I/O的情况。

2.每个服务器应该都配置静态IP。如果配置了动态IP,在机器重启或者DNS租约过期时,机器的IP地址会改变,这将导致Hadoop服务故障。

3.专用TOR交换机。

4.专用的核心交换刀片或者核心交换机。

5.尽量保证应用服务器与Hadoop“近”一些。

6.CDH只支持IPv4,不支持IPv6

7.机架之间的网络连接速度应该足够快。

8.确保网络接口对于集群中的所有节点应该是一致的。(比如MTU设置应该一样)

9.关闭所有节点的Huge Page compaction

10.确保集群中的所有网络连接都会被监控,比如冲突和丢包问题。以方便后期进行排障。

相关文章
|
1月前
|
负载均衡 安全 API
SDN网络架构分为哪三层
SDN软件定义网络是一种创新的网络架构,旨在提供更灵活、可编程和智能的网络管理。SDN的设计理念是通过将网络控制平面和数据平面分离,实现对网络行为的集中控制和编程。
|
2月前
|
网络协议 安全 前端开发
网络技术基础(2)——网络参考模型
【2月更文挑战第6天】网络基础笔记
|
1月前
|
消息中间件 存储 缓存
Kafka【基础知识 01】消息队列介绍+Kafka架构及核心概念(图片来源于网络)
【2月更文挑战第20天】Kafka【基础知识 01】消息队列介绍+Kafka架构及核心概念(图片来源于网络)
91 2
|
2月前
|
机器学习/深度学习 测试技术 Ruby
YOLOv5改进 | 主干篇 | 反向残差块网络EMO一种轻量级的CNN架构(附完整代码 + 修改教程)
YOLOv5改进 | 主干篇 | 反向残差块网络EMO一种轻量级的CNN架构(附完整代码 + 修改教程)
128 2
|
1天前
|
人工智能 安全 大数据
SDN(软件定义网络)——重塑网络架构的新视角
SDN(软件定义网络)是网络架构革新的关键,通过分离控制与数据平面,实现网络的灵活、高效管理。未来,SDN将更广泛应用于各行业,与云计算、大数据、AI融合,推动数字化转型。开放与标准化的趋势将促进SDN生态发展,提供以业务需求为导向、智能化自动化管理及增强网络安全的新视角。SDN将在更多领域扮演重要角色,支持网络技术的创新与进步。
|
3天前
|
网络架构
经典神经网络架构参考 v1.0(2)
经典神经网络架构参考 v1.0
11 0
|
9天前
|
编解码 网络协议 网络安全
2.H3CNE-网络参考模型
2.H3CNE-网络参考模型
|
1月前
|
Cloud Native 安全 网络安全
构建未来:云原生架构在企业数字化转型中的关键角色网络安全与信息安全:防御前线的关键技术
【2月更文挑战第30天】 随着数字转型的浪潮席卷各行各业,企业正寻求更加灵活、可扩展的解决方案以适应不断变化的市场需求。本文将深入探讨云原生架构如何成为支持这一转型的核心技术,分析其优势和挑战,并提出实施策略。云原生技术的采用不仅加速了开发过程,还提供了自动化运维、弹性伸缩等特性,为企业带来了前所未有的敏捷性和效率。然而,迁移至云原生架构也伴随着技术复杂性增加和安全风险的挑战。文章最后,我们将提供一系列最佳实践,帮助企业在采纳云原生技术的过程中规避风险,实现持续创新。 【2月更文挑战第30天】 在数字化时代,数据成为核心资产,而网络安全与信息安全则是维护这些资产不可或缺的屏障。本文深入探讨了
|
2月前
|
机器学习/深度学习 存储 设计模式
架构设计新范式!RevCol:可逆的多 column 网络式,已被ICLR 2023接收
架构设计新范式!RevCol:可逆的多 column 网络式,已被ICLR 2023接收
28 0
|
5天前
|
敏捷开发 监控 数据管理
构建高效微服务架构的五大关键策略
【4月更文挑战第20天】在当今软件开发领域,微服务架构已经成为一种流行的设计模式,它允许开发团队以灵活、可扩展的方式构建应用程序。本文将探讨构建高效微服务架构的五大关键策略,包括服务划分、通信机制、数据管理、安全性考虑以及监控与日志。这些策略对于确保系统的可靠性、可维护性和性能至关重要。

热门文章

最新文章