机架感知(副本存储节点选择)| 学习笔记

简介: 快速学习机架感知(副本存储节点选择)

开发者学堂课程【Hadoop 分布式文件系统 HDFS机架感知(副本存储节点选择)】学习笔记,与课程紧密联系,让用户快速学习知识。

课程地址https://developer.aliyun.com/learning/course/93/detail/1454


机架感知(副本存储节点选择)


内容介绍:

一、官方IP地址


一、官方ip地址

1、机架感知说明(官网地址)

1.png

对于常见情况,当复制因子为三时, HDFS 的放置策略是在本地机架上的一个节点上放置一个副本,在本地机架上的另一个节点上放置另一个副本,最后在不同机架上的不同节点上放置一个副本。

该策略减少了帧间写入流量,一般提高了写入性能。机架故障的机会远小于节点故障的概率;该策略不影响数据可靠性和可用性保证。然而,它确实减少了读取数据时使用的总网络带宽,因为块只放置在两个唯一的机架中而不是三个。

使用此策略,文件的副本不会均匀分布在机架上。三分之一的副本位于一个节点上,三分之二个副本在一个机架上,其余第三个均匀分布在其余机架上。此策略在不损害数据可靠性或读取性能的情况下提高写入性能。

2、Hadoop2.7.2副本节点选择

第一个副本在 Client 所处的节点上。如果客户端在集群外,随机选一个。

第二个副本和第一个副本位于相同机架,随机节点

第三个副本位于不同机架,随机节点。

2.png

 

相关文章
|
1月前
|
消息中间件 JSON 大数据
大数据-65 Kafka 高级特性 分区 Broker自动再平衡 ISR 副本 宕机恢复再重平衡 实测
大数据-65 Kafka 高级特性 分区 Broker自动再平衡 ISR 副本 宕机恢复再重平衡 实测
64 4
|
5月前
|
存储 NoSQL 算法
Redis集群,集群的概念 三种主流分片方式1.哈希求余 一致性哈希算法:方案三:哈希槽分区算法问题一Redis集群是最多有16384个分片吗问题二:为什么是16384个,集群扩容:1.新的主节点
Redis集群,集群的概念 三种主流分片方式1.哈希求余 一致性哈希算法:方案三:哈希槽分区算法问题一Redis集群是最多有16384个分片吗问题二:为什么是16384个,集群扩容:1.新的主节点
|
6月前
|
存储 分布式计算 负载均衡
Hadoop数据块分散存储与副本创建
【4月更文挑战第15天】Hadoop是一个用于大数据处理的分布式框架,其核心特性包括数据块的分散存储和副本创建。数据块默认为128MB,存储在不同DataNode上,由NameNode管理元数据。每个数据块通常有3个副本,分置于不同节点,确保容错性和可靠性。当节点故障时,Hadoop能自动恢复并根据负载平衡副本位置。这种设计优化了计算资源利用,实现并行处理和高可用性。
142 3
|
存储 分布式计算 负载均衡
HDFS服役新数据节点和退役旧节点步骤
HDFS服役新数据节点和退役旧节点步骤
279 1
|
NoSQL Redis 容器
Redis集群更换节点IP后如何恢复集群并保留完整集群数据
Redis集群更换节点IP后如何恢复集群并保留完整集群数据
183 0
|
存储 负载均衡 NoSQL
分片集群使用及原理介绍(二)|学习笔记
快速学习分片集群使用及原理介绍
305 0
分片集群使用及原理介绍(二)|学习笔记
|
存储 负载均衡 NoSQL
分片集群使用及原理介绍(一)|学习笔记
快速学习分片集群使用及原理介绍
699 0
分片集群使用及原理介绍(一)|学习笔记
|
存储 Kubernetes 测试技术
应用存储和持久化数据卷:存储快照与拓扑调查(一)|学习笔记
快速学习应用存储和持久化数据卷:存储快照与拓扑调查(一)
146 0
应用存储和持久化数据卷:存储快照与拓扑调查(一)|学习笔记
|
存储 Kubernetes 调度
应用存储和持久化数据卷:存储快照与拓扑调查(二)|学习笔记
快速学习应用存储和持久化数据卷:存储快照与拓扑调查(二)
应用存储和持久化数据卷:存储快照与拓扑调查(二)|学习笔记
|
存储 分布式计算 Hadoop
HDFS的副本放置策略及机架感知
副本放置策略的基本思想是: 第一个block副本放在和client所在的node里(如果client不在集群范围内,则这第一个node是随机选取的,当然系统会尝试不选择哪些太满或者太忙的node)。 第二个副本放置在与第一个节点不同的机架中的node中(随机选择)。 第三个副本和第二个在同一个机架,随机放在不同的node中。