机架感知(副本存储节点选择)| 学习笔记

简介: 快速学习机架感知(副本存储节点选择)

开发者学堂课程【Hadoop 分布式文件系统 HDFS机架感知(副本存储节点选择)】学习笔记,与课程紧密联系,让用户快速学习知识。

课程地址https://developer.aliyun.com/learning/course/93/detail/1454


机架感知(副本存储节点选择)


内容介绍:

一、官方IP地址


一、官方ip地址

1、机架感知说明(官网地址)

1.png

对于常见情况,当复制因子为三时, HDFS 的放置策略是在本地机架上的一个节点上放置一个副本,在本地机架上的另一个节点上放置另一个副本,最后在不同机架上的不同节点上放置一个副本。

该策略减少了帧间写入流量,一般提高了写入性能。机架故障的机会远小于节点故障的概率;该策略不影响数据可靠性和可用性保证。然而,它确实减少了读取数据时使用的总网络带宽,因为块只放置在两个唯一的机架中而不是三个。

使用此策略,文件的副本不会均匀分布在机架上。三分之一的副本位于一个节点上,三分之二个副本在一个机架上,其余第三个均匀分布在其余机架上。此策略在不损害数据可靠性或读取性能的情况下提高写入性能。

2、Hadoop2.7.2副本节点选择

第一个副本在 Client 所处的节点上。如果客户端在集群外,随机选一个。

第二个副本和第一个副本位于相同机架,随机节点

第三个副本位于不同机架,随机节点。

2.png

 

相关文章
|
5月前
|
存储 NoSQL 算法
Redis集群,集群的概念 三种主流分片方式1.哈希求余 一致性哈希算法:方案三:哈希槽分区算法问题一Redis集群是最多有16384个分片吗问题二:为什么是16384个,集群扩容:1.新的主节点
Redis集群,集群的概念 三种主流分片方式1.哈希求余 一致性哈希算法:方案三:哈希槽分区算法问题一Redis集群是最多有16384个分片吗问题二:为什么是16384个,集群扩容:1.新的主节点
|
存储 分布式计算 负载均衡
HDFS服役新数据节点和退役旧节点步骤
HDFS服役新数据节点和退役旧节点步骤
279 1
|
存储 负载均衡 NoSQL
分片集群使用及原理介绍(一)|学习笔记
快速学习分片集群使用及原理介绍
699 0
分片集群使用及原理介绍(一)|学习笔记
|
存储 负载均衡 NoSQL
分片集群使用及原理介绍(二)|学习笔记
快速学习分片集群使用及原理介绍
305 0
分片集群使用及原理介绍(二)|学习笔记
|
存储 容灾 关系型数据库
第七节:X-Paxos 三副本与高可用(二)|学习笔记
快速学习第七节:X-Paxos 三副本与高可用(二)
第七节:X-Paxos 三副本与高可用(二)|学习笔记
|
存储 缓存 AliSQL
第七节:X-Paxos 三副本与高可用(四)|学习笔记
快速学习第七节:X-Paxos 三副本与高可用(四)
第七节:X-Paxos 三副本与高可用(四)|学习笔记
|
存储 缓存 运维
第七节:X-Paxos 三副本与高可用(一)|学习笔记
快速学习第七节:X-Paxos 三副本与高可用(一)
第七节:X-Paxos 三副本与高可用(一)|学习笔记
|
存储 监控 开发者
第七节:X-Paxos 三副本与高可用(三)|学习笔记
快速学习第七节:X-Paxos 三副本与高可用(三)
第七节:X-Paxos 三副本与高可用(三)|学习笔记
|
存储 Kubernetes 测试技术
应用存储和持久化数据卷:存储快照与拓扑调查(一)|学习笔记
快速学习应用存储和持久化数据卷:存储快照与拓扑调查(一)
146 0
应用存储和持久化数据卷:存储快照与拓扑调查(一)|学习笔记
|
存储 Kubernetes 调度
应用存储和持久化数据卷:存储快照与拓扑调查(二)|学习笔记
快速学习应用存储和持久化数据卷:存储快照与拓扑调查(二)
应用存储和持久化数据卷:存储快照与拓扑调查(二)|学习笔记