开发者学堂课程【Hadoop 分布式文件系统 HDFS:机架感知(副本存储节点选择)】学习笔记,与课程紧密联系,让用户快速学习知识。
课程地址:https://developer.aliyun.com/learning/course/93/detail/1454
机架感知(副本存储节点选择)
内容介绍:
一、官方IP地址
一、官方ip地址
1、机架感知说明(官网地址)
对于常见情况,当复制因子为三时, HDFS 的放置策略是在本地机架上的一个节点上放置一个副本,在本地机架上的另一个节点上放置另一个副本,最后在不同机架上的不同节点上放置一个副本。
该策略减少了帧间写入流量,一般提高了写入性能。机架故障的机会远小于节点故障的概率;该策略不影响数据可靠性和可用性保证。然而,它确实减少了读取数据时使用的总网络带宽,因为块只放置在两个唯一的机架中而不是三个。
使用此策略,文件的副本不会均匀分布在机架上。三分之一的副本位于一个节点上,三分之二个副本在一个机架上,其余第三个均匀分布在其余机架上。此策略在不损害数据可靠性或读取性能的情况下提高写入性能。
2、Hadoop2.7.2副本节点选择
第一个副本在 Client 所处的节点上。如果客户端在集群外,随机选一个。
第二个副本和第一个副本位于相同机架,随机节点
第三个副本位于不同机架,随机节点。