开发者社区> 问答> 正文

HDFS中导致负载不均衡的原因是什么?

HDFS中导致负载不均衡的原因是什么?

展开
收起
芯在这 2021-12-05 19:38:56 1257 0
1 条回答
写回答
取消 提交回答
  • (1)部分节点网络延迟大 (2)一些节点经常出现故障 (3)集群中增加了新的节点

    当HDFS负载不均衡时,需要对HDFS进行数据的负载均衡调整,即对各节点机器上数据的存储分布进行调整。从而,让数据均匀的分布在各个DataNode上,均衡IO性能,防止热点的发生。HDFS为管理员提供了一个工具,用于分析数据块分布和重新均衡DataNode上的数据分布:

    $HADOOP_HOME/bin/start-balancer.sh -t 10%

    在这个命令中,-t参数后面跟的是HDFS达到平衡状态的磁盘使用率偏差值。如果机器与机器之间磁盘使用率偏差小于10%,那么我们就认为HDFS集群已经达到了平衡状态。

    2021-12-05 22:25:46
    赞同 展开评论 打赏
问答标签:
问答地址:
问答排行榜
最热
最新

相关电子书

更多
海量数据分布式存储——Apache HDFS之最新进展 立即下载
HBase 吞吐量提升实践 立即下载
ALLUXIO 立即下载