开发者社区> 问答> 正文

HDFS中数据均衡算法每次迭代的逻辑是什么?

HDFS中数据均衡算法每次迭代的逻辑是什么?

展开
收起
芯在这 2021-12-05 19:37:39 433 0
1 条回答
写回答
取消 提交回答
  • (1)数据均衡服务(Rebalancing Server)首先要求 NameNode 生成 DataNode 数据分布分析报告,获取每个DataNode磁盘使用情况 (2)Rebalancing Server汇总需要移动的数据分布情况,计算具体数据块迁移路线图。数据块迁移路线图,确保网络内数据移动的路径最短 (3)开始数据块迁移任务,Proxy Source Data Node复制一块需要移动数据块 (4)将复制的数据块复制到目标DataNode上 (5)删除原始数据块 (6)目标DataNode向Proxy Source Data Node确认该数据块迁移完成 (7)Proxy Source Data Node向Rebalancing Server确认本次数据块迁移完成。然后继续执行这个过程,直至集群达到数据均衡标准

    2021-12-05 19:37:59
    赞同 展开评论 打赏
问答排行榜
最热
最新

相关电子书

更多
数据+算法定义新世界 立即下载
袋鼠云基于实时计算的反黄牛算法 立即下载
Alink:基于Apache Flink的算法平台 立即下载