开发者社区> 问答> 正文

hadoop中任务分配算法是什么?

hadoop中任务分配算法是什么?

展开
收起
游客yzrzs5mf6j7yy 2021-12-06 08:23:38 317 0
1 条回答
写回答
取消 提交回答
  • 获取当前TaskTracker的Map和Reduce数量信息 计算需要运行的Map和Reduce的数量(也就是处于正在运行状态和挂起状态的) 计算Map和Rduce的负载因子:负载因子表示整个集群的负载情况,很明显,负载因子越大集群的负载越高,随着任务的执行集群负载会减少,而用户也会不断地向队列中提交作业,这样集群整个负载因子又会增加,因此在实际的集群环境中比较高效的状态是负载因子维持在一个动态的范围之内。 计算tasktracker当前Map容量以及最大可分配的Map任务数量,然后调度分配map任务。 计算tasktracker当前Reduce容量以及最大可分配的reduce任务数量,然后调度分配reduce任务。

    2021-12-06 08:23:50
    赞同 展开评论 打赏
问答排行榜
最热
最新

相关电子书

更多
《构建Hadoop生态批流一体的实时数仓》 立即下载
零基础实现hadoop 迁移 MaxCompute 之 数据 立即下载
CIO 指南:如何在SAP软件架构中使用Hadoop 立即下载