开发者社区> 问答> 正文

HDFS的Block为什么这么大?

HDFS的Block为什么这么大?

展开
收起
真的很搞笑 2021-12-05 23:19:41 309 0
1 条回答
写回答
取消 提交回答
  • 是为了最小化查找(seek)时间,控制定位文件与传输文件所用的时间比例。假设定位到Block所需的时间为10ms,磁盘传输速度为100M/s。如果要将定位到Block所用时间占传输时间的比例控制1%,则Block大小需要约100M。 但是如果Block设置过大,在MapReduce任务中,Map或者Reduce任务的个数 如果小于集群机器数量,会使得作业运行效率很低。

    2021-12-05 23:19:58
    赞同 展开评论 打赏
问答标签:
问答地址:
问答排行榜
最热
最新

相关电子书

更多
海量数据分布式存储——Apache HDFS之最新进展 立即下载
HDFS optimization for Hbase At XiaoMi 立即下载
HDFS optimization for HBase at XiaoMi 立即下载