开发者社区 问答 正文

文件切片split和文件切块block的区别是什么?

文件切片split和文件切块block的区别是什么?

展开
收起
芯在这 2021-12-05 21:10:57 567 分享 版权
1 条回答
写回答
取消 提交回答
  • 文件切块:是HDFS进行数据存储的单位,物理上的切片,不同的数据块有可能存储在不同的数据节点上。

    文件切片:是一个逻辑概念,是MR任务过程中和maptask任务一一对应的,是maptask任务执行对应的数据单元,并没有进行物理切分。

    经过上面的分析:一个文件切片的大小128M最合理的。

    2021-12-05 21:11:11
    赞同 展开评论
问答地址: