开发者社区> 问答> 正文

文件切片split和文件切块block的区别是什么?

文件切片split和文件切块block的区别是什么?

展开
收起
芯在这 2021-12-05 21:10:57 503 0
1 条回答
写回答
取消 提交回答
  • 文件切块:是HDFS进行数据存储的单位,物理上的切片,不同的数据块有可能存储在不同的数据节点上。

    文件切片:是一个逻辑概念,是MR任务过程中和maptask任务一一对应的,是maptask任务执行对应的数据单元,并没有进行物理切分。

    经过上面的分析:一个文件切片的大小128M最合理的。

    2021-12-05 21:11:11
    赞同 展开评论 打赏
问答地址:
问答排行榜
最热
最新

相关电子书

更多
低代码开发师(初级)实战教程 立即下载
冬季实战营第三期:MySQL数据库进阶实战 立即下载
阿里巴巴DevOps 最佳实践手册 立即下载