开发者社区> 问答> 正文

FileInputFormat源码过程?

FileInputFormat源码过程?

展开
收起
游客mm5dulkpivqdo 2021-12-05 11:28:21 276 0
1 条回答
写回答
取消 提交回答
  • (1)找到你数据存储的目录。(可以是目录,多个文件同时进行统计,然后将统计结果装载到一个文件或者多个文件里。。也可以单独统计分析1个文件。)

    (2)开始遍历处理(规划切片)目录下的每一个文件

    (3)遍历第一个文件ss.txt

    (4)提交切片规划文件到yarn上,yarn上的MrAppMaster就可以根据切片规划文件计算开启maptask个数。

    2021-12-05 11:30:06
    赞同 展开评论 打赏
问答地址:
问答排行榜
最热
最新

相关电子书

更多
低代码开发师(初级)实战教程 立即下载
冬季实战营第三期:MySQL数据库进阶实战 立即下载
阿里巴巴DevOps 最佳实践手册 立即下载