开发者社区 问答 正文

Hadoop中在DISTCP中,UniformSizeInputFormat可以做到什么?

Hadoop中在DISTCP中,UniformSizeInputFormat可以做到什么?

展开
收起
游客yzrzs5mf6j7yy 2021-12-06 06:30:51 349 分享 版权
1 条回答
写回答
取消 提交回答
  • 在DISTCP中,UniformSizeInputFormat继承了InputFormat并实现了数据读入格式,它会读取metafolder中fileList.seq序列化文件的内容,并根据用户设定的map数和拷贝总数据量进行分片,计算出分多少片,最终提供“K-V”对供Mapper使用。这个类的源码实现并不复杂,加上注释一共也才100多行,很容易就能读懂。

    2021-12-06 06:31:05
    赞同 展开评论
问答分类:
问答标签:
问答地址: