开发者社区> 问答> 正文

Mapreduce的lO传输优化是怎么实现的?

Mapreduce的lO传输优化是怎么实现的?

展开
收起
游客y244y7ln2rlpa 2021-12-05 14:44:54 210 0
1 条回答
写回答
取消 提交回答
  • Mapreduce的lO传输优化:

    (1)采用数据压缩的方式,减少网络IO的时间。安装Snappy和LZOP压缩编码器。

    (2)使用SequenceFile二进制文件(SequenceFile这个格式比较紧凑,可以把小文件封装起来)

    2021-12-05 14:46:15
    赞同 展开评论 打赏
问答排行榜
最热
最新

相关电子书

更多
Apache Flink 流式应用中状态的数据结构定义升级 立即下载
HBase2.0重新定义小对象实时存取 立即下载
Phoenix 全局索引原理与实践 立即下载