开发者社区> 问答> 正文

Mapreduce的lO传输优化是怎么实现的?

Mapreduce的lO传输优化是怎么实现的?

展开
收起
游客y244y7ln2rlpa 2021-12-05 14:44:54 217 0
1 条回答
写回答
取消 提交回答
  • Mapreduce的lO传输优化:

    (1)采用数据压缩的方式,减少网络IO的时间。安装Snappy和LZOP压缩编码器。

    (2)使用SequenceFile二进制文件(SequenceFile这个格式比较紧凑,可以把小文件封装起来)

    2021-12-05 14:46:15
    赞同 展开评论 打赏
问答排行榜
最热
最新

相关电子书

更多
Apache Flink 流式应用中状态的数据结构定义升级 立即下载
低代码开发师(初级)实战教程 立即下载
阿里巴巴DevOps 最佳实践手册 立即下载