开发者社区> 问答> 正文

MapReduce在IO传输中该如何优化方法呢?

MapReduce在IO传输中该如何优化方法呢?

展开
收起
游客ydhxr2xydmgpo 2021-12-12 21:06:50 843 0
1 条回答
写回答
取消 提交回答
  • 1.采用数据压缩的方式,减少网络IO的时间。安装Snappy和LZO压缩编码器。

    2.使用SequeceFile二进制文件。

    2021-12-12 21:08:52
    赞同 展开评论 打赏
问答排行榜
最热
最新

相关电子书

更多
多IO线程优化版 立即下载
Apache Flink 流式应用中状态的数据结构定义升级 立即下载
低代码开发师(初级)实战教程 立即下载