AI 助理
备案控制台
开发者社区 问答 正文

Hadoop优化IO 传输是什么？

Hadoop优化IO 传输是什么？

展开
收起
芯在这 2021-12-05 17:53:33 332 分享 版权

版权声明：本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。

1 条回答
写回答
取消 提交回答
  • 真的很搞笑

    （1）采用数据压缩的方式，减少网络 IO 的的时间。安装 Snappy 和 LZOP 压缩编码器。

    （2）使用 SequenceFile 二进制文件

    2021-12-05 17:53:49
    赞同 展开评论
问答分类：
分布式计算 Hadoop
问答标签：
io优化 hadoop优化 hadoop io hadoop传输
问答地址：
开发者社区 > 大数据 > 问答
相关问答
云数据仓库ADB在写入数据时，一旦触发BUILD任务，磁盘IO就会被打满，各位大佬有什么优化建议吗？
163
1
0
在Flink CDC中现在的sql server 磁盘iops低,io很高，整体的优化思路是什么？
84
1
0
Flink的holo的io以及cpu使用都还稳定，这块需要如何优化？
67
1
0
DataWorks中这张表的IO和小 为什么执行时间持续了快1个小时，有什么优化的方式吗？
106
2
0
我这边ADB集群io资源比较吃紧，要优化一批sql，看io消耗大的，是看扫码量比较大的查询吗？
109
1
0
大佬，Flink CDC中同一SQL中的多表，同源的情况下，IO有做优化整合吗，还是一个表拉一份全?
101
0
0
adb这种磁盘 io 导致的读写节点cpu 高，怎么优化？
377
2
0
MongoDB 磁盘 IO 问题常见原因和优化策略有哪些？
1076
1
0
MapReduce在IO传输中该如何优化方法呢？
874
1
0
Hologres中IO优化与丰富的Cache机制是什么？
712
1
0