AI 助理
备案控制台
开发者社区 问答 正文

HDFS优化部分有哪些？

HDFS优化部分有哪些？

展开
收起
游客fbdr25iajcjto 2021-12-09 21:12:37 449 分享 版权

版权声明：本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。

1 条回答
写回答
取消 提交回答
  • 游客7ygkl73u5msna

    HBase是基于hdfs文件系统的一个数据库，其数据最终是写到hdfs中的，因此涉及hdfs调优的部分也是必不可少的。

    （1）dfs.replication.interval:默认3秒

    可以调高，避免hdfs频繁备份，从而提高吞吐率。

    （2）dfs.datanode.handler.count:默认为10

    可以调高这个处理线程数，使得写数据更快

    （3）dfs.namenode.handler.count：默认为8

    （4）dfs.datanode.socket.write.timeout：默认480秒，并发写数据量大的时候可以调高一些，否则会出现我另外一篇博客介绍的的错误。

    （5）dfs.socket.timeout:最好也要调高，默认的很小

    2021-12-09 21:13:02
    赞同 展开评论
问答标签：
文件存储HDFS版优化
问答地址：
开发者社区 > 云计算 > 问答
相关问答
实时计算 Flink版写s3性能比写hdfs差，有什么优化的建议吗？
622
3
0
E-MapReduce的HDFS启动过程很慢如何优化
204
1
0
E-MapReduce的HDFS使用优化建议
146
1
0
Jindo DistCp 基于 HDFS 海量文件同步到 OSS 场景优化的步骤是什么？
651
1
0
java应用使用HDFS用于存储文件对象，最近发现上传附件性能越来越慢，该如何优化这个性能问题？
3187
0
0
使用spark 2.3 structed streaming 时 checkpoint 频繁在HDFS写小文件，块数到达百万级别 ，这个怎么优化下
3530
1
0
为什么下载了Hadoop之后直接能够在Linux系统上运行hdfs文件呀？
1126
1
0
Linux文件系统中是怎么运行HDFS文件的呀？
892
1
0
HDFS存储的文件之间的映射关系是什么样子的呀？
776
1
0
HDFS当中文件是怎么存储的呀？
691
1
0