开发者社区> 问答> 正文

HDFS优化部分有哪些?

HDFS优化部分有哪些?

展开
收起
游客fbdr25iajcjto 2021-12-09 21:12:37 394 0
1 条回答
写回答
取消 提交回答
  • HBase是基于hdfs文件系统的一个数据库,其数据最终是写到hdfs中的,因此涉及hdfs调优的部分也是必不可少的。

    (1)dfs.replication.interval:默认3秒

    可以调高,避免hdfs频繁备份,从而提高吞吐率。

    (2)dfs.datanode.handler.count:默认为10

    可以调高这个处理线程数,使得写数据更快

    (3)dfs.namenode.handler.count:默认为8

    (4)dfs.datanode.socket.write.timeout:默认480秒,并发写数据量大的时候可以调高一些,否则会出现我另外一篇博客介绍的的错误。

    (5)dfs.socket.timeout:最好也要调高,默认的很小

    2021-12-09 21:13:02
    赞同 展开评论 打赏
问答标签:
问答地址:
问答排行榜
最热
最新

相关电子书

更多
海量数据分布式存储——Apache HDFS之最新进展 立即下载
HDFS optimization for Hbase At XiaoMi 立即下载
HDFS optimization for HBase at XiaoMi 立即下载

相关实验场景

更多