开发者社区> 问答> 正文

Hadoop参数调优有哪些方法?

Hadoop参数调优有哪些方法?

展开
收起
游客qzzytmszf3zhq 2021-12-08 22:00:51 258 0
1 条回答
写回答
取消 提交回答
  • 我们常见的「Hadoop参数调优」有以下几种:

    在hdfs-site.xml文件中配置多目录,最好提前配置好,否则更改目录需要重新启动集群

    NameNode有一个工作线程池,用来处理不同DataNode的并发心跳以及客户端并发的元数据操作

    dfs.namenode.handler.count=20 * log2(Cluster Size) 比如集群规模为10台时,此参数设置为60

    编辑日志存储路径dfs.namenode.edits.dir设置与镜像文件存储路径dfs.namenode.name.dir尽量分开,达到最低写入延迟

    服务器节点上YARN可使用的物理内存总量,默认是8192(MB),注意,如果你的节点内存资源不够8GB,则需要调减小这个值,而YARN不会智能的探测节点的物理内存总量

    单个任务可申请的最多物理内存量,默认是8192(MB)

    2021-12-08 22:01:04
    赞同 展开评论 打赏
问答排行榜
最热
最新

相关电子书

更多
《构建Hadoop生态批流一体的实时数仓》 立即下载
零基础实现hadoop 迁移 MaxCompute 之 数据 立即下载
CIO 指南:如何在SAP软件架构中使用Hadoop 立即下载

相关实验场景

更多