Hadoop 参数调优

（1）在 hdfs-site.xml 文件中配置多目录，最好提前配置好，否则更改目录需要重新启动集群。

（2）NameNode 有一个工作线程池，用来处理不同 DataNode 的并发心跳以及客户端并发的元数据操作。

   dfs.namenode.handler.count=20*log2 (Cluster Size)，比如集群规模为 10 台时，此参数设置为 60

（3）编辑日志存储路径 dfs.namenode.edits.dir 设置与镜像文件存储路径 dfs.namenode.name.dir 尽量分开，达到最低写入延迟。

（4）服务器结点上 Yarn 可使用的物理内存总量，默认是 8192（MB），注意，如果你的结点内存资源不够 8GB，则需要调整减小这个值，而 Yarn 不会智能的探测结点的物理内存总量。yarn.nodemanager.resource.memory-mb

（5）单个任务可申请的最多物理内存量，默认是 8192（MB）。yarn.scheduler.maximum-allocation-mb