(1)在 hdfs-site.xml 文件中配置多目录,最好提前配置好,否则更改目录需要重新启动集群。
(2)NameNode 有一个工作线程池,用来处理不同 DataNode 的并发心跳以及客户端并发的元数据操作。
dfs.namenode.handler.count=20*log2 (Cluster Size),比如集群规模为 10 台时,此参数设置为 60
(3)编辑日志存储路径 dfs.namenode.edits.dir 设置与镜像文件存储路径 dfs.namenode.name.dir 尽量分开,达到最低写入延迟。
(4)服务器结点上 Yarn 可使用的物理内存总量,默认是 8192(MB),注意,如果你的结点内存资源不够 8GB,则需要调整减小这个值,而 Yarn 不会智能的探测结点的物理内存总量。yarn.nodemanager.resource.memory-mb
(5)单个任务可申请的最多物理内存量,默认是 8192(MB)。yarn.scheduler.maximum-allocation-mb