Hadoop配置文件yarn-site.xml

yarn-site.xml 是Apache Hadoop YARN（Yet Another Resource Negotiator）框架中的一个关键配置文件。它包含了YARN服务的配置参数，这些参数控制着资源管理、节点管理和应用程序调度等行为。以下是一些常见的yarn-site.xml配置项及其含义：

<configuration>

  <!-- 指定ResourceManager的地址 -->
  <property>
    <name>yarn.resourcemanager.address</name>
    <value>host.example.com:8032</value>
  </property>

  <!-- 指定ResourceManager的调度器地址 -->
  <property>
    <name>yarn.resourcemanager.scheduler.address</name>
    <value>host.example.com:8030</value>
  </property>

  <!-- 指定ResourceManager的RPC地址 -->
  <property>
    <name>yarn.resourcemanager.resource-tracker.address</name>
    <value>host.example.com:8031</value>
  </property>

  <!-- 指定ResourceManager的Web UI地址 -->
  <property>
    <name>yarn.resourcemanager.webapp.address</name>
    <value>host.example.com:8088</value>
  </property>

  <!-- 指定NodeManager的地址 -->
  <property>
    <name>yarn.nodemanager.address</name>
    <value>localhost:8041</value>
  </property>

  <!-- 指定NodeManager的Web UI地址 -->
  <property>
    <name>yarn.nodemanager.webapp.address</name>
    <value>localhost:8042</value>
  </property>

  <!-- 指定NodeManager的日志目录 -->
  <property>
    <name>yarn.nodemanager.local-dirs</name>
    <value>/tmp/hadoop-nm</value>
  </property>

  <!-- 指定NodeManager的日志容器目录 -->
  <property>
    <name>yarn.nodemanager.log-dirs</name>
    <value>/tmp/logs</value>
  </property>

  <!-- 指定调度器类型，默认是CapacityScheduler -->
  <property>
    <name>yarn.resourcemanager.scheduler.class</name>
    <value>org.apache.hadoop.yarn.server.resourcemanager.scheduler.capacity.CapacityScheduler</value>
  </property>

  <!-- 指定默认队列 -->
  <property>
    <name>yarn.scheduler.capacity.root.default-user-limit-factor</name>
    <value>-1.0</value>
  </property>

  <!-- 最大可用内存MB -->
  <property>
    <name>yarn.nodemanager.resource.memory-mb</name>
    <value>8192</value>
  </property>

  <!-- 最大可用vCores -->
  <property>
    <name>yarn.nodemanager.resource.cpu-vcores</name>
    <value>4</value>
  </property>

</configuration>

请注意，上述示例中的host.example.com需要替换为实际的主机名或IP地址，而localhost通常用于本地测试环境。在生产环境中，你应该使用实际的网络接口地址。

在修改yarn-site.xml后，你可能需要重启YARN服务以使更改生效。具体步骤取决于你的Hadoop安装方式和集群管理工具。如果你使用的是Apache Ambari或其他集群管理工具，可以参照相应的文档进行操作。