Hadoop配置文件yarn-env.sh

yarn-env.sh 是Apache Hadoop YARN (Yet Another Resource Negotiator) 配置中的一个脚本文件，它主要用于定义YARN运行时的环境变量。这个文件在Hadoop的安装目录下的etc/hadoop/目录中可以找到。

yarn-env.sh 文件的主要功能：

• 定义或修改环境变量，如 JAVA_HOME, HADOOP_YARN_HOME, HADOOP_COMMON_HOME, HADOOP_MAPRED_HOME, HADOOP_HDFS_HOME, 等等。
• 设置额外的Java系统属性，例如 JVM 的参数。
• 调整YARN守护进程（如ResourceManager和NodeManager）的内存使用。

编辑 yarn-env.sh 文件的一般步骤如下：

1. 打开文件编辑器并打开 yarn-env.sh 文件。
2. 修改或添加必要的环境变量。例如，确保 JAVA_HOME 正确指向你的JDK安装目录。

3. 你可以添加或修改JVM参数，例如增加堆内存大小：

   export YARN_OPTS="-Xms1024m -Xmx2048m ${YARN_OPTS}"
   

   这将设置 ResourceManager 和 NodeManager 的最小和最大堆内存为1GB和2GB。

4. 如果需要为特定的YARN守护进程设置不同的JVM参数，可以使用以下变量：

   • YARN_RESOURCEMANAGER_OPTS
   • YARN_NODEMANAGER_OPTS
   • YARN_TIMELINE_SERVICE_OPTS

5. 在修改后，保存文件并重启YARN服务以使更改生效。

示例：

# 设置Java的主目录
export JAVA_HOME=/path/to/jdk

# 设置Hadoop的YARN主目录
export HADOOP_YARN_HOME=/path/to/hadoop/yarn

# 添加到PATH环境变量
export PATH=$JAVA_HOME/bin:$HADOOP_YARN_HOME/bin:$PATH

# 设置JVM参数
export YARN_OPTS="-server -Xms1024m -Xmx2048m ${YARN_OPTS}"

确保在进行任何更改之前备份原始文件，以防万一需要恢复默认设置。在生产环境中，对这些配置的调整应谨慎进行，并在测试环境中验证其效果。