0x00 教程内容
- 内存分配设置
- 校验结果
0x01 内存分配设置
1. 目前YARN配置情况
a. 首先启动HDFS与YARN
start-dfs.sh
start-yarn.sh
b. 打开master的8088端口
可以看到我们之前的配置，请参考：YARN与MapReduce的配置与使用
YARN总管理内存：3.18GB（两个从节点都是1.59G），
虚拟CPU：4个（我们配置虚拟机的时候配的，每台虚拟机2个CPU），
活的节点：2个（slave1、slave2）
2. 配置MapReduce配置文件
a. 主要配置三个进程：
MRAppMaster
MapTask
ReduceTask
（每个进程3个配置：总内存、堆内存、虚拟CPU）
b. 添加以下配置 mapred-site.xml
cd $HADOOP_HOME/etc/hadoop
vi mapred-site.xml
<property> <name>yarn.app.mapreduce.am.resource.mb</name> <value>1200</value> <description>表示MRAppMaster需要的总内存大小，默认是1536</description> </property> <property> <name>yarn.app.mapreduce.am.command-opts</name> <value>-Xmx800m</value> <description>表示MRAppMaster需要的堆内存大小，默认是：-Xmx1024m</description> </property> <property> <name>yarn.app.mapreduce.am.resource.cpu-vcores</name> <value>1</value> <description>表示MRAppMaster需要的的虚拟cpu数量，默认是：1</description> </property> <property> <name>mapreduce.map.memory.mb</name> <value>512</value> <description>表示MapTask需要的总内存大小，默认是1024</description> </property> <property> <name>mapreduce.map.java.opts</name> <value>-Xmx300m</value> <description>表示MapTask需要的堆内存大小，默认是-Xmx200m</description> </property> <property> <name>mapreduce.map.cpu.vcores</name> <value>1</value> <description>表示MapTask需要的虚拟cpu大小，默认是1</description> </property> <property> <name>mapreduce.reduce.memory.mb</name> <value>512</value> <description>表示ReduceTask需要的总内存大小，默认是1024</description> </property> <property> <name>mapreduce.reduce.java.opts</name> <value>-Xmx300m</value> <description>表示ReduceTask需要的堆内存大小，默认是-Xmx200m</description> </property> <property> <name>mapreduce.reduce.cpu.vcores</name> <value>1</value> <description>表示ReduceTask需要的虚拟cpu大小，默认是1</description> </property>
c. 同步 mapred-site.xml 到slave1、slave2：
scp mapred-site.xml hadoop-sny@slave1:~/bigdata/hadoop-2.7.5/etc/hadoop scp mapred-site.xml hadoop-sny@slave2:~/bigdata/hadoop-2.7.5/etc/hadoop
0x02 校验结果
1. 重新执行MapReduce作业
a. 执行作业
hadoop jar ~/jar/hadoop-learning-1.0.jar com.shaonaiyi.hadoop.WordCount hdfs://master:9999/files/put.txt hdfs://master:9999/output/wc/
参考教程：MapReduce入门例子之WordCount单词计数 的0x01 单词计数1. 操作流程
说明：因为MapReduce的配置没有重启的概念，每次执行都会加载，所以不用重启HDFS和YARN
2. 查看作业执行情况
a. 刷新几次YARN的WebUI界面（master:8088）
b. 点开作业，可以看到我是写了一个MapTask、三个ReduceTask，作业不同，结果可能不同。
如在执行WordCount作业时，出现虚拟内存不足情况，请调大YARN虚拟内存：
=> 配置 yarn-site.xml
<property> <name>yarn.nodemanager.vmem-pmem-ratio</name> <value>4</value> <description>yarn虚拟内存和物理内存的比率，默认是2.1</description> </property>
然后同步到slave1、slave2节点。
0xFF 总结
- 这些配置是比较基础的，也是比较重要的。
- 需要清楚前面我们的教程是怎样配置的，才有利于我们现在为什么是这样的。
- 查看我们之前的配置，请参考教程：YARN与MapReduce的配置与使用
- 此教程的配置是通过配置文件的方式配置的，我们也可以通过代码的方式来制定：
job.getConfiguration().set("yarn.app.mapreduce.am.resource.mb", "512"); job.getConfiguration().set("yarn.app.mapreduce.am.command-opts", "-Xmx250m"); job.getConfiguration().set("yarn.app.mapreduce.am.resource.cpu-vcores", "1"); job.getConfiguration().set("mapreduce.map.memory.mb", "400"); job.getConfiguration().set("mapreduce.map.java.opts", "-Xmx200m"); job.getConfiguration().set("mapreduce.map.cpu.vcores", "1"); job.getConfiguration().set("mapreduce.reduce.memory.mb", "400"); job.getConfiguration().set("mapreduce.reduce.java.opts", "-Xmx200m"); job.getConfiguration().set("mapreduce.reduce.cpu.vcores", "1"); job.getConfiguration().set("mapreduce.job.queuename", "eng");
