接上篇:https://developer.aliyun.com/article/1621578?spm=a2c6h.13148508.setting.18.49764f0eTUci5Z
MapReduce
集群
运行环境
sudo vim mapred-env.sh • 1
加入 JAVA_HOME 的环境,避免后续的不必要的问题。
export JAVA_HOME=/usr/lib/jvm/java-8-openjdk-amd64 • 1
当前配置如下:
mapred-site
我们需要将默认的模板修改过来,并在这个基础上进行修改:
sudo mv mapred-site.xml.template mapred-site.xml sudo vim mapred-site.xml
加入如下的内容
<!-- 指定MR运行在Yarn上 --> <property> <name>mapreduce.framework.name</name> <value>yarn</value> </property>
Yarn集群
运行环境
sudo vim yarn-env.sh
同前文,这里就不赘述了。也是修改 JAVA_HOME,避免后续不必要的麻烦!
yarn-site
sudo vim yarn-site.xml • 1
加入如下的内容:
<!-- 指定YARN的ResourceManager的地址 --> <property> <name>yarn.resourcemanager.hostname</name> <value>h123.wzk.icu</value> </property> <!-- Reducer获取数据的方式 --> <property> <name>yarn.nodemanager.aux-services</name> <value>mapreduce_shuffle</value> </property> </configuration>
NodeManager
修改 slaves
文件,前文已经修改,这里就不需要了。
统一权限
现在已经完成了初步的配置,下面我们统一一下权限,防止后续出现权限问题:
sudo chown -R root:root /opt/servers/hadoop-2.9.2
DNS 修改
我是公网云,所以我统一一下DNS,避免后续不必要的麻烦(也可以不弄,问题不大)
vim /etc/resolv.conf • 1
我使用的是阿里的DNS
223.5.5.5
修改的截图如下: