开发者学堂课程【2020版大数据实战项目之 DMP 广告系统（第二阶段）： CDH 搭建_ Hadoop _ Yarn 搭建】学习笔记，与课程紧密联系，让用户快速学习知识。
课程地址：https://developer.aliyun.com/learning/course/677/detail/11773
CDH 搭建_ Hadoop _ Yarn 搭建
内容介绍：
一、创建文件夹和用户目录
二、修改 Yarn 和 MapReduce
三、配置 Yarn 和 MapReduce
刚才已经配置了 HDFS ，接下来配置 Yarn ，包括 mapreduce 。就可以完成整个 Hadoop 的配置并且也启动 Yarn 。进入笔记当中，查看步骤，可以看到小专题，放置了配置 Yarn 和 MapReduce 相关的一些过程、步骤和配置文件。在这部分可以看到其实前两个步骤还是去配置 MapReduce 和 Yarn 的配置文件；比如 mapred 就是 MapReduce 的配置文件。接下来，需要配置 yarn-site 的 yarn 配置文件，在 MapReduce 配置文件中，比如通过 jobhistory 是不是指定了一个路径，即指定了一个 HTTP 的端口；这个端口就是 jobhistory 服务的端口。接下来，需要注意的是 staging-dir 主要是为 jobhistory 服务的。 staging-dir 把东西存放到 hdfs 上，等一会需要把 user 的目录在 hdfs 上创建出来。 staging-dir 其实是一个基础的目录，主要是为了存放 jobhistory 需要使用到的一些日志。
一、创建文件夹和用户目录
接下来，看 MapReduce 的配置文件、 Yarn 的配置文件。 Yarn 的配置文件中， hostname 直接指定 cdh 01 即可。还需要指定 local-dirs 就是本地放置数据的内容文件夹，等一会要在 file 当中创建文件夹。内容如下。
<value>file:///var/lib/hadoop-yarn/cache/${user.name}/nm-local-dir</value>
接下来，需要创建指定 yarn 的 log 的 dir 叫做 containers 的文件夹。 需要指定远端的 log-dir ，收集的 dir 存放在 hdfs 上便于查看和使用。接下来，因为指定了很多目录；所以需要把这些目录创建出来并赋予这些目录给 yarn 的用户和权限。第三步，为 MapReduce 准备 hdfs 上的目录。 hdfs 的目录还有一些，比如 user 的目录、 tap 的目录、 history 的目录。所以既要创建内容，还要同时赋予其权限。 chmod 就是改变文件权限； chown 是改变所有者；这些都是 hdfs 的命令。接下来，在执行 hdfs 的命令，依然是使用 sudo 。 -u 指定某一个用户，使用 hdfs 的用户去执行相应的命令。接下来，可以为 MapReduce 创建用户目录。做完配置之后，就可以启动 yarn 。如果正常启动，就不用管他；如果出错了，就需要查看是否是日志哪个地方有问题？
二、修改 Yarn 和 MapReduce
接下来，打开窗口，先在 cdh 01上修配置文件，第一个修改的配置文件，输入代码为 vi /etc/hadoop/conf/mapred-site.xml 。
配置文件里需要放置的东西在笔记当中，拷贝内容如下。
<property>
<name>map reduce.framework.name</ name>
<value>yarn</value>
</property>
<property>
<name>-mapreduce.jobhistory.address</name>
<value>-cdh01:10020</value>
</property>
<property>
<name>-mapreduce.jobhistory.webapp. address</name>
<value>-cdh01:19888</value>
</property>
<property>
<name>hadoop.proxyuser.mapred. groups</name>
<value>*</value>
</property>
<property>
<name>hadoop .proxyuser. mapred.hosts</name>
<value>*</ value>
</property>
<property>
<name>yarn.app .mapreduce.am.staging-dire</name>
<value>/user</value>
</property>
将其粘贴在配置文件当中，此时整个过程已经结束，输入 wq 保存并退出。接着修改配置文件的内容如下。
vi /etc/hadoop/conf/yarn.site.xml
查看文件内是否有 tap 文件，可以看到 yarn-site.xml ，如下图。
可能是输入错误的原因，所以输入 vi yarn-site.xml ，这时可以看到它里面的内容还是比较多的，先按3，再按0，再按两次 d ，直接删掉30行；再按10和两次 d ,删掉10行；最后，按4和两次 d ，即可删除完成。总共是四十四行，大家也可以直接在 configuration 下第一行中 ，直接按44和两次 d 就可以删除全部内容。在< configuration >和< /configuration >中放置对应要去配置的文件。打开文档，拷贝配置文件如下。
<property>
<name>yarn.resourcemanager.hostname</ name>
<value>cdh01</ value>
</property>
<property>
<name>yarn . application . classpath</name>
<value>
$HADOOP_CONF_DIR,
$HADOOP_COMMON_HOME/* ,$HADOOP_COMMON_HOME/lib/*，
$HADOOP_HDFS_HOME/*,$HADOOP_HDFS_HOME/lib/*，
$HADOOP_MAPRED_HOME/* ,$HADOOP_MAPRED_HOME/lib/*,
$HADOOP_YARN_HOME/* ,$HADOOP_YARN_HOME/lib/*
</ value>
</property>
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
<property>
<name>yarn.nodemanager .local-dirs</name>
<value>file:/l/var/lib/hadoop-yarn/cache/${user.name}/nm-local-dir</value>
</property>
<property>
<name>yarn.nodemanager.log-dirs</name>
<value>file: ///var/log/hadoop-yarn/containers</value>
</property>
<property>
<name>yarn . log.aggregation-enable</ name>
<value>true</value>
</property>
<property>
<name>yarn.nodemanager . remote-app-log-dir</name>
<value>hdfs:///var/log/hadoop- yarn/apps</value>
</propertye>
在对应位置 Paste 粘贴，完成之后， wq 保存退出。
三、配置 Yarn 和 MapReduce
所有的配置文件都已经完成，把刚才配置文件中所用到的目录进行创建，如下。
mkdir -p /var/lib/hadoop-yarn/cache
mkdir -p /var/log/hadoop-yarn/containers
mkdir -p /var/log/hadoop-yarn/apps
chown -R yarn:yarn/var/Lib/hadoop-yarn /cache/var /Log/hadoop -yarn/containers /var/log/hadoop-yam/apps
其中，使用 service 启动 yarn 时会默认使用一个 yarn groop 下的 yarn 用户启动对应的 yarn 服务，所以需要把该权限只给 yarn 用户才可以。这一步就已经将所有的权限更改。接下来，会做一系列的操作，比如首先创建 hdfs 上所需要的目录。创建使用如下命令。
sudo -u hdfs hadoop fs -mkdir /tmp
sudo -u hdfs 指定创建目录的命令去创建 tmp 目录。显示目录已经存在，接着往下走，拷贝第二条命令，如下。
sudo -u hdfs hadoop fs -chmod -R 1777 /tmp
chomd 相当于把 tmp 目录改为1777的权限。接着创建 /user/history ，完成之后指定权限，指定所有者。代码如下。
sudo -u hdfs hadoop fs -mkdir p /user/history
sudo -u hdfs hadoop fs -chmod -R 1777 /user/history
sudo -u hdfs hadoop fs - chown mapred:hadoop /user /history
拷贝上图内容。放在 cdh 01中 ，等待执行。这时 hdfs 所使用到的 history 相关文件夹创建完成，并且 tmp 也创建成功，并给予对应权限。接下来，创建用户所需要的目录，命令代码为， sudo -u hdfs 在后面命令中所执行的用户，使用 echo $USER 打印当前执行的用户，结果是当前环境中的 root 。所以在进行 yarn 管理时即在访问 hdfs 时对于每一个不同的用户习惯于给他一个不同的 user 目录，这样该用户操作自己的 user 目录。创建文件夹，输入命令如下。
sudo -u hdfs hadoop fs -mkdir /user/$USER
此时的 $USER 就是 root ，无论执行该命令使用的是谁直接使用 $USER 去打印，出来的是当前该命令上下文中 user 的用户。创建 user 下的 root 用户，使用上图命令的方便之处在于以后可以只使用 user $USER 这一条命令，无论怎么改用户，都是创建对应用户的目录。接下来，将刚才的命令再执行一遍，将 mkdir 修改为 chown $USER ，如下。
sudo -u hdfs hadoop fs -chown $USER/user/$USER
可以进行相应的执行，现在做的就是修改权限，让 MapReduce 能够使用 user root 目录，因为提交 MapReduce 的任务可能使用 root 提交。 hadoop 中进行用户管理相对来说是稍微有点复杂的。接下来，在 cdh 01上启动两个服务，第一个是 service hadoop-yarn-resourcemanager start 。第二个是 service hadoop-mapreduce-historyserver start 。等待启动，成功后， cdh 01已经完成， cdh 01的作用就只是运行 resourcemanager 。 接下来，进入笔记中，拷贝对应的内容。先拷贝 MapReduce 的内容，如下。
<property>
<name>map reduce.framework.name</ name>
<value>yarn</value>
</property>
<property>
<name>map reduce. jobhistory.address</name>
<value>cdh01 : 10020</ value>
</property>
<property>
<name>mapreduce.jobhistory .webapp.address</name><value>cdh01 : 19888</ value>
</property>
<property>
<name>hadoop.proxyuser. mapred.groups</name>
<value>*</value>
</property>
<property>
<name>hadoop.proxyuser. mapred .hosts</name>
<value>*</ value>
</property>
<property>
<name>yarn. app . mapreduce.am.staging-dir</name>
<value>/user</value>
</property>
在 cdh 02中， vi /etc/hadoop/conf/mapred-site.xml 。直接在< configuration >和< /configuration >中粘贴内容。同理，在 cdh 03中也进行拷贝，完成后保存并退出。接着修改 yarn 的配置文件，拷贝内容如下。
<property>
<name>yarn.resourcemanager.hostname</ name>
<value>cdh01</ value>
</property>
<property>
<name>yarn . application . classpath</name>
<value>
$HADOOP_CONF_DIR,
$HADOOP_COMMON_HOME/* ,$HADOOP_COMMON_HOME/lib/*，
$HADOOP_HDFS_HOME/*,$HADOOP_HDFS_HOME/lib/*，
$HADOOP_MAPRED_HOME/* ,$HADOOP_MAPRED_HOME/lib/*,
$HADOOP_YARN_HOME/* ,$HADOOP_YARN_HOME/lib/*
</ value>
</property>
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
<property>
<name>yarn.nodemanager .local-dirs</name>
<value>file:/l/var/lib/hadoop-yarn/cache/${user.name}/nm-local-dir</value>
</property>
<property>
<name>yarn.nodemanager.log-dirs</name>
<value>file: ///var/log/hadoop-yarn/containers</value>
</property>
<property>
<name>yarn . log.aggregation-enable</ name>
<value>true</value>
</property>
<property>
<name>yarn.nodemanager . remote-app-log-dir</name>
<value>hdfs:///var/log/hadoop- yarn/apps</value>
</propertye>
进入 cdh 03 中， vi /etc/hadoop/conf/yarn-site.xml ，删除< configuration >和< /configuration >中的内容，粘贴对应的内容完成后， wq 退出保存。同理，修改 cdh 02中的内容。接下来，复制代码如下，主要是为了创建所需要的目录。
mkdir -p/var/lib/hadoop-yarn/cache
mkdir -p/var/log/hadoop-yarn/ containers
mkdir -p/var/log/hadoop- yarn/apps
回到 cdh 02中，进行粘贴执行，完成后，在 cdh 03上粘贴，因为目录需要在所有机器上创建。切回笔记，去指定刚才所创建目录的权限，复制代码如下。
chown -R yarn:yarn /var/lib/hadoop-yarn/cache /var/log/hadoop-yarn/containers/var/log/hadoop- yarn/apps
在 cdh 02和03上粘贴执行。回到笔记当中， hdfs 的操作只需要做一次，接下来，启动 yarn ，在从节点中启动 NodeManager 复制 service hadoop-yarn-nodemanager start ，进行粘贴。整个搭建过程呢还是相对比较简单的，大家以后在进行搭建的时完全可以参考笔记来一步一步的直接搭建完成，最终的程序能用即可。这时整个的搭建的已经完成，输入 jps 查看，从节点里有 nodemanager 、 DataNode 、 zookeeper 。在 cdh 03上， jps 也会发现 nodemanager 、 DataNode 、 zookeeper 服务。
在 cdh 01中，运行了 namenode 、 jobhistoryserver 、 zookeeper 、 secondarynamenode 、 resourcemanager 都没有问题，如下图。
到此为止，整个 hadoop 已经搭建完成。如果搭建时遇到什么问题直接去查、去找，总能找到解决方案。
