开发者学堂课程【2020版大数据实战项目之 DMP 广告系统（第二阶段）： CDH 搭建_ Hadoop _ HDFS _从节点和总结】学习笔记，与课程紧密联系，让用户快速学习知识。
课程地址：https://developer.aliyun.com/learning/course/677/detail/11772
CDH 搭建_ Hadoop _ HDFS _从节点和总结
一、配置 HDFS 从节点
配置 HDFS 。主节点已经配置完成，接下来，配置从节点，而从节点和主节点最大的区别就是从节点只启动 DataNode 而主节点只启动 Namenode 。如果是这样的话，那么配置文件中主节点里有的从节点里也要有，所以，会直接将文件复制到从节点当中。接下来的配置文件，在从节点当中都需要进行相应的配置。在主节点当中，输入 cd /etc/hadoop/ ， ls 查看，只需要把 conf.itcast 目录复制到 cdh 02和03当中。 输入 scp conf.itcast root@cdh 02: /etc/hadoop/ 目录下。等待复制，需要在 scp 后加 -r 。
复制完成后，复制到 cdh 03 中进行具体配置。在 cdh 02当中 cd /etc/hadoop 文件中，查看 conf.itcast 没有问题。接下来就要进行一系列的操作，进入笔记当中，直接复制下面的内容。
#关联新的目录和 conf
alternatives --install /etc/hadoop/conf hadoop-conf /etc/hadoop/conf.itcast 50
#设置指向
alternatives -- set hadoop-conf /etc/ hadoop/ conf.itcast
#显式当前指向
alternatives --display hadoop-conf
粘贴，这时候设置的就是 alternative 先装载并指定优先级；接着设置指向；其次显示当前的指向是 conf.itcast 没有问题。接下来，在 cdh 02上做完这件事，到 cdh 03上再去做一遍，如果不能粘贴，就需要再复制一遍。粘贴完成后， cdh 03上也指向了 conf.itcast 。回到 cdh 02上想继续进行操作。下一步应该就是配置文件，完成以后进行相应的目录创建。回到笔记当中，拷贝目录的创建，复制下面的内容。
mkdir -p /var/lib/hadoop-hdfs/cache/hdfs/dfs/name
mkdir -p /var/lib/hadoop- hdfs/cache/hdfs/dfs/data
大家再装的时候也可以按照这种方式来装，即不用想太多，直接拷贝命令；在任何一个目录执行，它都是没有问题的。在 cdh 02中执行之后进入到cdh 03上，粘贴，执行目录的创建。接下来再切回笔记当中，目录创建完成后就可以指定相应的权限。复制下面的内容。
chown -R hdfs:hdfs /var/lib/hadoop-hdfs/cache/hdfs/dfs/name
chown -R hdfs:hdfs /var/lib/hadoop-hdfs/cache/hdfs/dfs/data
chmod 700/var/lib/hadoop-hdfs/cache/hdfs/dfs/name
chmod 700 /var/lib/hadoop-hdfs/cache/hdfs/dfs/data
在 cdh 02 和03上都制定相应的权限。在 cdh 02上所有的配置已经做完。接下来，格式化 namenode 。需要注意的是 Namenode 只能格式化一次。接下来，输入 service hadoop-hdfs-datanode start 启动。在 cdh 03上只启动 service hadoop-hdfs-datanode start 。在启动过程当中没有报错，说明启动是可以完整进行的。输入 jps 查看，当前是有两个服务， QuorumPeerMain 是 Zookeeper ； DataNode 是 HDFS 。在主节点上，输入 jps 查看，它里面运行多个服务， Namenode 、 QuorumPeerMain 和 SecondaryNameNode 这时 HDFS 的配置和启动就已经完成。对于 cdh 版本的安装，其实是很明显的套路，比如，文件夹的组织在笔记当中存在。首先，配置文件在/etc/xxx/conf 中，日志在/var/log/xxx 中，数据在/var/lib/xxx ，这就是 cdh版本管理的一些特性。默认配置一些环境上的配置在 /etc/ defalt/xxx 对应的文件。一般情况下 cdh 提供的是服务的形式来启动，比如要启动 service 就使用 hadoop-hdfs-xxx start 的相应服务。 这就是 cdh 大家会发现它的管理还是相对比较标准的。如果觉得再重启虚拟机时记不住要去启动哪些服务？在笔记的最后为大家提供了一个表格，它列举了所有要启动的服务，大家可以根据需要来启动对应的服务。如下表。
服务 |
命令 |
httpd |
service httpd start |
Zookeeper |
service zookeeper-server start |
hdfs-namenode |
service hadoop-hdfs-namenode start |
hdfs-datanode |
service hadoop-hdfs-datanode start |
hdfs -secondarynamenode |
service hadoop-hdfs -secondarynamenode start |
yarn - resourcemanage r |
service hadoop-yarn- resourcemanager start |
mapreduce-historyserver |
service hadoop- mapreduce-historyserver start |
yarn-nodemanager |
service hadoop-yarn-nodemanager start |
hive -metastore |
service hive-metastore start |
hive-server2 |
service hive-server2 start |
kudu - master |
service kudu -master start |
kudu-tserver |
service kudu -tserver start |
impala-state-store |
service impala-state-store start |
impala-catalog |
service impala-catalog start |
impala-server |
service impala-server start |
hue |
service hue start |
希望大家可以了解大致的配置方式，课下按照笔记的指示进行相应的安装即可。
