CDH 搭建_ Hadoop _ HDFS _从节点和总结|学习笔记

开发者学堂课程【2020版大数据实战项目之 DMP 广告系统（第二阶段）： CDH 搭建_ Hadoop _ HDFS _从节点和总结】学习笔记，与课程紧密联系，让用户快速学习知识。

课程地址：https://developer.aliyun.com/learning/course/677/detail/11772

CDH 搭建_ Hadoop _ HDFS _从节点和总结

一、配置 HDFS 从节点

配置 HDFS 。主节点已经配置完成，接下来，配置从节点，而从节点和主节点最大的区别就是从节点只启动 DataNode 而主节点只启动 Namenode 。如果是这样的话，那么配置文件中主节点里有的从节点里也要有，所以，会直接将文件复制到从节点当中。接下来的配置文件，在从节点当中都需要进行相应的配置。在主节点当中，输入 cd /etc/hadoop/ ， ls 查看，只需要把 conf.itcast 目录复制到 cdh 02和03当中。 输入 scp  conf.itcast root@cdh 02: /etc/hadoop/ 目录下。等待复制，需要在 scp 后加 -r 。

复制完成后，复制到 cdh 03 中进行具体配置。在 cdh 02当中 cd /etc/hadoop 文件中，查看 conf.itcast 没有问题。接下来就要进行一系列的操作，进入笔记当中，直接复制下面的内容。

#关联新的目录和 conf

alternatives --install /etc/hadoop/conf hadoop-conf /etc/hadoop/conf.itcast  50

#设置指向

alternatives -- set hadoop-conf /etc/ hadoop/ conf.itcast

#显式当前指向

alternatives --display hadoop-conf

粘贴，这时候设置的就是 alternative 先装载并指定优先级；接着设置指向；其次显示当前的指向是 conf.itcast 没有问题。接下来，在  cdh 02上做完这件事，到 cdh 03上再去做一遍，如果不能粘贴，就需要再复制一遍。粘贴完成后， cdh 03上也指向了 conf.itcast 。回到 cdh 02上想继续进行操作。下一步应该就是配置文件，完成以后进行相应的目录创建。回到笔记当中，拷贝目录的创建，复制下面的内容。

mkdir -p /var/lib/hadoop-hdfs/cache/hdfs/dfs/name

mkdir -p /var/lib/hadoop- hdfs/cache/hdfs/dfs/data

大家再装的时候也可以按照这种方式来装，即不用想太多，直接拷贝命令；在任何一个目录执行，它都是没有问题的。在 cdh 02中执行之后进入到cdh 03上，粘贴，执行目录的创建。接下来再切回笔记当中，目录创建完成后就可以指定相应的权限。复制下面的内容。

chown -R hdfs:hdfs /var/lib/hadoop-hdfs/cache/hdfs/dfs/name

chown -R hdfs:hdfs /var/lib/hadoop-hdfs/cache/hdfs/dfs/data

chmod 700/var/lib/hadoop-hdfs/cache/hdfs/dfs/name

chmod 700 /var/lib/hadoop-hdfs/cache/hdfs/dfs/data

在 cdh 02 和03上都制定相应的权限。在 cdh 02上所有的配置已经做完。接下来，格式化 namenode 。需要注意的是 Namenode 只能格式化一次。接下来，输入 service hadoop-hdfs-datanode start 启动。在 cdh 03上只启动 service hadoop-hdfs-datanode start 。在启动过程当中没有报错，说明启动是可以完整进行的。输入 jps 查看，当前是有两个服务， QuorumPeerMain 是 Zookeeper ； DataNode 是 HDFS 。在主节点上，输入 jps 查看，它里面运行多个服务， Namenode 、 QuorumPeerMain 和 SecondaryNameNode 这时 HDFS 的配置和启动就已经完成。对于 cdh 版本的安装，其实是很明显的套路，比如，文件夹的组织在笔记当中存在。首先，配置文件在/etc/xxx/conf 中，日志在/var/log/xxx 中，数据在/var/lib/xxx ，这就是 cdh版本管理的一些特性。默认配置一些环境上的配置在 /etc/ defalt/xxx 对应的文件。一般情况下 cdh 提供的是服务的形式来启动，比如要启动 service 就使用 hadoop-hdfs-xxx start 的相应服务。 这就是 cdh 大家会发现它的管理还是相对比较标准的。如果觉得再重启虚拟机时记不住要去启动哪些服务？在笔记的最后为大家提供了一个表格，它列举了所有要启动的服务，大家可以根据需要来启动对应的服务。如下表。

希望大家可以了解大致的配置方式，课下按照笔记的指示进行相应的安装即可。