大数据学习之使用ambari动态添加主机的详细步骤
ambari是一个管理Hadoop的十分强大的工具,我想,大数据之所以大,就是数据多呗,那么在实际的生产中,能够动态的添加服务器到Hadoop集群内是十分必要的一件事情。
实验环境如下:
服务器加入集群的步骤:
一,现有的几个服务器的大致状态:
二,添加服务器的思路
(1)与其它服务器一样,关闭防火墙和selinux。
systemctl disable firewalld &&systemctl stop firewalld 编辑 /etc/selinux/config 文件,关闭selinux
(2)计划添加的服务器域名是hdp4.com,因此,需要在该服务器的hosts里写入,主机名同样写入hosts里并同步到其余服务器。
这些就不用说了,编辑 /etc/hosts 和/etc/hostname 文件即可,编辑完成后同步到其它服务器。两个文件的内容如下,所有服务器hosts文件内容都一样就是同步了:
127.0.0.1 localhost localhost.localdomain localhost4 localhost4.localdomain4 ::1 localhost localhost.localdomain localhost6 localhost6.localdomain6 192.168.88.11 hdp-1 hdp1.com 192.168.88.12 hdp-2 hdp2.com 192.168.88.13 hdp-3 hdp3.com 192.168.88.14 hdp-4 hdp4.com
[root@hdp-4 ~]# cat /etc/hostname hdp-4
(3)该服务器需要加入时间服务器里,时间服务器的地址是192.168.88.11 。
yum install ntp -y
vim /etc/ntp.conf
删除原有的server行,添加如下内容:
server 192.168.88.14
执行命令 ntpstat,输入如下即可(可能需要等待几分钟):
[root@hdp-4 ~]# ntpstat synchronised to NTP server (192.168.88.11) at stratum 12 time correct to within 18 ms polling server every 64 s
(4)与其它的服务器需要互相免密,可互相免密登陆。
在14服务器上执行以下命令:
ssh-keygen -t rsa 连续回车即可,在执行
ssh-copy-id 192.168.88.11 ssh-copy-id 192.168.88.12 ssh-copy-id 192.168.88.13 ssh-copy-id 192.168.88.14
在其它服务器执行相同的命令:
ssh-copy-id 192.168.88.14
(5)与其它服务器一样,安装相同的依赖。
yum install openssl-devel bzip2-devel zlib-devel gcc gcc-c++ -y
rpm -ivh libtirpc-0.2.4-0.16.el7.src.rpm
rpm -ivh libtirpc-devel-0.2.4-0.16.el7.x86_64.rpm --nodeps
(6)同步其它服务器的yum仓库文件。
在其它任意一台服务器,比如192.168.88.11服务器上执行:
scp /etc/yum.repo.d/* hdp-4:/etc/yum.repo.d/
此时,在192.168.88.14上,执行以下命令应该有如下输出:
[root@hdp-4 ~]# yum repolist Loaded plugins: fastestmirror Loading mirror speeds from cached hostfile HDP-3.1-GPL-repo-1 | 2.9 kB 00:00:00 HDP-3.1-repo-1 | 2.9 kB 00:00:00 HDP-3.1.5.0 | 2.9 kB 00:00:00 HDP-GPL-3.1.5.0 | 2.9 kB 00:00:00 HDP-UTILS-1.1.0.22 | 2.9 kB 00:00:00 HDP-UTILS-1.1.0.22-repo-1 | 2.9 kB 00:00:00 ambari-2.7.5.0 | 2.9 kB 00:00:00 localrepo | 3.6 kB 00:00:00 (1/7): HDP-3.1-GPL-repo-1/primary_db | 2.9 kB 00:00:00 (2/7): HDP-UTILS-1.1.0.22-repo-1/primary_db | 8.5 kB 00:00:00 (3/7): HDP-3.1.5.0/primary_db | 89 kB 00:00:00 (4/7): HDP-3.1-repo-1/primary_db | 89 kB 00:00:00 (5/7): ambari-2.7.5.0/primary_db | 25 kB 00:00:00 (6/7): HDP-GPL-3.1.5.0/primary_db | 2.9 kB 00:00:00 (7/7): HDP-UTILS-1.1.0.22/primary_db | 8.5 kB 00:00:00 repo id repo name status HDP-3.1-GPL-repo-1 HDP-3.1-GPL-repo-1 4 HDP-3.1-repo-1 HDP-3.1-repo-1 201 HDP-3.1.5.0 HDP Version - HDP-3.1.5.0 201 HDP-GPL-3.1.5.0 HDP-GPL Version - HDP-GPL-3.1.5.0 4 HDP-UTILS-1.1.0.22 HDP-UTILS Version - HDP-UTILS-1.1.0.22 16 HDP-UTILS-1.1.0.22-repo-1 HDP-UTILS-1.1.0.22-repo-1 16 ambari-2.7.5.0 ambari Version - ambari-2.7.5.0 13 localrepo localrepo 4,067 repolist: 4,522
三,在web端,也就是ambari的web页面的操作