内容
昨晚运行了一个wordcount,惊觉Hadoop很多细节知识忘记了,于是今天把本地的虚拟机全部移除,从头开始搭建了一个三节点的Hadoop集群。原虚拟机中的Hive、Zk、HBase、Spark等框架,后续逐个添加。
环境
VMware、CentOS6.8、Hadoop2.7.2、Java1.8、XShell6、Xftp6
步骤
1、Vm没有卸载,直接创建新的虚拟机,选项几乎默认,剩下的两台在安装完各种环境后,直接克隆。安装前硬件:内存一定要大,另外找一个空间够大的固态盘,最少准备60G,防止后面框架运行空间不足。
2、安装CentOS系统,这一步需要手动配置分区,并且在自定义软件的地方吧Java和服务器环境去除,后面自己安装。其他的软禁少选一点,不然非常慢,后面几乎不用虚拟机的桌面,用的是XShell操作。
3、虚拟机开机后,设置一下ip地址和开机自启动,连上XShell。设置防火墙关闭。
4、安装Java8。我没有从官网下载,直接从之前做项目的阿里云上拿过来。
5、安装Hadoop。Hadoop2.7.2版本。
6、进行三种模式下的Wordcount测试。
7、本地文件运行时,报错:java.net.UnknownHostException: h1: h1: 未知的名称或服务.解决方法:vi /etc/hosts ip h1,我在这里顺便把另外两个的ip都加上了。
8、伪分布式运行。修改core-site和hdfs-site文件,格式化namenode,然后分别启动namenode和datanode。重复本地运行的运行步骤
9、接下来是配置伪分布式的Yarn和搭建完全分布式。
注意事项
网关ip和DNS的ip一致,等于NAT设置中的网关ip即可。