完全分布模式hadoop集群安装配置之一安装第一个节点

简介: 本系列文章讲述搭建完全分布模式hadoop的安装配置过程,还将讲述完全分布式模式的一些基本操作。准备采用先单机调通再加入节点的方式。本文只讲述单节点的安装和配置。   1. Namenode和JobTracker的安装       这是完全分布模式集群的第一台,也是很关键的一台。

  本系列文章讲述搭建完全分布模式hadoop的安装配置过程,还将讲述完全分布式模式的一些基本操作。准备采用先单机调通再加入节点的方式。本文只讲述单节点的安装和配置。

 

1. Namenode和JobTracker的安装

 

    这是完全分布模式集群的第一台,也是很关键的一台。采用VMWARE虚拟的Ubuntu Linux 11.10  server版。安装Linux非本文重点就不说了。 默认建立了一个用户叫abc, 其有sudo权限。root的口令是随机的一个口令,只能用sudo命令暂时提升到root权限。为保险起见,安装完系统第一件事就是改root密码。用sudo passwd root,系统不会问你要原口令,直接输入新口令两遍即可。有root口令在手,后面万一操作错误不至于束手无策。

 

1.1 安装JDK1.6

 

   有个命令可以很快地安装jdk,   sudo apt-get install sun-java6-jdk, 这是ubuntu系统本身一个机制。当时试了一下,没有成功,记得说是找不到包。不知道啥原因,要不网络不行,要不包名不对了。就放弃了。只好找另外的办法。

   到Oracle网站上找到JDK 1.6的目前最新版本 JDK 1.6.0_31. 得到其下载链接:

选这个是因为它是32位的JDK, Ubuntu Linux选的是32位的。JDK所以也选32位。点“Accept License Agreement", 右键点到"jdk-6u31-linux-i586.bin"上,在属性中得到其链接:http://download.oracle.com/otn-pub/java/jdk/6u31-b04/jdk-6u31-linux-i586.bin,  再回到虚拟机中,用abc登录,输入命令:

wget http://download.oracle.com/otn-pub/java/jdk/6u31-b04/jdk-6u31-linux-i586.bin

这下载需要一段时间。等下载完成后,在/home/abc/下就有一个jdk-6u31-linux-i586.bin的文件。

sudo mkdir /usr/lib/jvm

cd /usr/lib/jvm

sudo mkdir java

cd java

sudo cp /home/abc/jdk-6u31-linux-i586.bin  .

sudo chmod 777 jdk-6u31-linux-i586.bin

./jdk-6u31-linux-i586.bin

这样就开始安装jdk了。一会就安装好了。

sudo vi /etc/environment

将此文件做如下修改:

在PATH那一行后面添加   :/usr/lib/jvm/java/jdk1.6.0_31/bin   注意/usr前面那个冒号是需要的。

再加这两行:

CLASSPATH=.:/usr/lib/jvm/java/jdk1.6.0_31/lib

JAVA_HOME=/usr/lib/jvm/java/jdk1.6.0_31

保存

说明:有的地方说linux 系统本身会默认安装一些包如openjdk包,就会造成多个jvm共存。还需要用update -alternatives 命令去选择默认的jvm到刚安装的jdk目录。

发现Ubuntu Linux11.10 server版默认没有装其他的任何jdk包,在此之前连java命令都无法运行,所以不需要运行update-alternatives 命令了。

sudo reboot

 

1.2 建立hadoop用户和hadoop组

 

重启系统后,登录abc用户

sudo addgroup hadoop

sudo adduser --ingroup hadoop hadoop

输入新口令两遍,然后是一些无关紧要的信息,一路回车直到完成命令。hadoop用户就建立了。

su

输入root的口令,成功后就换成了root用户

继续输入命令:

chmod u+w /etc/sudoers

vi /etc/sudoers

在此行:root    ALL=(ALL:ALL) ALL  后加一行:

hadoop  ALL=(ALL:ALL) ALL

意思就是允许hadoop用户sudo运行任何命令

保存

chmod u-w  /etc/sudoers

这是把sudoers文件的权限改回440, 即root用户通常也只读。Ubuntu linux的sudo 命令运行时会检查这个文件权限是否440, 如果不是440, sudo命令都没有办法工作。所以改完之后一定要改回原来的440.

作为root用户的任务就结束了,输入exit退出root用户

再输入exit退出abc用户

 

1.3 配置SSH Key以便hadoop用户无密码登录集群

 

再用刚刚建立的用户hadoop来登录,

sudo apt-get install ssh

ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa
cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys

要用命令ssh localhost来测试一下ssh是否工作,如果不用输入口令那就正确。

 

1.4 检查主机名,修改/etc/hostname, /etc/hosts

 

sudo vi /etc/hostname

检查系统自动分配的主机名是否合适,不合适的话改成一个有意义的名字,如namenode,保存

ifconfig

看看当前IP,记录下来。

sudo vi /etc/hosts

那些127开头的两行都不用动,

在后面加刚刚记录的IP 和新改的主机名,保存

这个很重要。不正确地做的话,可能后面jobtracker的reduce步骤运行不正常。

 

1.5 安装hadoop包

 

http://hadoop.apache.org/common/releases.html找一个当前的stable的版本。找到了0.20.203.0版本,找一个比较近的镜像站点。wget下载此包到/home/hadoop/目录下。

继续以hadoop用户输入命令

sudo mkdir /usr/local/hadoop

sudo chown hadoop:hadoop /usr/local/hadoop

cp /home/hadoop/hadoop-0.20.203.0rc1.tar.gz  /usr/local/hadoop

cd /usr/local/hadoop

tar zxvf hadoop-0.20.203.0rc1.tar.gz

cd hadoop-0.20.203.0/conf

vi hadoop-env.sh

就把这行改成这样:export JAVA_HOME=/usr/lib/jvm/java/jdk1.6.0_31/, 其他都可以暂时不动。

vi core-site.xml

里面是空的,将其内容改成:

<configuration>
<property>
  <name>fs.default.name</name>
  <value>hdfs://namenode:9000</value>
</property>
<property>
  <name>hadoop.tmp.dir</name>
  <value>/home/hadoop/tmp</value>
</property>
</configuration>

vi hdfs-site.xml, 加入:

<property>
  <name>fs.default.name</name>
  <value>hdfs://namenode:9000</value>
</property>
<property>
  <name>hadoop.tmp.dir</name>
  <value>/home/hadoop/tmp</value>
</property>
<property>
  <name>dfs.replication</name>
  <value>1</value>
</property>

这个dfs.replication表示数据复制的份数,生产环境就不可能是1了,当然是要大于1了。

vi mapred-site.xml,将其改成:

<property>
  <name>fs.default.name</name>
  <value>hdfs://namenode:9000</value>
</property>
<property>
  <name>hadoop.tmp.dir</name>
  <value>/home/hadoop/tmp</value>
</property>
<property>
  <name>dfs.replication</name>
  <value>1</value>
</property>
<property>
  <name>mapred.job.tracker</name>
  <value>namenode:9001</value>
</property>

注意这里jobtracker和namenode选用了同一个主机,即在同一台机器上,生产环境是可以namenode和jobtracker分开成两个机器的。

 

都改完成了。就修改一下PATH变量:

sudo vi /etc/environment

在PATH那一行后面再加上   :/usr/local/hadoop/hadoop-0.20.203.0/bin   保存, 这是为了能随时可用hadoop的命令。

sudo reboot重启

 

1.6  格式化hdfs

再用hadoop用户登录,

hadoop namenode -format

 

1.7 启动此单机配置及验证

start-all.sh

此hadoop单个节点的就启动了。

验证可以用:

jps

出这样的结果就对了:

3156 NameNode
2743 SecondaryNameNode
3447 Jps
2807 JobTracker
2909 TaskTracker
2638 DataNode

再hadoop dfsadmin -report

能显示出hdfs的信息

 

访问http://namenode:50070/ 显示hdfs的信息

还有http://namenode:50030/ 显示jobtracker的信息

再可以用一些常用命令将文件放到hdfs上,如

hadoop fs -put test.txt /user/hadoop/test.text

以上可以证明hdfs基本正常.下面要验证jobtracker和taskTracker是否正常,准备运行hadoop example中的wordcount程序。

cd /usr/local/hadoop/hadoop/hadoop-0.20.203.0

hadoop fs -put conf input

将conf目录拷贝到hdfs

hadoop jar hadoop-examples-0.20.203.0.jar wordcount input output

得到大概这样的结果就对了, 即map增长到100%, reduce也增长到100%,

12/03/05 07:52:09 INFO input.FileInputFormat: Total input paths to process : 15
12/03/05 07:52:09 INFO mapred.JobClient: Running job: job_201203050735_0001
12/03/05 07:52:10 INFO mapred.JobClient:  map 0% reduce 0%
12/03/05 07:52:24 INFO mapred.JobClient:  map 13% reduce 0%
12/03/05 07:52:25 INFO mapred.JobClient:  map 26% reduce 0%
12/03/05 07:52:30 INFO mapred.JobClient:  map 40% reduce 0%
12/03/05 07:52:31 INFO mapred.JobClient:  map 53% reduce 0%
12/03/05 07:52:36 INFO mapred.JobClient:  map 66% reduce 13%
12/03/05 07:52:37 INFO mapred.JobClient:  map 80% reduce 13%
12/03/05 07:52:39 INFO mapred.JobClient:  map 80% reduce 17%
12/03/05 07:52:42 INFO mapred.JobClient:  map 100% reduce 17%
12/03/05 07:52:51 INFO mapred.JobClient:  map 100% reduce 100%
12/03/05 07:52:56 INFO mapred.JobClient: Job complete: job_201203050735_0001
12/03/05 07:52:56 INFO mapred.JobClient: Counters: 26
12/03/05 07:52:56 INFO mapred.JobClient:   Job Counters
12/03/05 07:52:56 INFO mapred.JobClient:     Launched reduce tasks=1
12/03/05 07:52:56 INFO mapred.JobClient:     SLOTS_MILLIS_MAPS=68532
12/03/05 07:52:56 INFO mapred.JobClient:     Total time spent by all reduces waiting after reserving slots (ms)=0
12/03/05 07:52:56 INFO mapred.JobClient:     Total time spent by all maps waiting after reserving slots (ms)=0
12/03/05 07:52:56 INFO mapred.JobClient:     Rack-local map tasks=7
12/03/05 07:52:56 INFO mapred.JobClient:     Launched map tasks=15
12/03/05 07:52:56 INFO mapred.JobClient:     Data-local map tasks=8
12/03/05 07:52:56 INFO mapred.JobClient:     SLOTS_MILLIS_REDUCES=25151
12/03/05 07:52:56 INFO mapred.JobClient:   File Output Format Counters
12/03/05 07:52:56 INFO mapred.JobClient:     Bytes Written=14249
12/03/05 07:52:56 INFO mapred.JobClient:   FileSystemCounters
12/03/05 07:52:56 INFO mapred.JobClient:     FILE_BYTES_READ=21493
12/03/05 07:52:56 INFO mapred.JobClient:     HDFS_BYTES_READ=27707
12/03/05 07:52:56 INFO mapred.JobClient:     FILE_BYTES_WRITTEN=384596
12/03/05 07:52:56 INFO mapred.JobClient:     HDFS_BYTES_WRITTEN=14249
12/03/05 07:52:56 INFO mapred.JobClient:   File Input Format Counters
12/03/05 07:52:56 INFO mapred.JobClient:     Bytes Read=25869
12/03/05 07:52:56 INFO mapred.JobClient:   Map-Reduce Framework
12/03/05 07:52:56 INFO mapred.JobClient:     Reduce input groups=754
12/03/05 07:52:56 INFO mapred.JobClient:     Map output materialized bytes=21577
12/03/05 07:52:56 INFO mapred.JobClient:     Combine output records=1047
12/03/05 07:52:56 INFO mapred.JobClient:     Map input records=734
12/03/05 07:52:56 INFO mapred.JobClient:     Reduce shuffle bytes=21577
12/03/05 07:52:56 INFO mapred.JobClient:     Reduce output records=754
12/03/05 07:52:56 INFO mapred.JobClient:     Spilled Records=2094
12/03/05 07:52:56 INFO mapred.JobClient:     Map output bytes=34601
12/03/05 07:52:56 INFO mapred.JobClient:     Combine input records=2526
12/03/05 07:52:56 INFO mapred.JobClient:     Map output records=2526
12/03/05 07:52:56 INFO mapred.JobClient:     SPLIT_RAW_BYTES=1838
12/03/05 07:52:56 INFO mapred.JobClient:     Reduce input records=1047

 最后再hadoop fs -get output /home/hadoop   将output目录取到本地来查看结果。

 

1.8  单机的停止

stop-all.sh

 

1.9 遇到的问题

Too many fetch-failures问题

运行wordcount示例时,reduce任务无法达到100%总是卡住在0%.

分析log里面有Too many fetch-failures信息,上网查了一下,有人说要将IP地址还有hostname都要写到/etc/hosts里面,才行。

照着做了一下,发现还是不行。正头大之际,经过不懈努力,终于找到症结:原来ubuntu linux给指定的一个主机名是192,这个主机名192已经成了hdfs的标准配置了。即使本人后来将主机名改成有意义的名字,这个顺序已经不对了,因为发现logs目录下的每个任务的配置文件xml文件还是用的老主机名,新改的主机名根本就没有用上,而这个老主机名存在哪里呢,后来发现这个主机名存在hdfs文件系统的那些文件里。所以需要从1.4步开始到1.8步重新做一遍。如此重新做了一遍以后,运行wordcount示例程序就成功了。

 

本人回答过qq群里同仁的问题:

运行hadoop namenode -format报main函数找不到

回答:CLASSPATH设置不对。

 

单机安装配置就讲这么多。本文就说到这里了。本文之后的文章将说到如何将新的hadoop节点加入,让多个节点成为一个完全分步式的集群。

如果觉得本文有帮助,请帮忙点推荐。谢谢

目录
相关文章
|
1天前
|
分布式计算 Hadoop 调度
|
2天前
|
存储 分布式计算 Hadoop
Hadoop节点数据局部性
【5月更文挑战第14天】Hadoop节点数据局部性
12 5
|
2天前
|
存储 分布式计算 Hadoop
Hadoop节点数据可靠性
【5月更文挑战第14天】Hadoop节点数据可靠性
13 4
|
2天前
|
分布式计算 Hadoop
hadoop节点容错性
【5月更文挑战第14天】hadoop节点容错性
9 3
|
3天前
|
存储 分布式计算 Hadoop
Hadoop节点冗余
【5月更文挑战第13天】
13 2
|
3天前
|
存储 分布式计算 Hadoop
大数据存储技术(1)—— Hadoop简介及安装配置
大数据存储技术(1)—— Hadoop简介及安装配置
28 0
|
7天前
|
SQL 弹性计算 分布式计算
实时计算 Flink版产品使用合集之如果产品是基于ak的,可以提交sql任务到ecs自建hadoop集群吗
实时计算Flink版作为一种强大的流处理和批处理统一的计算框架,广泛应用于各种需要实时数据处理和分析的场景。实时计算Flink版通常结合SQL接口、DataStream API、以及与上下游数据源和存储系统的丰富连接器,提供了一套全面的解决方案,以应对各种实时计算需求。其低延迟、高吞吐、容错性强的特点,使其成为众多企业和组织实时数据处理首选的技术平台。以下是实时计算Flink版的一些典型使用合集。
19 0
|
9天前
|
分布式计算 Hadoop Java
Hbase2.2.2在线安装配置(对应Hadoop 3.1.3)
Hbase2.2.2在线安装配置(对应Hadoop 3.1.3)
36 2
|
9天前
|
分布式计算 Hadoop
在Hadoop节点线缆连接检查中线缆长度
【5月更文挑战第3天】在Hadoop节点线缆连接检查中线缆长度
16 3
在Hadoop节点线缆连接检查中线缆长度
|
9天前
|
分布式计算 Hadoop 网络架构
在Hadoop节点线缆连接检查中线缆类型
【5月更文挑战第3天】在Hadoop节点线缆连接检查中线缆类型
14 1