快速搭建 Hadoop 环境

对于Hadoop来说，最主要的是两个方面，一个是分布式文件系统HDFS，另一个是MapReduce计算模型，下面讲解下我在搭建Hadoop 环境过程。

Hadoop 测试环境

1. 共4台测试机，1台namenode 3台datanode 
2.  
3. OS版本：RHEL 5.5 X86_64 
4. Hadoop：0.20.203.0 
5. Jdk：jdk1.7.0 
6.  
7. 角色        ip地址 
8. namenode  192.168.57.75 
9. datanode1 192.168.57.76 
10. datanode2 192.168.57.78 
11. datanode3 192.168.57.79 

一 部署 Hadoop 前的准备工作

1. 1 需要知道hadoop依赖Java和SSH 
2. Java 1.5.x (以上)，必须安装。 
3. ssh 必须安装并且保证 sshd 一直运行，以便用Hadoop 脚本管理远端Hadoop守护进程。 
4.  
5. 2 建立 Hadoop 公共帐号 
6. 所有的节点应该具有相同的用户名，可以使用如下命令添加： 
7. useradd hadoop 
8. passwd hadoop 
9.  
10. 3 配置 host 主机名 
11. tail -n 3 /etc/hosts 
12. 192.168.57.75  namenode 
13. 192.168.57.76  datanode1 
14. 192.168.57.78  datanode2 
15. 192.168.57.79  datanode3 
16.  
17. 4 以上几点要求所有节点(namenode|datanode)配置全部相同 

二 ssh 配置
ssh 详细了解

1. 1 生成私匙 id_rsa 与 公匙 id_rsa.pub 配置文件 
2. [hadoop@hadoop1 ~]$ ssh-keygen -t rsa 
3. Generating public/private rsa key pair. 
4. Enter file in which to save the key (/home/hadoop/.ssh/id_rsa): 
5. Enter passphrase (empty for no passphrase): 
6. Enter same passphrase again: 
7. Your identification has been saved in /home/hadoop/.ssh/id_rsa. 
8. Your public key has been saved in /home/hadoop/.ssh/id_rsa.pub. 
9. The key fingerprint is: 
10. d6:63:76:43:e2:5b:8e:85:ab:67:a2:7c:a6:8f:23:f9 hadoop@hadoop1.test.com 
11.  
12. 2 私匙 id_rsa 与 公匙 id_rsa.pub 配置文件 
13. [hadoop@hadoop1 ~]$ ls .ssh/ 
14. authorized_keys  id_rsa  id_rsa.pub  known_hosts 
15.  
16. 3 把公匙文件上传到datanode服务器 
17. [hadoop@hadoop1 ~]$ ssh-copy-id -i ~/.ssh/id_rsa.pub hadoop@datanode1 
18. 28 
19. hadoop@datanode1's password: 
20. Now try logging into the machine, with "ssh 'hadoop@datanode1'", and check in: 
21.  
22.   .ssh/authorized_keys 
23.  
24. to make sure we haven't added extra keys that you weren't expecting. 
25.  
26. [hadoop@hadoop1 ~]$ ssh-copy-id -i ~/.ssh/id_rsa.pub hadoop@datanode2 
27. 28 
28. hadoop@datanode2's password: 
29. Now try logging into the machine, with "ssh 'hadoop@datanode2'", and check in: 
30.  
31.   .ssh/authorized_keys 
32.  
33. to make sure we haven't added extra keys that you weren't expecting. 
34.  
35. [hadoop@hadoop1 ~]$ ssh-copy-id -i ~/.ssh/id_rsa.pub hadoop@datanode3 
36. 28 
37. hadoop@datanode3's password: 
38. Now try logging into the machine, with "ssh 'hadoop@datanode3'", and check in: 
39.  
40.   .ssh/authorized_keys 
41.  
42. to make sure we haven't added extra keys that you weren't expecting. 
43.  
44. [hadoop@hadoop1 ~]$ ssh-copy-id -i ~/.ssh/id_rsa.pub hadoop@localhost 
45. 28 
46. hadoop@localhost's password: 
47. Now try logging into the machine, with "ssh 'hadoop@localhost'", and check in: 
48.  
49.   .ssh/authorized_keys 
50.  
51. to make sure we haven't added extra keys that you weren't expecting. 
52.  
53.  
54. 4 验证 
55. [hadoop@hadoop1 ~]$ ssh datanode1 
56. Last login: Thu Feb  2 09:01:16 2012 from 192.168.57.71 
57. [hadoop@hadoop2 ~]$ exit 
58. logout 
59.  
60. [hadoop@hadoop1 ~]$ ssh datanode2 
61. Last login: Thu Feb  2 09:01:18 2012 from 192.168.57.71 
62. [hadoop@hadoop3 ~]$ exit 
63. logout 
64.  
65. [hadoop@hadoop1 ~]$ ssh datanode3 
66. Last login: Thu Feb  2 09:01:20 2012 from 192.168.57.71 
67. [hadoop@hadoop4 ~]$ exit 
68. logout 
69.  
70. [hadoop@hadoop1 ~]$ ssh localhost 
71. Last login: Thu Feb  2 09:01:24 2012 from 192.168.57.71 
72. [hadoop@hadoop1 ~]$ exit 
73. logout 

三 java环境配置

1. 1 下载合适的jdk 
2. //此文件为64Linux 系统使用的 RPM包 
3. wget http://download.oracle.com/otn-pub/java/jdk/7/jdk-7-linux-x64.rpm 
4.  
5. 2 安装jdk 
6. rpm -ivh jdk-7-linux-x64.rpm 
7.  
8. 3 验证java 
9. [root@hadoop1 ~]# java -version 
10. java version "1.7.0" 
11. Java(TM) SE Runtime Environment (build 1.7.0-b147) 
12. Java HotSpot(TM) 64-Bit Server VM (build 21.0-b17, mixed mode) 
13. [root@hadoop1 ~]# ls /usr/java/ 
14. default  jdk1.7.0  latest 
15.  
16. 4 配置java环境变量 
17. #vim /etc/profile //在profile文件中加入如下信息： 
18.  
19. #add for hadoop 
20. export JAVA_HOME=/usr/java/jdk1.7.0 
21. export CLASSPATH=.:$JAVA_HOME/jre/lib/rt.jar:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/ 
22. export PATH=$PATH:$JAVA_HOME/bin 
23.  
24. //使环境变量生效 
25. source /etc/profile 
26.  
27. 5 拷贝 /etc/profile 到 datanode 
28. [root@hadoop1 src]# scp /etc/profile root@datanode1:/etc/ 
29. The authenticity of host 'datanode1 (192.168.57.86)' can't be established. 
30. RSA key fingerprint is b5:00:d1:df:73:4c:94:f1:ea:1f:b5:cd:ed:3a:cc:e1. 
31. Are you sure you want to continue connecting (yes/no)? yes 
32. Warning: Permanently added 'datanode1,192.168.57.86' (RSA) to the list of known hosts. 
33. root@datanode1's password: 
34. profile                                       100% 1624     1.6KB/s   00:00    
35. [root@hadoop1 src]# scp /etc/profile root@datanode2:/etc/ 
36. The authenticity of host 'datanode2 (192.168.57.87)' can't be established. 
37. RSA key fingerprint is 57:cf:96:15:78:a3:94:93:30:16:8e:66:47:cd:f9:cd. 
38. Are you sure you want to continue connecting (yes/no)? yes 
39. Warning: Permanently added 'datanode2,192.168.57.87' (RSA) to the list of known hosts. 
40. root@datanode2's password: 
41. profile                                       100% 1624     1.6KB/s   00:00    
42. [root@hadoop1 src]# scp /etc/profile root@datanode3:/etc/ 
43. The authenticity of host 'datanode3 (192.168.57.88)' can't be established. 
44. RSA key fingerprint is 31:73:e8:3c:20:0c:1e:b2:59:5c:d1:01:4b:26:41:70. 
45. Are you sure you want to continue connecting (yes/no)? yes 
46. Warning: Permanently added 'datanode3,192.168.57.88' (RSA) to the list of known hosts. 
47. root@datanode3's password: 
48. profile                                       100% 1624     1.6KB/s   00:00
49.   
50. 6 拷贝 jdk 安装包，并在每个datanode 节点安装 jdk 包
51. [root@hadoop1 ~]# scp -r /home/hadoop/src/ hadoop@datanode1:/home/hadoop/ 
52. hadoop@datanode1's password: 
53. hadoop-0.20.203.0rc1.tar.gz                   100%   58MB  57.8MB/s   00:01    
54. jdk-7-linux-x64.rpm                           100%   78MB  77.9MB/s   00:01    
55. [root@hadoop1 ~]# scp -r /home/hadoop/src/ hadoop@datanode2:/home/hadoop/ 
56. hadoop@datanode2's password: 
57. hadoop-0.20.203.0rc1.tar.gz                   100%   58MB  57.8MB/s   00:01    
58. jdk-7-linux-x64.rpm                           100%   78MB  77.9MB/s   00:01    
59. [root@hadoop1 ~]# scp -r /home/hadoop/src/ hadoop@datanode3:/home/hadoop/ 
60. hadoop@datanode3's password: 
61. hadoop-0.20.203.0rc1.tar.gz                   100%   58MB  57.8MB/s   00:01    
62. jdk-7-linux-x64.rpm                           100%   78MB  77.9MB/s   00:01    

四 hadoop 配置 
//注意使用hadoop 用户 操作

1. 1 配置目录 
2. [hadoop@hadoop1 ~]$ pwd 
3. /home/hadoop 
4. [hadoop@hadoop1 ~]$ ll 
5. total 59220 
6. lrwxrwxrwx  1 hadoop hadoop       17 Feb  1 16:59 hadoop -> hadoop-0.20.203.0 
7. drwxr-xr-x 12 hadoop hadoop     4096 Feb  1 17:31 hadoop-0.20.203.0 
8. -rw-r--r--  1 hadoop hadoop 60569605 Feb  1 14:24 hadoop-0.20.203.0rc1.tar.gz 
9.  
10.  
11. 2 配置hadoop-env.sh，指定java位置 
12. vim hadoop/conf/hadoop-env.sh 
13. export JAVA_HOME=/usr/java/jdk1.7.0 
14.  
15. 3 配置core-site.xml //定位文件系统的 namenode 
16.  
17. [hadoop@hadoop1 ~]$ cat hadoop/conf/core-site.xml 
18. <?xml version="1.0"?> 
19. <?xml-stylesheet type="text/xsl" href="configuration.xsl"?> 
20.  
21. <!-- Put site-specific property overrides in this file. --> 
22.  
23. <configuration> 
24.  
25. <property> 
26. <name>fs.default.name</name> 
27. <value>hdfs://namenode:9000</value> 
28. </property> 
29.  
30. </configuration> 
31.  
32. 4 配置mapred-site.xml //定位jobtracker 所在的主节点 
33.  
34. [hadoop@hadoop1 ~]$ cat hadoop/conf/mapred-site.xml 
35. <?xml version="1.0"?> 
36. <?xml-stylesheet type="text/xsl" href="configuration.xsl"?> 
37.  
38. <!-- Put site-specific property overrides in this file. --> 
39.  
40. <configuration> 
41.  
42. <property> 
43. <name>mapred.job.tracker</name> 
44. <value>namenode:9001</value> 
45. </property> 
46.  
47. </configuration> 
48.  
49. 5 配置hdfs-site.xml //配置HDFS副本数量 
50.   
51. [hadoop@hadoop1 ~]$ cat hadoop/conf/hdfs-site.xml 
52. <?xml version="1.0"?> 
53. <?xml-stylesheet type="text/xsl" href="configuration.xsl"?> 
54.  
55. <!-- Put site-specific property overrides in this file. --> 
56.  
57. <configuration> 
58.  
59. <property> 
60. <name>dfs.replication</name> 
61. <value>3</value> 
62. </property> 
63.  
64. </configuration> 
65.  
66. 6 配置 master 与 slave 配置文档 
67. [hadoop@hadoop1 ~]$ cat hadoop/conf/masters 
68. namenode 
69. [hadoop@hadoop1 ~]$ cat hadoop/conf/slaves 
70. datanode1 
71. datanode2 
72.  
73. 7 拷贝hadoop 目录到所有节点(datanode) 
74. [hadoop@hadoop1 ~]$ scp -r hadoop hadoop@datanode1:/home/hadoop/ 
75. [hadoop@hadoop1 ~]$ scp -r hadoop hadoop@datanode2:/home/hadoop/ 
76. [hadoop@hadoop1 ~]$ scp -r hadoop hadoop@datanode3:/home/hadoop 
77.  
78. 8 格式化 HDFS 
79. [hadoop@hadoop1 hadoop]$ bin/hadoop namenode -format 
80. 12/02/02 11:31:15 INFO namenode.NameNode: STARTUP_MSG: 
81. /************************************************************ 
82. STARTUP_MSG: Starting NameNode 
83. STARTUP_MSG:   host = hadoop1.test.com/127.0.0.1 
84. STARTUP_MSG:   args = [-format] 
85. STARTUP_MSG:   version = 0.20.203.0 
86. STARTUP_MSG:   build = http://svn.apache.org/repos/asf/hadoop/common/branches/branch-0.20-security-203 -r 1099333; compiled by 'oom' on Wed May  4 07:57:50 PDT 2011 
87. ************************************************************/ 
88. Re-format filesystem in /tmp/hadoop-hadoop/dfs/name ? (Y or N)  Y  //这里输入Y 
89. 12/02/02 11:31:17 INFO util.GSet: VM type       = 64-bit 
90. 12/02/02 11:31:17 INFO util.GSet: 2% max memory = 19.33375 MB 
91. 12/02/02 11:31:17 INFO util.GSet: capacity      = 2^21 = 2097152 entries 
92. 12/02/02 11:31:17 INFO util.GSet: recommended=2097152, actual=2097152 
93. 12/02/02 11:31:17 INFO namenode.FSNamesystem: fsOwner=hadoop 
94. 12/02/02 11:31:18 INFO namenode.FSNamesystem: supergroupsupergroup=supergroup 
95. 12/02/02 11:31:18 INFO namenode.FSNamesystem: isPermissionEnabled=true 
96. 12/02/02 11:31:18 INFO namenode.FSNamesystem: dfs.block.invalidate.limit=100 
97. 12/02/02 11:31:18 INFO namenode.FSNamesystem: isAccessTokenEnabled=false accessKeyUpdateInterval=0 min(s), accessTokenLifetime=0 min(s) 
98. 12/02/02 11:31:18 INFO namenode.NameNode: Caching file names occuring more than 10 times 
99. 12/02/02 11:31:18 INFO common.Storage: Image file of size 112 saved in 0 seconds. 
100. 12/02/02 11:31:18 INFO common.Storage: Storage directory /tmp/hadoop-hadoop/dfs/name has been successfully formatted. 
101. 12/02/02 11:31:18 INFO namenode.NameNode: SHUTDOWN_MSG: 
102. /************************************************************ 
103. SHUTDOWN_MSG: Shutting down NameNode at hadoop1.test.com/127.0.0.1 
104. ************************************************************/ 
105. [hadoop@hadoop1 hadoop]$ 
106.  
107. 9 启动hadoop 守护进程 
108. [hadoop@hadoop1 hadoop]$ bin/start-all.sh 
109. starting namenode, logging to /home/hadoop/hadoop/bin/../logs/hadoop-hadoop-namenode-hadoop1.test.com.out 
110. datanode1: starting datanode, logging to /home/hadoop/hadoop/bin/../logs/hadoop-hadoop-datanode-hadoop2.test.com.out 
111. datanode2: starting datanode, logging to /home/hadoop/hadoop/bin/../logs/hadoop-hadoop-datanode-hadoop3.test.com.out 
112. datanode3: starting datanode, logging to /home/hadoop/hadoop/bin/../logs/hadoop-hadoop-datanode-hadoop4.test.com.out 
113. starting jobtracker, logging to /home/hadoop/hadoop/bin/../logs/hadoop-hadoop-jobtracker-hadoop1.test.com.out 
114. datanode1: starting tasktracker, logging to /home/hadoop/hadoop/bin/../logs/hadoop-hadoop-tasktracker-hadoop2.test.com.out 
115. datanode2: starting tasktracker, logging to /home/hadoop/hadoop/bin/../logs/hadoop-hadoop-tasktracker-hadoop3.test.com.out 
116. datanode3: starting tasktracker, logging to /home/hadoop/hadoop/bin/../logs/hadoop-hadoop-tasktracker-hadoop4.test.com.out 
117.  
118. 10 验证 
119. //namenode 
120. [hadoop@hadoop1 logs]$ jps 
121. 2883 JobTracker 
122. 3002 Jps 
123. 2769 NameNode 
124.  
125. //datanode 
126. [hadoop@hadoop2 ~]$ jps 
127. 2743 TaskTracker 
128. 2670 DataNode 
129. 2857 Jps 
130.  
131. [hadoop@hadoop3 ~]$ jps 
132. 2742 TaskTracker 
133. 2856 Jps 
134. 2669 DataNode 
135.  
136. [hadoop@hadoop4 ~]$ jps 
137. 2742 TaskTracker 
138. 2852 Jps 
139. 2659 DataNode 
140.  
141. Hadoop 监控web页面 
142. http://192.168.57.75:50070/dfshealth.jsp 

五 简单验证HDFS

1. hadoop 的文件命令格式如下: 
2. hadoop fs -cmd <args> 
3. //建立目录 
4. [hadoop@hadoop1 hadoop]$ bin/hadoop fs -mkdir /test-hadoop 
5. //査看目录 
6. [hadoop@hadoop1 hadoop]$ bin/hadoop fs -ls / 
7. Found 2 items 
8. drwxr-xr-x   - hadoop supergroup          0 2012-02-02 13:32 /test-hadoop 
9. drwxr-xr-x   - hadoop supergroup          0 2012-02-02 11:32 /tmp 
10. //査看目录包括子目录 
11. [hadoop@hadoop1 hadoop]$ bin/hadoop fs -lsr / 
12. drwxr-xr-x   - hadoop supergroup          0 2012-02-02 13:32 /test-hadoop 
13. drwxr-xr-x   - hadoop supergroup          0 2012-02-02 11:32 /tmp 
14. drwxr-xr-x   - hadoop supergroup          0 2012-02-02 11:32 /tmp/hadoop-hadoop 
15. drwxr-xr-x   - hadoop supergroup          0 2012-02-02 11:32 /tmp/hadoop-hadoop/mapred 
16. drwx------   - hadoop supergroup          0 2012-02-02 11:32 /tmp/hadoop-hadoop/mapred/system 
17. -rw-------   2 hadoop supergroup          4 2012-02-02 11:32 /tmp/hadoop-hadoop/mapred/system/jobtracker.info 
18. //添加文件 
19. [hadoop@hadoop1 hadoop]$ bin/hadoop fs -put /home/hadoop/hadoop-0.20.203.0rc1.tar.gz /test-hadoop 
20. [hadoop@hadoop1 hadoop]$ bin/hadoop fs -lsr / 
21. drwxr-xr-x   - hadoop supergroup          0 2012-02-02 13:34 /test-hadoop 
22. -rw-r--r--   2 hadoop supergroup   60569605 2012-02-02 13:34 /test-hadoop/hadoop-0.20.203.0rc1.tar.gz 
23. drwxr-xr-x   - hadoop supergroup          0 2012-02-02 11:32 /tmp 
24. drwxr-xr-x   - hadoop supergroup          0 2012-02-02 11:32 /tmp/hadoop-hadoop 
25. drwxr-xr-x   - hadoop supergroup          0 2012-02-02 11:32 /tmp/hadoop-hadoop/mapred 
26. drwx------   - hadoop supergroup          0 2012-02-02 11:32 /tmp/hadoop-hadoop/mapred/system 
27. -rw-------   2 hadoop supergroup          4 2012-02-02 11:32 /tmp/hadoop-hadoop/mapred/system/jobtracker.info 
28. //获取文件 
29. [hadoop@hadoop1 hadoop]$ bin/hadoop fs -get /test-hadoop/hadoop-0.20.203.0rc1.tar.gz /tmp/ 
30. [hadoop@hadoop1 hadoop]$ ls /tmp/*.tar.gz 
31. /tmp/1.tar.gz  /tmp/hadoop-0.20.203.0rc1.tar.gz 
32. //删除文件 
33. [hadoop@hadoop1 hadoop]$ bin/hadoop fs -rm /test-hadoop/hadoop-0.20.203.0rc1.tar.gz 
34. Deleted hdfs://namenode:9000/test-hadoop/hadoop-0.20.203.0rc1.tar.gz 
35. [hadoop@hadoop1 hadoop]$ bin/hadoop fs -lsr / 
36. drwxr-xr-x   - hadoop supergroup          0 2012-02-02 13:57 /test-hadoop 
37. drwxr-xr-x   - hadoop supergroup          0 2012-02-02 11:32 /tmp 
38. drwxr-xr-x   - hadoop supergroup          0 2012-02-02 11:32 /tmp/hadoop-hadoop 
39. drwxr-xr-x   - hadoop supergroup          0 2012-02-02 11:32 /tmp/hadoop-hadoop/mapred 
40. drwx------   - hadoop supergroup          0 2012-02-02 11:32 /tmp/hadoop-hadoop/mapred/system 
41. -rw-------   2 hadoop supergroup          4 2012-02-02 11:32 /tmp/hadoop-hadoop/mapred/system/jobtracker.info 
42. drwxr-xr-x   - hadoop supergroup          0 2012-02-02 13:36 /user 
43. -rw-r--r--   2 hadoop supergroup        321 2012-02-02 13:36 /user/hadoop 
44. //删除目录 
45. [hadoop@hadoop1 hadoop]$ bin/hadoop fs -rmr /test-hadoop 
46. Deleted hdfs://namenode:9000/test-hadoop 
47. [hadoop@hadoop1 hadoop]$ bin/hadoop fs -lsr / 
48. drwxr-xr-x   - hadoop supergroup          0 2012-02-02 11:32 /tmp 
49. drwxr-xr-x   - hadoop supergroup          0 2012-02-02 11:32 /tmp/hadoop-hadoop 
50. drwxr-xr-x   - hadoop supergroup          0 2012-02-02 11:32 /tmp/hadoop-hadoop/mapred 
51. drwx------   - hadoop supergroup          0 2012-02-02 11:32 /tmp/hadoop-hadoop/mapred/system 
52. -rw-------   2 hadoop supergroup          4 2012-02-02 11:32 /tmp/hadoop-hadoop/mapred/system/jobtracker.info 
53. drwxr-xr-x   - hadoop supergroup          0 2012-02-02 13:36 /user 
54. -rw-r--r--   2 hadoop supergroup        321 2012-02-02 13:36 /user/hadoop 
55.  
56. //hadoop fs 帮助（部分） 
57. [hadoop@hadoop1 hadoop]$ bin/hadoop fs -help 
58. hadoop fs is the command to execute fs commands. The full syntax is: 
59.  
60. hadoop fs [-fs <local | file system URI>] [-conf <configuration file>] 
61.     [-D <propertyproperty=value>] [-ls <path>] [-lsr <path>] [-du <path>] 
62.     [-dus <path>] [-mv <src> <dst>] [-cp <src> <dst>] [-rm [-skipTrash] <src>] 
63.     [-rmr [-skipTrash] <src>] [-put <localsrc> ... <dst>] [-copyFromLocal <localsrc> ... <dst>] 
64.     [-moveFromLocal <localsrc> ... <dst>] [-get [-ignoreCrc] [-crc] <src> <localdst> 
65.     [-getmerge <src> <localdst> [addnl]] [-cat <src>] 
66.     [-copyToLocal [-ignoreCrc] [-crc] <src> <localdst>] [-moveToLocal <src> <localdst>] 
67.     [-mkdir <path>] [-report] [-setrep [-R] [-w] <rep> <path/file>] 
68.     [-touchz <path>] [-test -[ezd] <path>] [-stat [format] <path>] 
69.     [-tail [-f] <path>] [-text <path>] 
70.     [-chmod [-R] <MODE[,MODE]... | OCTALMODE> PATH...] 
71.     [-chown [-R] [OWNER][:[GROUP]] PATH...] 
72.     [-chgrp [-R] GROUP PATH...] 
73.     [-count[-q] <path>] 
74.     [-help [cmd]] 

更多Hadoop 相关知识

结束
Hadoop 环境搭建步骤繁琐，需要具备一定的Linux 系统知识，需要注意的是，通过以上步骤搭建的Hadoop 环境只能让你大体了解的hadoop ，如果想将HDFS 用于线上服务，还需对hadoop 配置文档做进一步配置 ，后续文档将继续以博文的形式发布，敬请期待。

本文转自 dongnan 51CTO博客，原文链接：http://blog.51cto.com/dngood/775368