hadoop集群环境搭建

hadoop大数据集群环境搭建步骤----安装伪分布式

所需软件: vmware workstation 11.0

         jdk1.7.0_67

        hadoop-2.7.3

        filezilla FTP工具

开始搭建步骤:

1. 先安装一台linux服务器,(此步忽略) 需要的童鞋请到网上搜索安装linux系统

2. 关防火墙

3.  service iptables stop

4. 2.设置IP地址

5. vi /etc/sysconfig/network-scripts/ifcfg-eth0

6. 或者图像化修改！

7. 3.设置network文件hosts映射文件

8. vi /etc/hosts

9. vi /etc/sysconfig/network

10. 4.安装jdk

11. 上传JDK解压

12. 配置环境变量: 

13. vi /etc/profile

14. source /etc/profile

15. 5.安装hadoop

16. 上传 hadoop-2.7.3.tar.gz 

17. 解压

18. 6.配置hadoop:

19. 注意：配置过程可以参考：

20. 离线开发文档：

21. D:\hadoop\tools\hadoop-2.7.3\hadoop-2.7.3\share\doc\hadoop\index.html

22. 在线文档：

23. 配置：

24. core-site.xml：

25. <!--配置hdfs系统的地址和端口-->

26.  <property>

27.         <name>fs.defaultFS</name>

28.         <value>hdfs://Hadoop:9000</value>  端口:8020 

29.   </property>

30. <property>

31.       <name>fs.defaultFS</name>

32.         <value>hdfs://hadoop-yarn.beicai.com:8020</value>

33.   </property>

34.    <property>

35.       <name>hadoop.tmp.dir</name>

36.        <value>/opt/modules/hadoop-2.5.0/data/tmp</value>

37.     </property>

38. hdfs-site.xml：

39. <!--配置数据块的副本数-->

40.   <property>

41.         <name>dfs.replication</name>

42.         <value>1</value>

43.     </property>

44. 
    

45. 先把mapred-site.xml.template 重命名为mapred-site.xml

46. maperd-site.xml：

47. <!--使用yarn管理mapreduce job-->

48.   <property>

49.   <name>mapreduce.framework.name</name>

50.   <value>yarn</value>

51.   </property>

52. 
    

53. yarn-site.xml：

54. <!--nodemanager节点使用mapreduce的shuffle过程-->

55.     <property>

56.         <name>yarn.nodemanager.aux-services</name>

57.         <value>mapreduce_shuffle</value>

58.     </property>

60. hadoop-env.sh：

61. 配置jdk：

62. export JAVA_HOME=/opt/jdk

63. 
    

64. 
    

65. 配置ssh免登陆：

66. (1).cd /root/.ssh/

67. (2).生成rsa秘钥：

68.  ssh-keygen -t rsa   一路回车！！！

69. (3).查看秘钥：

70. ls

71. id_rsa  id_rsa.pub  known_hosts

72. (4).将公钥copy给自己！

73. ssh-copy-id root@Hadoop(ssh-copy-id Hadoop有什么区别?)

74. 然后可以查看目录下：

75. authorized_keys

76. 
    

77. 格式化集群：

78. hdfs namenode -format

79. 格式化查看日志：

80. 17/02/17 16:18:30 INFO common.Storage: Storage directory 

81. /tmp/hadoop-root/dfs/name has been successfully formatted

82. 因为没配置指定的dfs目录(元数据和数据目录:name和data),所以name和data在Linux系统的tmp目录下：

83. 
    

84. 启动集群：

85. 启动hdfs模块：

86. ./start-dfs.sh

87. 
    

88. 看hdfs启动进程：jps

89. 2608 DataNode

90. 2480 NameNode

91. 2771 SecondaryNameNode

92. 
    

93. 启动yarn模块：

94. ./start-yarn.sh

95. 看hdfs启动进程：jps

96. 2958 ResourceManager

97. 3055 NodeManager

98. 
    

99. 上传文件到hdfs：

100. ./hadoop fs -put /file /

101. 
     

102. /tmp/hadoop-root/dfs/目录下多出一个data目录，存放数据块

103. 
     

104. /tmp/hadoop-root/dfs/name目录存放的是元数据！

105. 
     

106. 
     

107. 查看webUI：

108. http://192.168.57.2:50070/

109. 
     

110. 192.168.57.2  是namenode的IP地址

111. 
     

112. 
     

113. 配置hadoop环境变量：

114. export HADOOP_HOME=/opt/hadoop-2.7.1

115. export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

116. 刷新：

117. source /etc/profile

118. 
     

119. 此后就可以在任何路径下使用hadoop下的bin和sbin的脚本！

120. 本文转自   ChinaUnicom110   51CTO博客，原文链接:http://blog.51cto.com/xingyue2011/1899391