开发者社区> sh_jepson> 正文

【实验】Hadoop2.6.0的伪分布安装

简介: hadoop-2.6.0.tar.gz: http://apache.fayea.com/hadoop/common/hadoop-2.6.0/hadoop-2.6.0.
+关注继续查看
hadoop-2.6.0.tar.gz: http://apache.fayea.com/hadoop/common/hadoop-2.6.0/hadoop-2.6.0.tar.gz
jdk-7u79-linux-x64.gz: http://www.oracle.com/technetwork/java/javase/downloads/jdk7-downloads-1880260.html

1 设置ip地址 

点击(此处)折叠或打开

  1. [root@test1 ~]# vi /etc/sysconfig/network-scripts/ifcfg-eth0
  2. # Intel Corporation 82545EM Gigabit Ethernet Controller (Copper)
  3. DEVICE=eth0
  4. BOOTPROTO=none
  5. ONBOOT=yes
  6. HWADDR=00:0c:29:51:cc:37
  7. TYPE=Ethernet
  8. NETMASK=255.255.255.0
  9. IPADDR=192.168.23.131
  10. GATEWAY=192.168.23.1
  11. USERCTL=no
  12. IPV6INIT=no
  13. PEERDNS=yes
执行命令 service network restart
验证: ifconfig

2 关闭防火墙
执行命令 service iptables stop
验证: service iptables status

3 关闭防火墙的自动运行
执行命令 chkconfig iptables off
验证: chkconfig --list | grep iptables

4 设置主机名
执行命令
(1)hostname hadoop1
(2)vi /etc/sysconfig/network
NETWORKING=yes
NETWORKING_IPV6=yes
HOSTNAME=hadoop1

5 ip与hostname绑定
执行命令 (1)vi /etc/hosts
                        192.168.23.131    hadoop1.localdomain hadoop1


验证: ping hadoop1

6 设置ssh免密码登陆
执行命令
(1)ssh-keygen -t rsa
(2)cp ~/.ssh/id_rsa.pub ~/.ssh/authorized_keys
验证:
[root@test1 ~]# ssh hadoop1
The authenticity of host 'hadoop1 (192.168.23.131)' can't be established.
RSA key fingerprint is e9:9f:f2:ea:f2:aa:47:58:5f:12:ea:3c:50:3f:0d:1b.
Are you sure you want to continue connecting (yes/no)? yes
Warning: Permanently added 'hadoop1,192.168.23.131' (RSA) to the list of known hosts.
Last login: Thu Feb 11 20:54:11 2016 from 192.168.23.1
[root@hadoop1 ~]# ssh hadoop1
Last login: Thu Feb 11 20:57:56 2016 from hadoop1.localdomain

7 安装jdk http://my.oschina.net/gaowm/blog/275184
(1)执行命令       

点击(此处)折叠或打开

  1. [root@hadoop1 java]# cd /usr/share/java
  2. [root@hadoop1 java]# cd
  3. [root@hadoop1 ~]# cd /usr/share/java
  4. [root@hadoop1 java]# cp /tmp/jdk-7u79-linux-x64.gz ./
  5. [root@hadoop1 java]# tar -xzvf jdk-7u79-linux-x64.gz
(2)vi /etc/profile 增加内容如下:
export JAVA_HOME=/usr/share/java/jdk1.7.0_79
export PATH=.:$JAVA_HOME/bin:$PATH
(3)source /etc/profile
验证: java -version

8 安装hadoop
(1)执行命令     

点击(此处)折叠或打开

  1. [root@hadoop1 ~]# cd /usr/local/
  2. [root@hadoop1 local]# cp /tmp/hadoop-2.6.0.tar.gz ./
  3. [root@hadoop1 local]# tar -zxvf hadoop-2.6.0.tar.gz
  4. [root@hadoop1 local]# mv hadoop-2.6.0 hadoop
(2)vi /etc/profile 增加内容如下:
export JAVA_HOME=/usr/share/java/jdk1.7.0_79
export HADOOP_HOME=/usr/local/hadoop
export PATH=.:$HADOOP_HOME/bin:$JAVA_HOME/bin:$PATH
(3)source /etc/profile
(4)修改/usr/local/hadoop/etc/hadoop目录下的配置文件hadoop-env.sh、core-site.xml、hdfs-site.xml、mapred-site.xml

点击(此处)折叠或打开

  1. [root@hadoop1 hadoop]# vi hadoop-env.sh
  2.     export JAVA_HOME=/usr/share/java/jdk1.7.0_79

  3.     [root@hadoop1 hadoop]# vi core-site.xml
  4.     <configuration>
  5.     <property>
  6.         <name>fs.default.name</name>
  7.         <value>hdfs://hadoop1:9000</value>
  8.      </property>
  9.      <property>
  10.         <name>hadoop.tmp.dir</name>
  11.         <value>/usr/local/hadoop/tmp</value>
  12.      </property>

  13.     </configuration>


  14.     [root@hadoop1 hadoop]# vi hdfs-site.xml

  15.     <configuration>
  16.      <property>
  17.         <name>dfs.replication</name>
  18.         <value>1</value>
  19.      </property>
  20.      <property>
  21.         <name>dfs.permissions</name>
  22.         <value>false</value>
  23.      </property>

  24.     </configuration>
  25.     ~

  26.     [root@hadoop1 hadoop]# cp mapred-site.xml.template mapred-site.xml
  27.     [root@hadoop1 hadoop]# vi mapred-site.xml
  28.     <configuration>
  29.     <property>
  30.         <name>mapred.job.tracker</name>
  31.         <value>hadoop1:9001</value>
  32.      </property>

  33.     </configuration>

(5)hadoop namenode -format
(6)start-all.sh

点击(此处)折叠或打开

  1. [root@hadoop1 hadoop]# cd sbin
  2. [root@hadoop1 sbin]# start-all.sh
  3. This script is Deprecated. Instead use start-dfs.sh and start-yarn.sh
  4. 16/02/11 21:40:54 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable
  5. Starting namenodes on [hadoop1]
  6. hadoop1: starting namenode, logging to /usr/local/hadoop/logs/hadoop-root-namenode-hadoop1.out
  7. The authenticity of host 'localhost (127.0.0.1)' can't be established.
  8. RSA key fingerprint is e9:9f:f2:ea:f2:aa:47:58:5f:12:ea:3c:50:3f:0d:1b.
  9. Are you sure you want to continue connecting (yes/no)? yes
  10. localhost: Warning: Permanently added 'localhost' (RSA) to the list of known hosts.
  11. localhost: starting datanode, logging to /usr/local/hadoop/logs/hadoop-root-datanode-hadoop1.out
  12. Starting secondary namenodes [0.0.0.0]
  13. The authenticity of host '0.0.0.0 (0.0.0.0)' can't be established.
  14. RSA key fingerprint is e9:9f:f2:ea:f2:aa:47:58:5f:12:ea:3c:50:3f:0d:1b.
  15. Are you sure you want to continue connecting (yes/no)? yes
  16. 0.0.0.0: Warning: Permanently added '0.0.0.0' (RSA) to the list of known hosts.
  17. 0.0.0.0: starting secondarynamenode, logging to /usr/local/hadoop/logs/hadoop-root-secondarynamenode-hadoop1.out
  18. 16/02/11 21:41:27 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable
  19. starting yarn daemons
  20. starting resourcemanager, logging to /usr/local/hadoop/logs/yarn-root-resourcemanager-hadoop1.out
  21. localhost: starting nodemanager, logging to /usr/local/hadoop/logs/yarn-root-nodemanager-hadoop1.out
  22. [root@hadoop1 sbin]# jps
  23. 7192 SecondaryNameNode
  24. 7432 NodeManager
  25. 7468 Jps
  26. 6913 NameNode
  27. 7333 ResourceManager
  28. 7036 DataNode



验证: (1)执行命令jps 如果看到5个新的java进程,分别是NameNode、SecondaryNameNode、DataNode、ResourceManager、NodeManager
(2)在浏览器查看
hadoop web控制台页面的端口整理:
50070:hdfs文件管理   http://192.168.23.131:50070
8088:ResourceManager http://192.168.23.131:8088
8042:NodeManager     http://192.168.23.131:8042
   
9 启动时没有NameNode的可能原因:
(1)没有格式化
(2)环境变量设置错误
(3)ip与hostname绑定失败

参考:
         http://stark-summer.iteye.com/blog/2184123
         http://www.aboutyun.com/thread-7513-1-1.html

版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。

相关文章
Hadoop伪分布配置与基于Eclipse开发环境搭建
国内私募机构九鼎控股打造APP,来就送 20元现金领取地址:http://jdb.jiudingcapital.com/phone.html内部邀请码:C8E245J (不写邀请码,没有现金送)国内私募机构九鼎控股打造,九鼎投资是在全国股份转让系统挂牌的公众公司,股票代码为430719,为“中国PE第一股”,市值超1000亿元。
839 0
hadoop伪分布式安装部署HIVE
应用场景 当我们按照hadoop伪分布式集群搭建博客搭建了hadoop以后,发现这是一个空的hadoop,只有YARN,MapReduce,HDFS,而这些实际上我们一般不会直接使用,而是需要另外部署Hadoop的其他组件,来辅助使用。
1393 0
阿里云服务器如何登录?阿里云服务器的三种登录方法
购买阿里云ECS云服务器后如何登录?场景不同,阿里云优惠总结大概有三种登录方式: 登录到ECS云服务器控制台 在ECS云服务器控制台用户可以更改密码、更换系.
24957 0
Hadoop2.7.3+Hbase-1.2.6完全分布式安装部署
因为学习,在网上找了很多hbase搭建的文章,感觉这篇很好,点此 搭建好后,jps查看了后台进程,发现在slave上面没有HRegionServer进程 便查看了 slave上关于HRegionServer的日志,发现报错 如下 然后网上查了一下,说是时间不同步的问题,自己使用date命令查看了一...
755 0
阿里云服务器端口号设置
阿里云服务器初级使用者可能面临的问题之一. 使用tomcat或者其他服务器软件设置端口号后,比如 一些不是默认的, mysql的 3306, mssql的1433,有时候打不开网页, 原因是没有在ecs安全组去设置这个端口号. 解决: 点击ecs下网络和安全下的安全组 在弹出的安全组中,如果没有就新建安全组,然后点击配置规则 最后如上图点击添加...或快速创建.   have fun!  将编程看作是一门艺术,而不单单是个技术。
18419 0
阿里云服务器怎么设置密码?怎么停机?怎么重启服务器?
如果在创建实例时没有设置密码,或者密码丢失,您可以在控制台上重新设置实例的登录密码。本文仅描述如何在 ECS 管理控制台上修改实例登录密码。
20132 0
解决伪分布式hadoop部署hive后,无法通过beeline连接
应用场景 当在伪分布式hadoop2.6.0集群中,部署添加了hive2.1.1后,发现输入hive命令,可以进行连接hive,但是用beeline连接连不上。
1960 0
四、伪分布下安装hive1.2
声明:本篇blog并没有配置MySQL,元数据库为derby 如需配置mysql请点击:http://blog.csdn.net/gamer_gyt/article/details/47776369 一、环境 Ubuntu14.
972 0
跟我一起hadoop(1)-hadoop2.6安装与使用
伪分布式 hadoop的三种安装方式: Local (Standalone) Mode Pseudo-Distributed Mode Fully-Distributed Mode 安装之前需要 $ sudo apt-get install ssh      $ sudo apt-get install rsync 详见:http://hadoop.
942 0
+关注
sh_jepson
遇之问题,与之斗争,穷尽方法,提高自己,重新再来。 https://github.com/Hackeruncle
178
文章
0
问答
文章排行榜
最热
最新
相关电子书
更多
JS零基础入门教程(上册)
立即下载
性能优化方法论
立即下载
手把手学习日志服务SLS,云启实验室实战指南
立即下载