CentOS 下 Hadoop+Hbase 安装手册:报错 -问答-阿里云开发者社区-阿里云

开发者社区> kun坤> 正文

CentOS 下 Hadoop+Hbase 安装手册:报错

2020-06-06 14:09:17 229 1

安装前必看

因为Hadoop本身的优势的将 文件的存储 和 任务处理 分布化,Hadoop分布式架构中有如下两种负责不同功能的服务器,master服务器 和 slave服务器。所以,本安装手册将从二者 的 共体到个体的说明。
安装假定

安装时假设要为2台服务 器安装Hadoop架构,那么我们假设:

1、两台服务器名称为master和slave;

2、两台服务器操作系统均为centos5.* 且版本数大于等于 5.4;

3、Master将作为master主服务器使用,slave将作为slave从服务器使用;

4、Master和slave均正常运行 且 正常联网;

5、Master和slave的wget命令均可正常使用;

6、Master和slave空间足够;

7、Master和slave均已获取root权限;

8、Master ip地址为 192.168.229.133;slave的ip地址为 192.168.229.134;
安装&配置

说明:此部分将安装master和slave共同的部分,以下操作请在master和slave上分别进行。

1、设置Hosts 和 Hostname

在Master和slave的/etc/hosts下共同增加:

192.168.229.133 master

192.168.229.134 slave

修改master的hostname文件:

vi /etc/hostname

master

修改slave的hostname文件:

vi /etc/hostname

slave

2、下载安装jdk 1.6, 并配置,命令为

wget  'http://download.oracle.com/otn-pub/java/jdk/6u26-b03/jdk-6u26-linux-i586-rpm.bin'

./jdk-6u26-linux-i586-rpm.bin

[等待jdk正常安装完成,www.oschina.net假设安装后jdk的路径为 /usr/java/jdk1.6.0-26]

ln -s /usr/java/jdk1.6.6-26 /usr/java/jdk

[配置java环境变量]

vi  /etc/profile

[在文件末添加]

export JAVA_HOME=/usr/java/jdk
export CLASSPATH=$CLASSPATH:$JAVA_HOME/lib:$JAVA_HOME/jre/lib
export PATH=$JAVA_HOME/bin:$JAVA_HOME/jre/bin:$PATH:$HOME/bin

[保存退出,使设置生效]

source  /etc/profile

3、安装openssh,命令为:

yum install openssh

[设置ssh无密码连接]

ssh-keygen -t rsa -P '' -f /root/.ssh/id_dsa

cat /root/.ssh/id_dsa.pub >> /root/.ssh/authorized_keys

[将master的id_dsa.pub 传给slave,命名为master_id_dsa ]

[在slave 上执行操作 cat master_id_dsa.pub >> /root/.ssh/authorized_keys ]

4、下载安装 Hadoop,命令为:

wget  'http://labs.renren.com/apache-mirror//hadoop/core/hadoop-0.20.2/hadoop-0.20.2.tar.gz'

tar zxvf hadoop-0.20.2.tar.gz

cp -r  hadoop-0.20.2  /opt/hadoop

[配置hadoop环境变量]

vi  /etc/profile 

[在文件末添加]

export HADOOP_HOME=/opt/hadoop

[配置hadoop]

cd  /opt/hadoop/conf

vi  hadoop-env.sh

[在末尾添加 ]

export JAVA_HOME=/usr/java/jdk

vi core-site.xml

[<configuration>节点下添加]

<property>
 
  <name>hadoop.tmp.dir</name>
 
  <value>/home/hadoop-${user.name}</value>
 
</property>
 
<property>
 
  <name>fs.default.name</name>
 
  <value>hdfs://master:9000</value>
 
</property>

vi mapred-site.xml

[<configuration>节点下添加]

<property>
  <name>mapred.job.tracker</name>
  <value>master:9001</value>
</property>

vi master

[将内容改为以下内容,注意:不是添加是更改]

master

vi slaves

[将内容改为以下内容,注意:不是添加是更改]

slave

5、下载安装Hbase, 命令为:

wget  'http://labs.renren.com/apache-mirror//hbase/hbase-0.90.3/hbase-0.90.3.tar.gz'

tar zxvf hbase-0.90.3.tar.gz

cp -r  hbase-0.90.3  /opt/hbase

[编辑hbase配置文件]

cd /opt/hbase/conf

vi hbase-env.sh

[在文件的末尾添加]

export JAVA_HOME=/usr/java/jdk
 
export HADOOP_CONF_DIR=/opt/hadoop/conf
 
export HBASE_HOME=/opt/hbase
 
export HBASE_LOG_DIR=/var/hadoop/hbase-logs
 
export HBASE_PID_DIR=/var/hadoop/hbase-pids
 
export HBASE_MANAGES_ZK=true
 
export HBASE_CLASSPATH=$HBASE_CLASSPATH:/opt/hadoop/conf

vi hbase-site.xml

[<configuration>节点下添加 ]

<property>
 
    <name>hbase.rootdir</name>
 
    <value>hdfs://master:9000/hbase</value>
 
</property>
 
<property>
 
    <name>hbase.tmp.dir</name>
 
    <value>/home/hbase-${user.name}</value>
 
</property>
 
<property>
 
    <name>hbase.cluster.distributed</name>
 
    <value>true</value>
 
</property>
 
<property>
 
    <name>hbase.cluster.distributed</name>
 
    <value>true</value>
 
</property>
 
<property>
 
      <name>hbase.zookeeper.quorum</name>
 
      <value>slave</value>
 
</property>
 
<property>
 
      <name>hbase.zookeeper.property.dataDir</name>
 
      <value>/home/hbase-data</value>
 
</property>

vi regionservers

替换其中内容 ]

slave

rm /opt/hbase/lib/hadoop-core-0.20-*

cp  /opt/hadoop/hadoop-0.20.2-core.jar  ./

取消 提交回答
全部回答(1)
  • kun坤
    2020-06-06 14:09:24

    -**--*-

    收藏
    ######好东西######

    好东西,以后可能用到,收藏!

    谢谢分享!

    0 0
相关问答

17

回答

【大咖问答】对话PostgreSQL 中国社区发起人之一,阿里云数据库高级专家 德哥

阿里ACE 彭飞 2019-07-10 09:36:10 969627浏览量 回答数 17

162

回答

惊喜翻倍:免费ECS+免费环境配置~!(ECS免费体验6个月活动3月31日结束)

豆妹 2014-10-29 17:52:21 223007浏览量 回答数 162

8

回答

OceanBase 使用动画(持续更新)

mq4096 2019-02-20 17:16:36 333882浏览量 回答数 8

110

回答

OSS存储服务-客户端工具

newegg11 2012-05-17 15:37:18 292299浏览量 回答数 110

18

回答

阿里云开放端口权限

xcxx 2016-07-20 15:03:33 643145浏览量 回答数 18

33

回答

Win Server 2003-2016 加密勒索事件必打补丁合集

妙正灰 2017-05-15 10:44:38 277539浏览量 回答数 33

38

回答

安全组详解,新手必看教程

我的中国 2017-11-30 15:23:46 256876浏览量 回答数 38

294

回答

Linux Bash严重漏洞修复紧急通知(已全部给出最终修复方案)

qilu 2014-09-25 13:26:50 431624浏览量 回答数 294

249

回答

阿里云LNAMP(Linux + Nginx + Apache + MySQL + PHP)环境一键安装脚本

云代维 2014-02-14 15:26:06 302610浏览量 回答数 249

24

回答

【精品问答】python技术1000问(1)

问问小秘 2019-11-15 13:25:00 471432浏览量 回答数 24
+关注
0
文章
13401
问答
推荐问答
相关电子书
更多
文娱运维技术
立即下载
《SaaS模式云原生数据仓库应用场景实践》
立即下载
《看见新力量:二》电子书
立即下载