开发者社区> wsc449> 正文
阿里云
为了无法计算的价值
打开APP
阿里云APP内打开

Hadoop完全分布式集群安装Hbase

简介: 应用场景 当我们按照hadoop完全分布式集群搭建博客搭建了hadoop以后,发现这是一个空的hadoop,只有YARN,MapReduce,HDFS,而这些实际上我们一般不会直接使用,而是需要另外部署Hadoop的其他组件,来辅助使用。
+关注继续查看

应用场景

当我们按照hadoop完全分布式集群搭建博客搭建了hadoop以后,发现这是一个空的hadoop,只有YARN,MapReduce,HDFS,而这些实际上我们一般不会直接使用,而是需要另外部署Hadoop的其他组件,来辅助使用。比如我们需要数据库,那么hadoop提供了分布式非关系型数据库hbase,用来存储半结构化,非结构化的一些数据,供我们查询使用等,下面我们来介绍一下,如何实现在完全分布式hadoop集群之上安装hbase。

操作步骤

1. 下载hbase1.2.6压缩包

hbase1.2.6下载地址
下载后上传到管理节点的opt目录下

2. 解压缩hbase和修改目录名

 # cd /opt
 # tar -xzvf hbase-1.2.6-bin.tar.gz
 # mv hbase-1.2.6 hbase1.2.6
 # chmod 777 -R /opt/hbase1.2.6

3. 配置环境变量

 # vim /etc/profile

export JAVA_HOME=/opt/jdk1.8
export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
export PATH=$PATH:$JAVA_HOME/bin

export HADOOP_HOME=/opt/hadoop2.6.0
export PATH=$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$PATH

export HIVE_HOME=/opt/hive2.1.1
export HIVE_CONF_DIR=$HIVE_HOME/conf
export CLASSPATH=.:$HIVE_HOME/lib:$CLASSPATH
export PATH=$PATH:$HIVE_HOME/bin

export SQOOP_HOME=/opt/sqoop1.4.6
export PATH=$PATH:$SQOOP_HOME/bin

export ZOOKEEPER_HOME=/opt/zookeeper3.4.10
export PATH=$PATH:$ZOOKEEPER_HOME/bin

export HBASE_HOME=/opt/hbase1.2.6
export PATH=$PATH:$HBASE_HOME/bin           #添加最后两行,hbase的相关环境变量属性
 # source /etc/profile              #使环境变量配置生效

4. 修改hbase-env.sh配置文件

 # vim /opt/hbase1.2.6/conf/hbase-env.sh

export JAVA_HOME=/opt/jdk1.8  
export HADOOP_HOME=/opt/hadoop2.6.0 
export HBASE_HOME=/opt/hbase1.2.6 
export HBASE_CLASSPATH=/opt/hadoop2.6.0/etc/hadoop  
export HBASE_PID_DIR=/opt/hbase1.2.6/pids  
export HBASE_MANAGES_ZK=false

这里写图片描述

5. 修改hbase-site.xml配置文件

# 创建目录
 # mkdir  /opt/hbase1.2.6/tmp  
 # mkdir  /opt/hbase1.2.6/pids 
 # cd /opt/hbase1.2.6/conf/
 # vim hbase-site.xml

<configuration>
  <property>
    <name>hbase.rootdir</name>
    <value>hdfs://hadoop0:9000/hbase</value>
    <description>The directory shared byregion servers.</description>
  </property>
  <property>
    <name>hbase.zookeeper.property.clientPort</name>
    <value>2181</value>
    <description>Property from ZooKeeper'sconfig zoo.cfg. The port at which the clients will connect.
    </description>
  </property>
  <property>
    <name>zookeeper.session.timeout</name>
    <value>120000</value>
  </property>
  <property>
    <name>hbase.zookeeper.quorum</name>
    <value>hadoop0,hadoop1,hadoop2</value>   
  </property>
  <property>
    <name>hbase.tmp.dir</name>
    <value>/opt/hbase1.2.6/tmp</value>
  </property>
  <property>
    <name>hbase.cluster.distributed</name>
   <value>true</value>
  </property>
</configuration>

6. 修改regionservers配置文件

 # cd /opt/hbase1.2.6/conf
 # vim regionservers        # 添加集群的三个主机名

hadoop0
hadoop1
hadoop2

7. 拷贝管理节点的hbase到其他两个节点

 # cd /opt/ 
 # scp -r hbase1.2.6 root@hadoop1:/opt/ 
 # scp -r hbase1.2.6 root@hadoop2:/opt/  

# 修改环境变量添加【在其他两个节点】

export HBASE_HOME=/opt/hbase1.2.6
export PATH=$PATH:$HBASE_HOME/bin

8. 启动和测试

启动

首先先确保,hadoop和zookeeper正常运行,然后只需要在管理节点启动Hbase即可。

 # cd /opt//hbase1.2.6/bin     
 # ./start-hbase.sh

这里写图片描述

浏览器访问:http://192.168.210.70:16010/master-status

这里写图片描述

测试

在主节点命令行,输入hbase shell,启动hbase后台

这里写图片描述

版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。

相关文章
hadoop搭建之HBase安装
操作本文前,确定准备工作已经做好,jdk,Hosts 映射关系,集群之间 SSH 无密码登陆(CentOS 默认安装了 ssh,如果没有你需要先安装 ssh),hadoop等基本工作已经做好; 将hadoop、hbase、zookeeper 的安装包都解压到/opt/文件下
3118 0
Hadoop完全分布式集群安装Spark
应用场景 当我们安装好Hadoop分布式集群后,默认底层计算是采用MapReduce,速度比较慢,适用于跑批场景,而Spark可以和hadoop完美的融合,Spark提供了更强劲的计算能力,它基于内存计算,速度快,效率高。
1688 0
hadoop: hbase1.0.1.1 伪分布安装
环境:hadoop 2.6.0 + hbase 1.0.1.1 + mac OS X yosemite 10.10.3 安装步骤: 一、下载解压 到官网 http://hbase.apache.org 下载合适的版本(hbase与hadoop的版本要匹配,否则可能运行不起来),解压到某个目录即可,本文中的解压目录为 /Users/jimmy/app/hbase-1.
812 0
hadoop伪分布式安装
版权声明:本文为博主原创文章,未经博主允许不得转载。 https://blog.csdn.net/qq1010885678/article/details/43447733 首...
704 0
【Hadoop】 分布式Hadoop集群安装配置
第一次安装hadoop 集群,记录其安装过程! 1 前期准备,配置所有的机器的/etc/hosts 文件 # cat /etc/hosts # Do not remove the following line, or various programs # that require network functionality will fail.
822 0
+关注
wsc449
python,c#,scala
232
文章
4
问答
文章排行榜
最热
最新
相关电子书
更多
低代码开发师(初级)实战教程
立即下载
阿里巴巴DevOps 最佳实践手册
立即下载
冬季实战营第三期:MySQL数据库进阶实战
立即下载