Hbase伪分布式模式部署-阿里云开发者社区

开发者社区> 看山灬> 正文

Hbase伪分布式模式部署

简介: HBase是一个分布式、面向列的开源数据库,是Apache Hadoop项目的子项目,适用于非结构化数据存储的数据库。在Hadoop家族中,很多产品为HBase提供服务
+关注继续查看

HBase是一个分布式、面向列的开源数据库,是Apache Hadoop项目的子项目,适用于非结构化数据存储的数据库。在Hadoop家族中,很多产品为HBase提供服务:


Hadoop HDFS为HBase提供了高可靠性的底层存储支持;

Hadoop MapReduce为HBase提供了高性能的计算能力;

Zookeeper为HBase提供了稳定服务和failover机制;

Pig和Hive为HBase提供了高层语言支持,使得在HBase上进行数据统计处理变的非常简单;

Sqoop为HBase提供了方便的RDBMS数据导入功能,使得传统数据库数据向HBase中迁移变的非常方便。

1 准备

 在HBase单机模式部署中,已经描述了HBase在单独的一台电脑上独立完成其所提供的数据库功能的操作。与Hadoop类似,HBase也可以在伪分布式模式下进行部署。在伪分布式模式中,HBase运行在单个节点上,每个HBase守护进程(包括HMaster、HRegionServer和HQuorumPeer)运行在单独的进程中。为了体现分布式,可以使用HDFS替代本地文件系统。所以,需要首先启动HDFS。


2 配置

 HBase的配置文件集中在$HBASE_HOOME/conf/hbase-site.xml中(比Hadoop分散的配置文件好多了╮(╯▽╰)╭)。


2.1 指定运行模式

首先,指定HBase的运行模式是分布式模式,保证每个JVM来运行一个HBase守护进程。


<property>
    <name>hbase.cluster.distributed</name>
    <value>true</value>
</property>

2.2 指定文件系统

指定文件系统使用HDFS上的hbase目录,而且保证这个目录在HDFS上没有,HBase会自己创建,否则会报错。


<property>
    <name>hbase.rootdir</name>
    <value>hdfs://192.168.1.134:9000/hbase</value>
</property>

如果不修改hbase.rootdir,数据会写在/tmp目录中或HBase单机模式部署中配置的本地文件系统中。


3 启动HBase

依然是用$HBASE_HOME/bin/start-hbase.sh脚本启动。如果一切正常,通过jps命令,可以查询到HMaster、HRegionServer和HQuorumPeer:


3265 HMaster
3841 Jps
2801 SecondaryNameNode
3174 HQuorumPeer
2556 NameNode
2652 DataNode
3389 HRegionServer

因为这里的Hadoop也是使用的伪分布式模式部署的,所以除了HBase的3个进程外,还有Hadoop的dfs的3个进程。


4 检查HDFS中HBase的目录

如果工作正常,HBase会在HDFS上成功创建需要的目录。


$ hdfs dfs -ls /hbase
Found 6 items
drwxr-xr-x   - lxh supergroup          0 2014-10-15 01:20 /hbase/.tmp
drwxr-xr-x   - lxh supergroup          0 2014-10-15 01:20 /hbase/WALs
drwxr-xr-x   - lxh supergroup          0 2014-10-15 01:12 /hbase/data
-rw-r--r--   1 lxh supergroup         42 2014-10-15 01:12 /hbase/hbase.id
-rw-r--r--   1 lxh supergroup          7 2014-10-15 01:12 /hbase/hbase.version
drwxr-xr-x   - lxh supergroup          0 2014-10-15 01:24 /hbase/oldWALs

5 通过shell测试

可以通过使用HBase shell创建表等操作,验证伪分布式的HBase。具体操作可以查看这里,此处不再赘述。


6 启动/停止一个HMaster备份服务

 HMaster服务控制整个HBase集群。可以启动n个HMaster服务的备份,形成n+1个HMaster服务。使用$HBASE_HOME/bin/local-master-backup.sh可以启动HMaster备份服务。执行该脚本时,需要提供一个参数,用于指定HMaster所使用的两个端口6000、60010。给定的数字会加到这三个默认端口上,比如给定2,启动的HMaster备份服务使用的端口就变成60002和60012。下面的命令启动3个备份服务,使用的端口分别为:60002/60012、60003/600013、60005/60015。


注:这里需要注意一下,官方文档中对于HMaster的端口描述和实际操作不一样。官方文档写的是三个端口默认是16010、16020和16030,其他的根据数字相加不变。也就是根据官方文档描述,通过下面的命令启动的3个HMaster使用的端口是16012/16022/16032、16013/16023/16033和16015/16025/16035。

$ local-master-backup.sh start 2 3 5

通过jps查看进程:

5793 HMaster
4053 SecondaryNameNode
6374 Jps
4584 HRegionServer
3864 DataNode
3770 NameNode
6026 HMaster
6123 HMaster
5932 HMaster
4366 HQuorumPeer

会发现,多了3个HMaster。


通过命令查看HMaster服务监听的端口号:


$ lsof -Pnl +M -i6|grep -E `echo \`ps -ef|grep HMaster|grep -v grep|awk '{print $2}'\`|awk '{for(i=1;i<NF;i++)printf $i"|";print $NF}'`|grep -v ESTABLISHED

得到结果为:


java    5793      500  291u  IPv6  39951      0t0  TCP 127.0.0.1:60000 (LISTEN)
java    5793      500  335u  IPv6  39980      0t0  TCP *:60010 (LISTEN)
java    5932      500  291u  IPv6  40495      0t0  TCP 127.0.0.1:60002 (LISTEN)
java    5932      500  335u  IPv6  41186      0t0  TCP *:60012 (LISTEN)
java    6026      500  291u  IPv6  40875      0t0  TCP 127.0.0.1:60003 (LISTEN)
java    6026      500  335u  IPv6  41249      0t0  TCP *:60013 (LISTEN)
java    6123      500  291u  IPv6  41194      0t0  TCP 127.0.0.1:60005 (LISTEN)
java    6123      500  335u  IPv6  41262      0t0  TCP *:60015 (LISTEN)

使用脚本$HBASE_HOME/bin/local-master-backup.sh可以停止已启动的备份服务:

$ local-master-backup.sh stop 2 3 5

7 启动/停止更多的RegionServer服务

 HRegionServer管理HMater指定的文件存储上的数据。通常,集群中每个节点运行一个HRegionServer。通过$HBASE_HOME/bin/local-regionservers.sh可以启动多个HRegionServer服务。每个HRegionServer服务使用两个端口60020和60030。


注:与上面提到的HMaster一样,这里的HRegionServer默认端口也与官方文档不一致。官方文档描述默认端口是16020和16030。


$ local-regionservers.sh start 2 3 4 5

通过jps查看:


5793 HMaster
6881 Jps
6805 HRegionServer
4053 SecondaryNameNode
6709 HRegionServer
4584 HRegionServer
3864 DataNode
3770 NameNode
6620 HRegionServer
4366 HQuorumPeer
6527 HRegionServer

通过命令查看HMaster服务监听的端口号:


$ lsof -Pnl +M -i6|grep -E `echo \`ps -ef|grep HRegionServer|grep -v grep|awk '{print $2}'\`|awk '{for(i=1;i<NF;i++)printf $i"|";print $NF}'`|grep -v ESTABLISHED

得到结果为:


java    4584      500  291u  IPv6  30969      0t0  TCP 127.0.0.1:60020 (LISTEN)
java    4584      500  329u  IPv6  30993      0t0  TCP *:60030 (LISTEN)
java    6527      500  291u  IPv6  43515      0t0  TCP 127.0.0.1:60202 (LISTEN)
java    6527      500  329u  IPv6  43613      0t0  TCP *:60302 (LISTEN)
java    6620      500  291u  IPv6  44259      0t0  TCP 127.0.0.1:60203 (LISTEN)
java    6620      500  329u  IPv6  44602      0t0  TCP *:60303 (LISTEN)
java    6709      500  291u  IPv6  44578      0t0  TCP 127.0.0.1:60204 (LISTEN)
java    6709      500  329u  IPv6  44621      0t0  TCP *:60304 (LISTEN)
java    6805      500  291u  IPv6  44607      0t0  TCP 127.0.0.1:60205 (LISTEN)
java    6805      500  329u  IPv6  44635      0t0  TCP *:60305 (LISTEN)

多了4给HRegionServer服务。

$ local-regionservers.sh stop 3

8 停止HBase

直接使用脚本stop-hbase.sh停止。

$ ./bin/stop-hbase.sh 
stopping hbase....................



版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。

相关文章
阿里云服务器怎么设置密码?怎么停机?怎么重启服务器?
如果在创建实例时没有设置密码,或者密码丢失,您可以在控制台上重新设置实例的登录密码。本文仅描述如何在 ECS 管理控制台上修改实例登录密码。
10053 0
使用SSH远程登录阿里云ECS服务器
远程连接服务器以及配置环境
2506 0
windows server 2008阿里云ECS服务器安全设置
最近我们Sinesafe安全公司在为客户使用阿里云ecs服务器做安全的过程中,发现服务器基础安全性都没有做。为了为站长们提供更加有效的安全基础解决方案,我们Sinesafe将对阿里云服务器win2008 系统进行基础安全部署实战过程! 比较重要的几部分 1.
9156 0
阿里云服务器如何登录?阿里云服务器的三种登录方法
购买阿里云ECS云服务器后如何登录?场景不同,阿里云优惠总结大概有三种登录方式: 登录到ECS云服务器控制台 在ECS云服务器控制台用户可以更改密码、更换系.
13868 0
阿里云ECS云服务器初始化设置教程方法
阿里云ECS云服务器初始化是指将云服务器系统恢复到最初状态的过程,阿里云的服务器初始化是通过更换系统盘来实现的,是免费的,阿里云百科网分享服务器初始化教程: 服务器初始化教程方法 本文的服务器初始化是指将ECS云服务器系统恢复到最初状态,服务器中的数据也会被清空,所以初始化之前一定要先备份好。
7359 0
阿里云服务器ECS登录用户名是什么?系统不同默认账号也不同
阿里云服务器Windows系统默认用户名administrator,Linux镜像服务器用户名root
4497 0
阿里云服务器如何登录?阿里云服务器的三种登录方法
购买阿里云ECS云服务器后如何登录?场景不同,云吞铺子总结大概有三种登录方式: 登录到ECS云服务器控制台 在ECS云服务器控制台用户可以更改密码、更换系统盘、创建快照、配置安全组等操作如何登录ECS云服务器控制台? 1、先登录到阿里云ECS服务器控制台 2、点击顶部的“控制台” 3、通过左侧栏,切换到“云服务器ECS”即可,如下图所示 通过ECS控制台的远程连接来登录到云服务器 阿里云ECS云服务器自带远程连接功能,使用该功能可以登录到云服务器,简单且方便,如下图:点击“远程连接”,第一次连接会自动生成6位数字密码,输入密码即可登录到云服务器上。
22377 0
+关注
看山灬
专注后端开发、架构相关知识分享,个人网站 https://howardliu.cn/。
136
文章
0
问答
文章排行榜
最热
最新
相关电子书
更多
《2021云上架构与运维峰会演讲合集》
立即下载
《零基础CSS入门教程》
立即下载
《零基础HTML入门教程》
立即下载