Hbase集群搭建

本文涉及的产品
注册配置 MSE Nacos/ZooKeeper,118元/月
服务治理 MSE Sentinel/OpenSergo,Agent数量 不受限
云原生网关 MSE Higress,422元/月
简介: Hbase集群搭建

官网:Apache HBase – Apache HBase Downloads

一、引言

   适用人群:了解Hbasede程序猿.

   文章目的:给部署Hbase的开发者,提供参考。

二、简介

   HBase – Hadoop Database,是一个高可靠性、高性能、面向列、可伸缩的分布式存储系统,利用HBase技术可在廉价PC Server上搭建起大规模结构化存储集群。

三、下载&解压安装包

   集群使用三台服务器分别为A、B、C,一般单台把公用配置完成后,传输到其他机器,可简化步骤。下面在A服务器上面上操作。

   进入官网或相关网址下载Hbase安装包,http://www-us.apache.org/dist/hbase/1.2.4/,下载后解压缩到A服务器文件夹/opt/tpapp/。

四、hbase配置&验证

  1. 创建用户,因为Hbase依赖于Hadoop以及Zookeeper所以在安装好Hadoop环境后,使用hadoop用户即可(参见hadoop集群安装文档),以及下面第2条的hosts文件配置也可以是一样的。
  2. 首先需要在hosts文件中配置部署服务器对应域名(如果Hbase部署的机器和Hadoop相同可以不用配置,直接使用hadoop配置的域名即可),以A、B、C三台机器为例;在hosts文件中添加以下内容:

10.100.40.12    master

10.100.40.13    node1

10.100.40.14    node2

  1. 修改hbase-env.sh文件,修改其中的java 地址:

# export JAVA_HOME=/usr/java/jdk1.6.0/

export JAVA_HOME=/opt/tpapp/jdk1.7.0_25


  1. 修改hbase-site.xml文件,在文件中添加以下信息(因为hbase依赖于hadoop和zookeeper,配置中的rootdir和zookeeper配置需要对应已经装好的服务器位置):
<configuration>
    <property>
        <name>hbase.rootdir</name>
        <value>hdfs://master:9000/hbase</value>
    </property>
    <property>
          <name>hbase.zookeeper.property.clientPort</name>
                <value>9527</value>
                  </property>
    <property>
        <name>hbase.zoopkeeper.property.dataDir</name>
        <value>/opt/tpapp/zookeeper</value>
    </property>
    <property>
        <name>hbase.cluster.distributed</name>
        <value>true</value>
    </property>
    <property>
        <name>hbase.zookeeper.quorum</name>
        <value>master,node1,node2</value>
    </property>
</configuration>
  1. 修改regionservers的内容为(regionserver 指的是是文件存储服务器):

node1

node2

  1. 配置备份master(实现高可用,防止在master宕机情况下,node1能够及时接管master的工作,维持集群的运作),在/opt/tpapp/hbase/conf 文件夹下面创建backup-master文件并写入以下内容:

node1

  1. 传输配置好的文件夹/opt/tpapp/hbase 至B、C服务器。

scp -r /opt/tpapp/hbase hadoop@node1:/opt/tpapp/

scp -r /opt/tpapp/hbase hadoop@node1:/opt/tpapp/


  1. 修改文件夹所属关系

chown -R hadoop:hadoop /opt/tpapp/hbase

  1. 配置各服务器的Hbase环境变量并使之生效,进入/etc/profile添加以下内容:

export HBASE_HOME=/opt/tpapp/habse

export PATH=$PATH:$HBASE_HOME/bin


修改完成后使用source /etc/profile 使其生效


五、启动并验证Hbase集群

  1. 启动Hbase前,需要先启动Hadoop集群、Zookeeper集群,最后启动Hbase集群(请使用之前设置的Hadoop账户,只需要在Hbase集群的master节点启动即可启动其他机器),命令:

启动:   /opt/tpapp/hbase/bin/start-hbase.sh

停止:   /opt/tpapp/hbase/bin/stop-hbase.sh


  1. 验证启动成功,在终端输入jps观察如果有红框内的内容即启动成功:
    master

    node1、node2
  2. 验证集群功能可通过创建表,插入数据,查数据验证,语法请自行百度。


相关实践学习
lindorm多模间数据无缝流转
展现了Lindorm多模融合能力——用kafka API写入,无缝流转在各引擎内进行数据存储和计算的实验。
云数据库HBase版使用教程
&nbsp; 相关的阿里云产品:云数据库 HBase 版 面向大数据领域的一站式NoSQL服务,100%兼容开源HBase并深度扩展,支持海量数据下的实时存储、高并发吞吐、轻SQL分析、全文检索、时序时空查询等能力,是风控、推荐、广告、物联网、车联网、Feeds流、数据大屏等场景首选数据库,是为淘宝、支付宝、菜鸟等众多阿里核心业务提供关键支撑的数据库。 了解产品详情:&nbsp;https://cn.aliyun.com/product/hbase &nbsp; ------------------------------------------------------------------------- 阿里云数据库体验:数据库上云实战 开发者云会免费提供一台带自建MySQL的源数据库&nbsp;ECS 实例和一台目标数据库&nbsp;RDS实例。跟着指引,您可以一步步实现将ECS自建数据库迁移到目标数据库RDS。 点击下方链接,领取免费ECS&amp;RDS资源,30分钟完成数据库上云实战!https://developer.aliyun.com/adc/scenario/51eefbd1894e42f6bb9acacadd3f9121?spm=a2c6h.13788135.J_3257954370.9.4ba85f24utseFl
相关文章
|
存储 Oracle 关系型数据库
HBase集群环境搭建与测试(上)
HBase集群环境搭建与测试
254 0
|
SQL 分布式计算 Hadoop
Hadoop集群hbase的安装
Hadoop集群hbase的安装
209 0
|
大数据 分布式数据库 Docker
基于Docker搭建大数据集群(七)Hbase部署
基于Docker搭建大数据集群(七)Hbase部署
|
6天前
|
Prometheus 监控 Cloud Native
在 HBase 集群中,Prometheus 通常监控哪些类型的性能指标?
在 HBase 集群中,Prometheus 监控关注的核心指标包括 Master 和 RegionServer 的进程存在性、RPC 请求数、JVM 内存使用率、磁盘和网络错误、延迟和吞吐量、资源利用率及 JVM 使用信息。通过 Grafana 可视化和告警规则,帮助管理员实时监控集群性能和健康状况。
|
1月前
|
分布式计算 Hadoop Shell
Hadoop-35 HBase 集群配置和启动 3节点云服务器 集群效果测试 Shell测试
Hadoop-35 HBase 集群配置和启动 3节点云服务器 集群效果测试 Shell测试
69 4
|
1月前
|
SQL 分布式计算 Hadoop
Hadoop-37 HBase集群 JavaAPI 操作3台云服务器 POM 实现增删改查调用操作 列族信息 扫描全表
Hadoop-37 HBase集群 JavaAPI 操作3台云服务器 POM 实现增删改查调用操作 列族信息 扫描全表
32 3
|
1月前
|
分布式计算 Hadoop Shell
Hadoop-36 HBase 3节点云服务器集群 HBase Shell 增删改查 全程多图详细 列族 row key value filter
Hadoop-36 HBase 3节点云服务器集群 HBase Shell 增删改查 全程多图详细 列族 row key value filter
57 3
|
3月前
|
Prometheus 监控 Cloud Native
在 HBase 集群中,Prometheus 通常监控哪些类型的性能指标?
在 HBase 集群中,Prometheus 通常监控哪些类型的性能指标?
119 2
|
3月前
|
Prometheus 监控 Cloud Native
在 HBase 集群中,Prometheus 通常监控哪些类型的性能指标?
在 HBase 集群中,Prometheus 通常监控哪些类型的性能指标?
|
6月前
|
分布式计算 监控 Hadoop
Ganglia监控Hadoop与HBase集群
Ganglia监控Hadoop与HBase集群