搭建HBase的本地模式、伪分布式、全分布式和HA模式

本文涉及的产品
注册配置 MSE Nacos/ZooKeeper,118元/月
服务治理 MSE Sentinel/OpenSergo,Agent数量 不受限
云原生网关 MSE Higress,422元/月
简介: 一、安装HBase:我这里选择的是hbase-1.3.1-bin.tar.gz版本解压HBase:tar -zxvf hbase-1.3.1-bin.tar.gz -C ~/training配置HBase的环境变量:export HBASE_HOME=/root/training/hbase-1.

一、安装HBase:

我这里选择的是hbase-1.3.1-bin.tar.gz版本解压HBase:

tar -zxvf hbase-1.3.1-bin.tar.gz -C ~/training

配置HBase的环境变量:

export HBASE_HOME=/root/training/hbase-1.3.1
​
export PATH=$HBASE_HOME/bin:$PATH

生效环境变量:

source ~/.bash_profile

  

二、HBase的安装模式:

1、本地模式:

特点:只有HMaster ,没有Hregionserver

修改两个配置文件:

1)hbase-env.sh
export JAVA_HOME=/root/training/jdk1.8.0_144 
2)hbase-site.xml
<configuration>
<!--配置HBase在本地磁盘中数据存放路径-->
<property>
<name>hbase.rootdir</name>
<value>file:///root/training/hbase-1.3.1/data</value>
</property>
</configuration>

2、伪分布式模式:

特点:具备HBase的所有功能

修改两个配置文件:

1)hbase-env.sh

添加java环境变量:

export JAVA_HOME=/root/training/jdk1.8.0_144

配置HBase管理Zookeeper的方式:

HBASE_MANAGES_ZK=true   

注:默认使用HBase自带的一个zookeeper

2)hbase-site.xml
<property>
<name>hbase.rootdir</name>
<value>hdfs://bigdata11:9000/hbase</value>
</property>
​
<!--配置HBase在HDFS中数据备份的个数-->
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
​
<!--配置HBase集群分布式模式-->
<property>
<name>hbase.cluster.distributed</name>
<value>true</value>
</property>
​
<!--配置HBase的zookeeper地址-->
<property>
<name>hbase.zookeeper.quorum</name>
<value>localhost</value>
​
<!--配置HBase的zookeeper数据存放路径-->
<property>
<name>hbase.zookeeper.property.dataDir</name>
<value>/home/zk</value>
</property> 

3、全分布式模式:

特点:至少三台机器以上 原因:主从架构

修改三个配置文件:

1)hbase-env.sh

添加java环境变量:

export JAVA_HOME=/root/training/jdk1.8.0_144  

配置HBase管理Zookeeper的方式:

HBASE_MANAGES_ZK=true 

注:默认使用HBase自带的一个zookeeper

2)hbase-site.xml
<!--配置HBase在HDFS中数据存放路径-->
<property>
<name>hbase.rootdir</name>
<value>hdfs://bigdata12:9000/hbase</value>
</property>
​
<!--配置HBase在HDFS中数据备份的个数-->
<property>
<name>dfs.replication</name>
<value>2</value>
</property>
​
<!--配置HBase集群分布式模式-->
<property>
<name>hbase.cluster.distributed</name>
<value>true</value>
</property>
​
<!--配置HBase的zookeeper地址-->
<property>
<name>hbase.zookeeper.quorum</name>
<value>bigdata12</value>
</property>
​
<!--配置HBase主节点最大时钟偏离-->
<property>
<name>hbase.master.maxclockskew</name>
<value>180000</value>
</property>
3)slaves:配置从节点的地址
bigdata13
bigdata14 

4、HA模式:

特点:添加一个新的HMaster

HA的思想:多几个主节点

在HBase的全分布式模式安装完成以后,再在某一个从节点上:bigdata13/bigdata14手动启动一个Hmaster

hbase-daemon.sh start master 

三、操作HBase:

hbase shell:Hbase的命令行工具:一种客户端

创建HBase表:

create 'students','info','grade'

添加数据:

put 'students','stu001','info:name','Tom'           
put 'students','stu001','info:age','18' 
put 'students','stu001','info:gender','M'
put 'students','stu002','info:name','Mary'
put 'students','stu002','info:boy friend','Peter'

查看stu001的所有信息:

get 'students','stu001'  

版权声明:本文为博主原创文章,未经博主允许不得转载。http://www.cnblogs.com/lijinze-tsinghua/

相关实践学习
lindorm多模间数据无缝流转
展现了Lindorm多模融合能力——用kafka API写入,无缝流转在各引擎内进行数据存储和计算的实验。
云数据库HBase版使用教程
&nbsp; 相关的阿里云产品:云数据库 HBase 版 面向大数据领域的一站式NoSQL服务,100%兼容开源HBase并深度扩展,支持海量数据下的实时存储、高并发吞吐、轻SQL分析、全文检索、时序时空查询等能力,是风控、推荐、广告、物联网、车联网、Feeds流、数据大屏等场景首选数据库,是为淘宝、支付宝、菜鸟等众多阿里核心业务提供关键支撑的数据库。 了解产品详情:&nbsp;https://cn.aliyun.com/product/hbase &nbsp; ------------------------------------------------------------------------- 阿里云数据库体验:数据库上云实战 开发者云会免费提供一台带自建MySQL的源数据库&nbsp;ECS 实例和一台目标数据库&nbsp;RDS实例。跟着指引,您可以一步步实现将ECS自建数据库迁移到目标数据库RDS。 点击下方链接,领取免费ECS&amp;RDS资源,30分钟完成数据库上云实战!https://developer.aliyun.com/adc/scenario/51eefbd1894e42f6bb9acacadd3f9121?spm=a2c6h.13788135.J_3257954370.9.4ba85f24utseFl
目录
相关文章
|
3月前
|
存储 消息中间件 Apache
比较微服务中的分布式事务模式
比较微服务中的分布式事务模式
71 2
|
21天前
|
监控
Saga模式在分布式系统中保证事务的隔离性
Saga模式在分布式系统中保证事务的隔离性
|
1月前
|
存储 缓存 NoSQL
大数据-38 Redis 高并发下的分布式缓存 Redis简介 缓存场景 读写模式 旁路模式 穿透模式 缓存模式 基本概念等
大数据-38 Redis 高并发下的分布式缓存 Redis简介 缓存场景 读写模式 旁路模式 穿透模式 缓存模式 基本概念等
63 4
|
2月前
Saga模式在分布式系统中如何保证事务的隔离性
Saga模式在分布式系统中如何保证事务的隔离性
|
3月前
|
存储 分布式计算 算法
探索Hadoop的三种运行模式:单机模式、伪分布式模式和完全分布式模式
在配置Hadoop集群之前,了解这三种模式的特点、适用场景和配置差异是非常重要的。这有助于用户根据个人需求和资源情况,选择最适合自己的Hadoop运行模式。在最初的学习和开发阶段,单机模式和伪分布式模式能为用户提供便利和成本效益。进而,当用户要处理大规模数据集时,完全分布式模式将是理想的选择。
191 2
|
3月前
|
开发者 云计算 数据库
从桌面跃升至云端的华丽转身:深入解析如何运用WinForms与Azure的强大组合,解锁传统应用向现代化分布式系统演变的秘密,实现性能与安全性的双重飞跃——你不可不知的开发新模式
【8月更文挑战第31天】在数字化转型浪潮中,传统桌面应用面临新挑战。本文探讨如何融合Windows Forms(WinForms)与Microsoft Azure,助力应用向云端转型。通过Azure的虚拟机、容器及无服务器计算,可轻松解决性能瓶颈,满足全球用户需求。文中还提供了连接Azure数据库的示例代码,并介绍了集成Azure Storage和Functions的方法。尽管存在安全性、网络延迟及成本等问题,但合理设计架构可有效应对,帮助开发者构建高效可靠的现代应用。
32 0
|
3月前
|
存储 监控 Shell
HBase2.1分布式部署
HBase2.1分布式部署
|
4月前
分布式篇问题之集群(Cluster)模式主控节点的高可用性问题如何解决
分布式篇问题之集群(Cluster)模式主控节点的高可用性问题如何解决
|
1月前
|
NoSQL Java Redis
太惨痛: Redis 分布式锁 5个大坑,又大又深, 如何才能 避开 ?
Redis分布式锁在高并发场景下是重要的技术手段,但其实现过程中常遇到五大深坑:**原子性问题**、**连接耗尽问题**、**锁过期问题**、**锁失效问题**以及**锁分段问题**。这些问题不仅影响系统的稳定性和性能,还可能导致数据不一致。尼恩在实际项目中总结了这些坑,并提供了详细的解决方案,包括使用Lua脚本保证原子性、设置合理的锁过期时间和使用看门狗机制、以及通过锁分段提升性能。这些经验和技巧对面试和实际开发都有很大帮助,值得深入学习和实践。
太惨痛: Redis 分布式锁 5个大坑,又大又深, 如何才能 避开 ?
|
3月前
|
NoSQL Redis
基于Redis的高可用分布式锁——RedLock
这篇文章介绍了基于Redis的高可用分布式锁RedLock的概念、工作流程、获取和释放锁的方法,以及RedLock相比单机锁在高可用性上的优势,同时指出了其在某些特殊场景下的不足,并提到了ZooKeeper作为另一种实现分布式锁的方案。
113 2
基于Redis的高可用分布式锁——RedLock