搭建HBase的本地模式、伪分布式、全分布式和HA模式

简介: 搭建HBase的本地模式、伪分布式、全分布式和HA模式

一、安装HBase:


我这里选择的是hbase-1.3.1-bin.tar.gz版本解压HBase:


tar -zxvf hbase-1.3.1-bin.tar.gz -C ~/training


配置HBase的环境变量:


export HBASE_HOME=/root/training/hbase-1.3.1
export PATH=$HBASE_HOME/bin:$PATH


生效环境变量:


source ~/.bash_profile


二、HBase的安装模式:


1、本地模式:


特点:只有HMaster ,没有Hregionserver


修改两个配置文件:


1)hbase-env.sh


export JAVA_HOME=/root/training/jdk1.8.0_144


2)hbase-site.xml


<configuration>
<!--配置HBase在本地磁盘中数据存放路径-->
<property>
<name>hbase.rootdir</name>
<value>file:///root/training/hbase-1.3.1/data</value>
</property>
</configuration>


2、伪分布式模式:


特点:具备HBase的所有功能


修改两个配置文件:


1)hbase-env.sh


添加java环境变量:


export JAVA_HOME=/root/training/jdk1.8.0_144


配置HBase管理Zookeeper的方式:


HBASE_MANAGES_ZK=true


注:默认使用HBase自带的一个zookeeper


2)hbase-site.xml


<property>
<name>hbase.rootdir</name>
<value>hdfs://bigdata11:9000/hbase</value>
</property>
<!--配置HBase在HDFS中数据备份的个数-->
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
<!--配置HBase集群分布式模式-->
<property>
<name>hbase.cluster.distributed</name>
<value>true</value>
</property>
<!--配置HBase的zookeeper地址-->
<property>
<name>hbase.zookeeper.quorum</name>
<value>localhost</value>
<!--配置HBase的zookeeper数据存放路径-->
<property>
<name>hbase.zookeeper.property.dataDir</name>
<value>/home/zk</value>
</property>


3、全分布式模式:


特点:至少三台机器以上 原因:主从架构


修改三个配置文件:


1)hbase-env.sh


添加java环境变量:


export JAVA_HOME=/root/training/jdk1.8.0_144


配置HBase管理Zookeeper的方式:


HBASE_MANAGES_ZK=true


注:默认使用HBase自带的一个zookeeper


2)hbase-site.xml


<!--配置HBase在HDFS中数据存放路径-->
<property>
<name>hbase.rootdir</name>
<value>hdfs://bigdata12:9000/hbase</value>
</property>
<!--配置HBase在HDFS中数据备份的个数-->
<property>
<name>dfs.replication</name>
<value>2</value>
</property>
<!--配置HBase集群分布式模式-->
<property>
<name>hbase.cluster.distributed</name>
<value>true</value>
</property>
<!--配置HBase的zookeeper地址-->
<property>
<name>hbase.zookeeper.quorum</name>
<value>bigdata12</value>
</property>
<!--配置HBase主节点最大时钟偏离-->
<property>
<name>hbase.master.maxclockskew</name>
<value>180000</value>
</property>


3)slaves:配置从节点的地址


bigdata13
bigdata14


4、HA模式:


特点:添加一个新的HMaster


HA的思想:多几个主节点


在HBase的全分布式模式安装完成以后,再在某一个从节点上:bigdata13/bigdata14手动启动一个Hmaster


hbase-daemon.sh start master


三、操作HBase:


hbase shell:Hbase的命令行工具:一种客户端


创建HBase表:

create 'students','info','grade'


添加数据:


put 'students','stu001','info:name','Tom'           
put 'students','stu001','info:age','18' 
put 'students','stu001','info:gender','M'
put 'students','stu002','info:name','Mary'
put 'students','stu002','info:boy friend','Peter'


查看stu001的所有信息:


get 'students','stu001'


相关文章
|
9月前
|
SQL 存储 分布式数据库
分布式存储数据恢复—hbase和hive数据库数据恢复案例
分布式存储数据恢复环境: 16台某品牌R730xd服务器节点,每台服务器节点上有数台虚拟机。 虚拟机上部署Hbase和Hive数据库。 分布式存储故障: 数据库底层文件被误删除,数据库不能使用。要求恢复hbase和hive数据库。
325 12
|
存储 消息中间件 Apache
比较微服务中的分布式事务模式
比较微服务中的分布式事务模式
319 2
|
11月前
|
SQL 数据建模 BI
【YashanDB 知识库】用 yasldr 配置 Bulkload 模式作单线程迁移 300G 的业务数据到分布式数据库,迁移任务频繁出错
问题描述 详细版本:YashanDB Server Enterprise Edition Release 23.2.4.100 x86_64 6db1237 影响范围: 离线数据迁移场景,影响业务数据入库。 外场将部分 NewCIS 的报表业务放到分布式数据库,验证 SQL 性能水平。 操作系统环境配置: 125G 内存 32C CPU 2T 的 HDD 磁盘 问题出现的步骤/操作: 1、部署崖山分布式数据库 1mm 1cn 3dn 单线启动 yasldr 数据迁移任务,设置 32 线程的 bulk load 模式 2、观察 yasldr.log 是否出现如下错
|
监控
Saga模式在分布式系统中保证事务的隔离性
Saga模式在分布式系统中保证事务的隔离性
277 4
|
存储 缓存 NoSQL
大数据-38 Redis 高并发下的分布式缓存 Redis简介 缓存场景 读写模式 旁路模式 穿透模式 缓存模式 基本概念等
大数据-38 Redis 高并发下的分布式缓存 Redis简介 缓存场景 读写模式 旁路模式 穿透模式 缓存模式 基本概念等
431 4
Saga模式在分布式系统中如何保证事务的隔离性
Saga模式在分布式系统中如何保证事务的隔离性
333 7
|
存储 分布式计算 算法
探索Hadoop的三种运行模式:单机模式、伪分布式模式和完全分布式模式
在配置Hadoop集群之前,了解这三种模式的特点、适用场景和配置差异是非常重要的。这有助于用户根据个人需求和资源情况,选择最适合自己的Hadoop运行模式。在最初的学习和开发阶段,单机模式和伪分布式模式能为用户提供便利和成本效益。进而,当用户要处理大规模数据集时,完全分布式模式将是理想的选择。
966 2
|
开发者 云计算 数据库
从桌面跃升至云端的华丽转身:深入解析如何运用WinForms与Azure的强大组合,解锁传统应用向现代化分布式系统演变的秘密,实现性能与安全性的双重飞跃——你不可不知的开发新模式
【8月更文挑战第31天】在数字化转型浪潮中,传统桌面应用面临新挑战。本文探讨如何融合Windows Forms(WinForms)与Microsoft Azure,助力应用向云端转型。通过Azure的虚拟机、容器及无服务器计算,可轻松解决性能瓶颈,满足全球用户需求。文中还提供了连接Azure数据库的示例代码,并介绍了集成Azure Storage和Functions的方法。尽管存在安全性、网络延迟及成本等问题,但合理设计架构可有效应对,帮助开发者构建高效可靠的现代应用。
221 0
|
存储 监控 Shell
HBase2.1分布式部署
HBase2.1分布式部署