大数据组件-Hbase高可用架构部署

简介: 大数据组件-Hbase高可用架构部署

HBase的配置文件

修改HBase对应的配置文件。

1)hbase-env.sh修改内容:

export JAVA_HOME=/opt/module/jdk1.8.0_144
 export HBASE_MANAGES_ZK=false
 JDK1.8需要注释掉已下内容
 #export HBASE_MASTER_OPTS...
 #export HBASE_REGIONSERVER_OPTS...

image.gif

2)hbase-site.xml修改内容:

<configuration> 
 <property>          
 <name>hbase.rootdir</name>          
 <value>hdfs://hadoop102:9000/hbase</value>      
 </property> 
 <property>          
 <name>hbase.cluster.distributed</name>      
 <value>true</value> </property>  
 <!-- 0.98后的新变动,之前版本没有.port,默认端口为60000 -->   
 <property>  
 <name>hbase.master.port</name>      
 <value>16000</value>    
 </property> 
 <property>          
 <name>hbase.zookeeper.quorum</name>  
  <value>hadoop102:2181,hadoop103:2181,hadoop104:2181</value>  
 </property> 
 <property>          
 <name>hbase.zookeeper.property.dataDir</name>      
 <value>/opt/module/zookeeper-3.4.10/zkData</value>  
 </property>
 </configuration>

image.gif

3)regionservers:

4)软连接hadoop配置文件到hbase:

[hadoop@hadoop102 module]$ ln -s /opt/module/hadoop-2.7.2/etc/hadoop/core-site.xml 
 /opt/module/hbase/conf/core-site.xml
 [hadoop@hadoop102 module]$ ln -s /opt/module/hadoop-2.7.2/etc/hadoop/hdfs-site.xml 
 /opt/module/hbase/conf/hdfs-site.xml

image.gif

HBase远程发送到其他集群

[hadoop@hadoop102 module]$ scp -r hbase hadoop@master:$PWD

image.gif

HBase服务的启动

1.启动方式1

[hadoop@hadoop102 hbase]$ bin/hbase-daemon.sh start master
 [hadoop@hadoop102 hbase]$ bin/hbase-daemon.sh start regionserver
 提示:如果集群之间的节点时间不同步,会导致regionserver无法启动,抛出ClockOutOfSyncException异常。
 修复提示:

image.gif

a、同步时间服务

b、属性:hbase.master.maxclockskew设置更大的值

<property>    
     <name>hbase.master.maxclockskew</name>    
     <value>180000</value>    
     <description>Time difference of regionserver from master</description> 
 </property>

image.gif

2.启动方式2

[hadoop@hadoop102 hbase]$ bin/start-hbase.sh
 对应的停止服务:
 [hadoop@hadoop102 hbase]$ bin/stop-hbase.sh

image.gif

查看HBase页面

启动成功后,可以通过“host:port”的方式来访问HBase管理页面,例如:

http://hadoop102:16010

相关文章
|
分布式计算 资源调度 Hadoop
大数据-80 Spark 简要概述 系统架构 部署模式 与Hadoop MapReduce对比
大数据-80 Spark 简要概述 系统架构 部署模式 与Hadoop MapReduce对比
688 2
|
Java 大数据 分布式数据库
Spring Boot 与 HBase 的完美融合:探索高效大数据应用开发的新途径
【8月更文挑战第29天】Spring Boot是一款广受好评的微服务框架,以其便捷的开发体验著称。HBase则是一个高性能的大数据分布式数据库系统。结合两者,可极大简化HBase应用开发。本文将对比传统方式与Spring Boot集成HBase的区别,展示如何在Spring Boot中优雅实现HBase功能,并提供示例代码。从依赖管理、连接配置、表操作到数据访问,Spring Boot均能显著减少工作量,提升代码可读性和可维护性,使开发者更专注业务逻辑。
1168 1
|
存储 缓存 分布式数据库
【赵渝强老师】HBase的体系架构
HBase是一种基于BigTable思想的列式存储NoSQL数据库,适合数据分析与处理。其主从架构包含HBase HMaster、Region Server和ZooKeeper。HMaster负责Region分配及表管理;Region Server执行数据读写操作,并包含WAL预写日志、Block Cache读缓存和MemStore写缓存;ZooKeeper维护集群状态并协调分布式系统工作。通过视频讲解与架构图示,详细解析各组件功能与协作机制。
1035 11
|
存储 分布式计算 分布式数据库
深入理解Apache HBase:构建大数据时代的基石
在大数据时代,数据的存储和管理成为了企业面临的一大挑战。随着数据量的急剧增长和数据结构的多样化,传统的关系型数据库(如RDBMS)逐渐显现出局限性。
2103 12
|
存储 NoSQL 大数据
大数据-51 Redis 高可用方案CAP-AP 主从复制 一主一从 全量和增量同步 哨兵模式 docker-compose测试
大数据-51 Redis 高可用方案CAP-AP 主从复制 一主一从 全量和增量同步 哨兵模式 docker-compose测试
329 3
|
存储 分布式计算 Hadoop
Hadoop-33 HBase 初识简介 项目简介 整体架构 HMaster HRegionServer Region
Hadoop-33 HBase 初识简介 项目简介 整体架构 HMaster HRegionServer Region
349 2
|
SQL 分布式计算 大数据
大数据-168 Elasticsearch 单机云服务器部署运行 详细流程
大数据-168 Elasticsearch 单机云服务器部署运行 详细流程
717 2
|
存储 监控 分布式数据库
百亿级存储架构: ElasticSearch+HBase 海量存储架构与实现
本文介绍了百亿级数据存储架构的设计与实现,重点探讨了ElasticSearch和HBase的结合使用。通过ElasticSearch实现快速检索,HBase实现海量数据存储,解决了大规模数据的高效存储与查询问题。文章详细讲解了数据统一接入、元数据管理、数据一致性及平台监控等关键模块的设计思路和技术细节,帮助读者理解和掌握构建高性能数据存储系统的方法。
百亿级存储架构: ElasticSearch+HBase 海量存储架构与实现
|
存储 缓存 监控
【赵渝强老师】HBase的体系架构
本文介绍了HBase的体系架构,包括HMaster、RegionServer和ZooKeeper的主要功能。HMaster负责Region的分配和管理,RegionServer处理数据的读写操作,ZooKeeper维护集群状态并协调分布式系统的运行。文章还详细解释了Region、WAL预写日志、Block Cache读缓存和MemStore写缓存的作用。
1040 0
|
资源调度 分布式计算 大数据
大数据-111 Flink 安装部署 YARN部署模式 FlinkYARN模式申请资源、提交任务
大数据-111 Flink 安装部署 YARN部署模式 FlinkYARN模式申请资源、提交任务
716 0