玩转大数据-如何搭建Hbase集群

本文涉及的产品
云原生网关 MSE Higress,422元/月
服务治理 MSE Sentinel/OpenSergo,Agent数量 不受限
注册配置 MSE Nacos/ZooKeeper,118元/月
简介: 小编的上一篇文章说了如何搭建hadoop集群,我们的目的还是为了去最终搭建一个成功的Hbase集群,不说太多废话,我们直接上教程。本文只给出如何搭建Hbase集群的方法。但是Hbase最重要的一个步骤其实是性能调优,Hbase调优之路很漫长,还请各位慢慢研究重要的事情说三遍...
小编的上一篇文章说了如何搭建hadoop集群,我们的目的还是为了去最终搭建一个成功的Hbase集群,不说太多废话,我们直接上教程。
本文只给出如何搭建Hbase集群的方法。但是Hbase最重要的一个步骤其实是性能调优,Hbase调优之路很漫长,还请各位慢慢研究
重要的事情说三遍:
在此之前确认你的Hadoop集群已经运行起来!
在此之前确认你的Hadoop集群已经运行起来!
在此之前确认你的Hadoop集群已经运行起来!

我们就搭建一套全分布式的Hbase数据库系统(以下步骤和互联网上雷同,但某些情况下网上版本较低,如使用新版本Hbase还请参阅本方法):

对于全分布式的HBase安装,需要通过hbase-site.xml文档来配置本机的HBase特性,由于各个HBase之间通过zookeeper来进行通信,因此需要维护一组zookeeper系统,关于zookeeper的安装使用,参考《hadoop2.6完全分布式安装zookeeper3.4.6
关于HBase的介绍,可以看这里《HBase简介
1、安装Hbase(1)下载hbase版本
下载地址:http://www.apache.org/dyn/closer.cgi/hbase/,在此路径下选择相应的版本下载,本次安装下载hadoop1.1.0.1版本(2)解压hbase-1.1.0.1-bin.tar.gz
hadoop@master:~/opt$ tar zxvf hbase-1.1.0.1-bin.tar.gz

(3)将hbase添加到环境变量中
export HBASE_HOME=/home/hadoop/opt/hbase-1.1.0.1export PATH=$HBASE_HOME/bin:$PATH

(4)修改配置文件
修改hbase-env.sh
export JAVA_HOME=/home/hadoop/opt/jdk1.8.0_65

修改hbase-site.xml
<configuration><property><name>hbase.rootdir</name><value>hdfs://master:9000/hbase</value></property><property><name>hbase.cluster.distributed</name><value>true</value></property><property><name>hbase.zookeeper.quorum</name><value>master,slave1</value></property><property><name>hbase.zookeeper.property.dataDir</name><value>/home/hadoop/opt/zookeeper-3.4.6</value></property></configuration>

修改regionservers,将文件内容设置为:
masterslave12、运行HBase启动hbase时要确保hdfs已经启动,HBase的启动顺序为:HDFS->Zookeeper->HBase,运行命令如下:
hadoop@master:~/opt/hadoop-2.6.0$ bin/hdfs namenode -formathadoop@master:~/opt/hadoop-2.6.0$ sbin/start-dfs.shhadoop@master:~/opt/zookeeper-3.4.6$ ./zkServer.sh starthadoop@master:~/opt/hbase-1.1.0.1$ start-hbase.sh

启动成功后集群会多出如下进程:
hadoop@master:~/opt/hbase-1.1.0.1$ jps

8145 SecondaryNameNode7940 NameNode8550 HRegionServer5719 QuorumPeerMain8600 Jps8424 HMaster运行成功后可以看到QuorumPeerMain进程再看看slave1的进程:
hadoop@slave1:~/opt/zookeeper-3.4.6/bin$ jps

6915 QuorumPeerMain7012 HRegionServer7268 Jps6823 DataNode进入HBase Shell
hadoop@master:~/opt/hbase-1.1.0.1$ ./bin/hbase shell

输入status命令:
hbase(main):001:0> status

出现错误:
2015-05-25 20:26:14,949 ERROR [main] client.ConnectionManager$HConnectionImplementation: Can’t get connection to ZooKeeper: KeeperErrorCode = ConnectionLoss for /hbase设置 conf/hbase-env.sh文件中的HBASE_MANAGES_ZK 属性为 false问题搞定!
hbase(main):001:0> status

2 servers, 0 dead, 1.0000 average load

相关实践学习
lindorm多模间数据无缝流转
展现了Lindorm多模融合能力——用kafka API写入,无缝流转在各引擎内进行数据存储和计算的实验。
云数据库HBase版使用教程
&nbsp; 相关的阿里云产品:云数据库 HBase 版 面向大数据领域的一站式NoSQL服务,100%兼容开源HBase并深度扩展,支持海量数据下的实时存储、高并发吞吐、轻SQL分析、全文检索、时序时空查询等能力,是风控、推荐、广告、物联网、车联网、Feeds流、数据大屏等场景首选数据库,是为淘宝、支付宝、菜鸟等众多阿里核心业务提供关键支撑的数据库。 了解产品详情:&nbsp;https://cn.aliyun.com/product/hbase &nbsp; ------------------------------------------------------------------------- 阿里云数据库体验:数据库上云实战 开发者云会免费提供一台带自建MySQL的源数据库&nbsp;ECS 实例和一台目标数据库&nbsp;RDS实例。跟着指引,您可以一步步实现将ECS自建数据库迁移到目标数据库RDS。 点击下方链接,领取免费ECS&amp;RDS资源,30分钟完成数据库上云实战!https://developer.aliyun.com/adc/scenario/51eefbd1894e42f6bb9acacadd3f9121?spm=a2c6h.13788135.J_3257954370.9.4ba85f24utseFl
目录
相关文章
|
3月前
|
消息中间件 分布式计算 关系型数据库
大数据-140 - ClickHouse 集群 表引擎详解5 - MergeTree CollapsingMergeTree 与其他数据源 HDFS MySQL
大数据-140 - ClickHouse 集群 表引擎详解5 - MergeTree CollapsingMergeTree 与其他数据源 HDFS MySQL
68 0
zdl
|
2月前
|
消息中间件 运维 大数据
大数据实时计算产品的对比测评:实时计算Flink版 VS 自建Flink集群
本文介绍了实时计算Flink版与自建Flink集群的对比,涵盖部署成本、性能表现、易用性和企业级能力等方面。实时计算Flink版作为全托管服务,显著降低了运维成本,提供了强大的集成能力和弹性扩展,特别适合中小型团队和业务波动大的场景。文中还提出了改进建议,并探讨了与其他产品的联动可能性。总结指出,实时计算Flink版在简化运维、降低成本和提升易用性方面表现出色,是大数据实时计算的优选方案。
zdl
174 56
|
21天前
|
存储 负载均衡 监控
揭秘 Elasticsearch 集群架构,解锁大数据处理神器
Elasticsearch 是一个强大的分布式搜索和分析引擎,广泛应用于大数据处理、实时搜索和分析。本文深入探讨了 Elasticsearch 集群的架构和特性,包括高可用性和负载均衡,以及主节点、数据节点、协调节点和 Ingest 节点的角色和功能。
43 0
|
2月前
|
SQL 存储 大数据
单机顶集群的大数据技术来了
大数据时代,分布式数仓如MPP成为热门技术,但其高昂的成本让人望而却步。对于多数任务,数据量并未达到PB级,单体数据库即可胜任。然而,由于SQL语法的局限性和计算任务的复杂性,分布式解决方案显得更为必要。esProc SPL作为一种开源轻量级计算引擎,通过高效的算法和存储机制,实现了单机性能超越集群的效果,为低成本、高效能的数据处理提供了新选择。
|
2月前
|
Prometheus 监控 Cloud Native
在 HBase 集群中,Prometheus 通常监控哪些类型的性能指标?
在 HBase 集群中,Prometheus 监控关注的核心指标包括 Master 和 RegionServer 的进程存在性、RPC 请求数、JVM 内存使用率、磁盘和网络错误、延迟和吞吐量、资源利用率及 JVM 使用信息。通过 Grafana 可视化和告警规则,帮助管理员实时监控集群性能和健康状况。
|
3月前
|
存储 分布式计算 druid
大数据-152 Apache Druid 集群模式 配置启动【下篇】 超详细!(一)
大数据-152 Apache Druid 集群模式 配置启动【下篇】 超详细!(一)
57 1
大数据-152 Apache Druid 集群模式 配置启动【下篇】 超详细!(一)
|
3月前
|
分布式计算 大数据 分布式数据库
大数据-158 Apache Kylin 安装配置详解 集群模式启动(一)
大数据-158 Apache Kylin 安装配置详解 集群模式启动(一)
65 5
|
3月前
|
SQL 分布式计算 NoSQL
大数据-170 Elasticsearch 云服务器三节点集群搭建 测试运行
大数据-170 Elasticsearch 云服务器三节点集群搭建 测试运行
65 4
|
3月前
|
资源调度 大数据 分布式数据库
大数据-158 Apache Kylin 安装配置详解 集群模式启动(二)
大数据-158 Apache Kylin 安装配置详解 集群模式启动(二)
59 2
|
3月前
|
消息中间件 分布式计算 druid
大数据-152 Apache Druid 集群模式 配置启动【下篇】 超详细!(二)
大数据-152 Apache Druid 集群模式 配置启动【下篇】 超详细!(二)
51 2