Hbase分布式安装部署过程

本文涉及的产品
注册配置 MSE Nacos/ZooKeeper,118元/月
服务治理 MSE Sentinel/OpenSergo,Agent数量 不受限
云原生网关 MSE Higress,422元/月
简介: 系统 Red hat linux 6.4 Hadoop版本 1.2.1 Hbase版本 0.94.16 Hbase的完全分布式安装概述: 1. 配置hosts,确保涉及的主机名均可解析为ip 2.

系统

Red hat linux 6.4

Hadoop版本

1.2.1

Hbase版本

0.94.16

Hbase的完全分布式安装概述:

1. 配置hosts,确保涉及的主机名均可解析为ip

2. 编辑hbase-env.xml

3. 编辑hbase-site.xml

4. 编辑regionservers文件,文件默认内容是localhost

/home/grid/hbase/conf/regionservers,将所有的slavenode添加到这个文件

5. Hbase复制到其他节点

6. 启动Hbase

7. 验证

备注:我选择的版本不存在坚容性问题,所以无需覆盖core jar包

选择HadoopHbase版本不同,可能会有不兼容的情况

例如Hadoop 0.20

解决版本、jar包冲突:

1)删除hbase/lib/hadoop-core-0.20-append-r1056497.jar(备份到其它路径,以备万一);

2)拷贝hadoop/hadoop-core-0.20.203.0.jar(注意是hadoop根目录下)hadoop/lib/commons-collections-3.2.1.jarhadoop/lib/commons-configuration-1.6.jarhbase/lib

Setp 1 下载解压hbase


Step 2 修改配置文件

第一个文件:/home/zhang/hbase/hbase-0.94.16/conf/hbase-env.sh



Step 3 设置环境变量


Step 4 配置/hbase/hbase-0.94.16/conf/hbase-site.xml

模板文件路径:~/hbase/hbase-0.94.16/src/main/resources/hbase-default.xml

拷贝需要的内容

添加修改到hbase-site.xml文件,内容如下:


hbase.rootdir :存放数据目录

hbase.rootdir

hdfs://node01:9000/hbase

打开分布模式:

hbase.cluster.distributed

true

设置临时文件目录:

hbase.tmp.dir

/home/criss/hbase/tmp

添加Zookeeper的节点主机名:

hbase.zookeeper.quorum

node01,node02,node03

hbase.zookeeper.property.dataDir

/home/criss/hbase/tmp/zookeeper

Property from ZooKeeper's config zoo.cfg.

The directory where the snapshot is stored.

Step 5 编辑/home/grid/hbase/conf/regionservers,将所有的slavenode添加到这个文件


我在hbase-site.xml 没有配置hmater,所以这里吧3台机都添加进去了

Step6将Hbase拷贝到其他节点机并对其他节点机配置环境变量

scp -r hbase/ node03:/home/criss/hbase

scp -r hbase/ node02:/home/criss/hbase

Step 7 启动Hbase


Step 8验证HMaster

Node01主机:


验证Node03和Node02主机:


Step 9 测试Hbase shell

Create ‘test’,’data’

Disable ‘test’

Dorp ‘test’


可以查看下tmp文件夹下生成的内容:



本文转自ICT时空dbasdk的博客,原文链接: Hbase分布式安装部署过程,如需转载请自行联系原博主。

相关实践学习
云数据库HBase版使用教程
  相关的阿里云产品:云数据库 HBase 版 面向大数据领域的一站式NoSQL服务,100%兼容开源HBase并深度扩展,支持海量数据下的实时存储、高并发吞吐、轻SQL分析、全文检索、时序时空查询等能力,是风控、推荐、广告、物联网、车联网、Feeds流、数据大屏等场景首选数据库,是为淘宝、支付宝、菜鸟等众多阿里核心业务提供关键支撑的数据库。 了解产品详情: https://cn.aliyun.com/product/hbase   ------------------------------------------------------------------------- 阿里云数据库体验:数据库上云实战 开发者云会免费提供一台带自建MySQL的源数据库 ECS 实例和一台目标数据库 RDS实例。跟着指引,您可以一步步实现将ECS自建数据库迁移到目标数据库RDS。 点击下方链接,领取免费ECS&RDS资源,30分钟完成数据库上云实战!https://developer.aliyun.com/adc/scenario/51eefbd1894e42f6bb9acacadd3f9121?spm=a2c6h.13788135.J_3257954370.9.4ba85f24utseFl
相关文章
|
5天前
|
SQL 存储 分布式数据库
分布式存储数据恢复—hbase和hive数据库数据恢复案例
分布式存储数据恢复环境: 16台某品牌R730xd服务器节点,每台服务器节点上有数台虚拟机。 虚拟机上部署Hbase和Hive数据库。 分布式存储故障: 数据库底层文件被误删除,数据库不能使用。要求恢复hbase和hive数据库。
46 12
|
20天前
|
SQL 数据可视化 网络安全
YashanDB分布式可视化部署
本文介绍YashanDB的分布式部署流程,涵盖服务端安装、数据库基本信息与服务器配置、节点信息设置、建库参数调整、环境变量配置及安装结果检查等步骤。通过可视化Web界面操作,详细说明了各环节配置方法和注意事项,确保用户顺利完成数据库集群的搭建与初始化设置。适用于需要分布式数据库部署的场景,提供全面的操作指导。
YashanDB分布式可视化部署
|
1月前
|
运维 Kubernetes Java
Koupleless 助力「人力家」实现分布式研发集中式部署,又快又省!
本文由仁励家网络科技(杭州)有限公司架构师赵云兴、葛志刚撰写,探讨了公司在优化HR SaaS解决方案时遇到的系统资源浪费和运维成本高的问题。通过引入Koupleless框架,成功将模块体积从500M缩减至5M以下,部署时间从6分钟缩短至3分钟,并大幅节省服务器资源。文章详细介绍了Koupleless的部署方案及优化措施,感谢Koupleless团队的专业支持,使人力家实现了多应用合并部署,降低了运维成本。
Koupleless 助力「人力家」实现分布式研发集中式部署,又快又省!
|
1月前
|
运维 Kubernetes Java
Koupleless 助力「人力家」实现分布式研发集中式部署,又快又省!
通过引入Koupleless框架,解决了多应用部署中资源浪费和运维成本高的问题,实现了模块瘦身、快速部署及流量控制优化,大幅降低了服务器资源占用和发布耗时,提升了系统稳定性和运维效率。最终,人力家成功实现了多应用的轻量集中部署,显著减少了运维成本。
 Koupleless 助力「人力家」实现分布式研发集中式部署,又快又省!
|
2月前
|
人工智能 Kubernetes 异构计算
大道至简-基于ACK的Deepseek满血版分布式推理部署实战
大道至简-基于ACK的Deepseek满血版分布式推理部署实战
119 5
|
2月前
|
Java 关系型数据库 MySQL
新一代 Cron-Job分布式任务调度平台 部署指南
简单易用、超低延迟,支持用户权限管理、多语言客户端和多租户接入的分布式任务调度平台。 支持任何Cron表达式的任务调度,支持常用的分片和随机策略;支持失败丢弃、失败重试的失败策略;支持动态任务参数。
112 20
|
2月前
|
人工智能 Kubernetes 异构计算
大道至简-基于ACK的Deepseek满血版分布式推理部署实战
本教程演示如何在ACK中多机分布式部署DeepSeek R1满血版。
|
4月前
|
存储 SpringCloudAlibaba Java
【SpringCloud Alibaba系列】一文全面解析Zookeeper安装、常用命令、JavaAPI操作、Watch事件监听、分布式锁、集群搭建、核心理论
一文全面解析Zookeeper安装、常用命令、JavaAPI操作、Watch事件监听、分布式锁、集群搭建、核心理论。
【SpringCloud Alibaba系列】一文全面解析Zookeeper安装、常用命令、JavaAPI操作、Watch事件监听、分布式锁、集群搭建、核心理论
|
6月前
|
SQL 分布式计算 Hadoop
Hadoop-34 HBase 安装部署 单节点配置 hbase-env hbase-site 超详细图文 附带配置文件
Hadoop-34 HBase 安装部署 单节点配置 hbase-env hbase-site 超详细图文 附带配置文件
226 2
|
7月前
|
存储
cephFS高可用分布式文件系统部署指南
关于如何部署高可用的cephFS分布式文件系统,包括集群的搭建、验证高可用性以及实现两主一从架构的详细指南。
335 9