Hbase分布式安装部署过程

本文涉及的产品
任务调度 XXL-JOB 版免费试用,400 元额度,开发版规格
服务治理 MSE Sentinel/OpenSergo,Agent数量 不受限
注册配置 MSE Nacos/ZooKeeper,118元/月
简介: 系统 Red hat linux 6.4 Hadoop版本 1.2.1 Hbase版本 0.94.16 Hbase的完全分布式安装概述: 1. 配置hosts,确保涉及的主机名均可解析为ip 2.

系统

Red hat linux 6.4

Hadoop版本

1.2.1

Hbase版本

0.94.16

Hbase的完全分布式安装概述:

1. 配置hosts,确保涉及的主机名均可解析为ip

2. 编辑hbase-env.xml

3. 编辑hbase-site.xml

4. 编辑regionservers文件,文件默认内容是localhost

/home/grid/hbase/conf/regionservers,将所有的slavenode添加到这个文件

5. Hbase复制到其他节点

6. 启动Hbase

7. 验证

备注:我选择的版本不存在坚容性问题,所以无需覆盖core jar包

选择HadoopHbase版本不同,可能会有不兼容的情况

例如Hadoop 0.20

解决版本、jar包冲突:

1)删除hbase/lib/hadoop-core-0.20-append-r1056497.jar(备份到其它路径,以备万一);

2)拷贝hadoop/hadoop-core-0.20.203.0.jar(注意是hadoop根目录下)hadoop/lib/commons-collections-3.2.1.jarhadoop/lib/commons-configuration-1.6.jarhbase/lib

Setp 1 下载解压hbase


Step 2 修改配置文件

第一个文件:/home/zhang/hbase/hbase-0.94.16/conf/hbase-env.sh



Step 3 设置环境变量


Step 4 配置/hbase/hbase-0.94.16/conf/hbase-site.xml

模板文件路径:~/hbase/hbase-0.94.16/src/main/resources/hbase-default.xml

拷贝需要的内容

添加修改到hbase-site.xml文件,内容如下:


hbase.rootdir :存放数据目录

hbase.rootdir

hdfs://node01:9000/hbase

打开分布模式:

hbase.cluster.distributed

true

设置临时文件目录:

hbase.tmp.dir

/home/criss/hbase/tmp

添加Zookeeper的节点主机名:

hbase.zookeeper.quorum

node01,node02,node03

hbase.zookeeper.property.dataDir

/home/criss/hbase/tmp/zookeeper

Property from ZooKeeper's config zoo.cfg.

The directory where the snapshot is stored.

Step 5 编辑/home/grid/hbase/conf/regionservers,将所有的slavenode添加到这个文件


我在hbase-site.xml 没有配置hmater,所以这里吧3台机都添加进去了

Step6将Hbase拷贝到其他节点机并对其他节点机配置环境变量

scp -r hbase/ node03:/home/criss/hbase

scp -r hbase/ node02:/home/criss/hbase

Step 7 启动Hbase


Step 8验证HMaster

Node01主机:


验证Node03和Node02主机:


Step 9 测试Hbase shell

Create ‘test’,’data’

Disable ‘test’

Dorp ‘test’


可以查看下tmp文件夹下生成的内容:



本文转自ICT时空dbasdk的博客,原文链接: Hbase分布式安装部署过程,如需转载请自行联系原博主。

相关实践学习
lindorm多模间数据无缝流转
展现了Lindorm多模融合能力——用kafka API写入,无缝流转在各引擎内进行数据存储和计算的实验。
云数据库HBase版使用教程
  相关的阿里云产品:云数据库 HBase 版 面向大数据领域的一站式NoSQL服务,100%兼容开源HBase并深度扩展,支持海量数据下的实时存储、高并发吞吐、轻SQL分析、全文检索、时序时空查询等能力,是风控、推荐、广告、物联网、车联网、Feeds流、数据大屏等场景首选数据库,是为淘宝、支付宝、菜鸟等众多阿里核心业务提供关键支撑的数据库。 了解产品详情: https://cn.aliyun.com/product/hbase   ------------------------------------------------------------------------- 阿里云数据库体验:数据库上云实战 开发者云会免费提供一台带自建MySQL的源数据库 ECS 实例和一台目标数据库 RDS实例。跟着指引,您可以一步步实现将ECS自建数据库迁移到目标数据库RDS。 点击下方链接,领取免费ECS&RDS资源,30分钟完成数据库上云实战!https://developer.aliyun.com/adc/scenario/51eefbd1894e42f6bb9acacadd3f9121?spm=a2c6h.13788135.J_3257954370.9.4ba85f24utseFl
相关文章
|
1月前
|
存储 SpringCloudAlibaba Java
【SpringCloud Alibaba系列】一文全面解析Zookeeper安装、常用命令、JavaAPI操作、Watch事件监听、分布式锁、集群搭建、核心理论
一文全面解析Zookeeper安装、常用命令、JavaAPI操作、Watch事件监听、分布式锁、集群搭建、核心理论。
【SpringCloud Alibaba系列】一文全面解析Zookeeper安装、常用命令、JavaAPI操作、Watch事件监听、分布式锁、集群搭建、核心理论
|
7月前
|
分布式计算 Java Hadoop
杨校老师课堂之分布式数据库HBase的部署和基本操作
杨校老师课堂之分布式数据库HBase的部署和基本操作
81 0
|
3月前
|
SQL 分布式计算 Hadoop
Hadoop-34 HBase 安装部署 单节点配置 hbase-env hbase-site 超详细图文 附带配置文件
Hadoop-34 HBase 安装部署 单节点配置 hbase-env hbase-site 超详细图文 附带配置文件
130 2
|
4月前
|
存储
cephFS高可用分布式文件系统部署指南
关于如何部署高可用的cephFS分布式文件系统,包括集群的搭建、验证高可用性以及实现两主一从架构的详细指南。
199 9
|
4月前
|
分布式计算 资源调度 Hadoop
在YARN集群上运行部署MapReduce分布式计算框架
主要介绍了如何在YARN集群上配置和运行MapReduce分布式计算框架,包括准备数据、运行MapReduce任务、查看任务日志,并启动HistoryServer服务以便于日志查看。
89 0
|
5月前
|
存储 监控 Shell
HBase2.1分布式部署
HBase2.1分布式部署
|
5月前
|
Java Nacos Docker
"揭秘!Docker部署Seata遇上Nacos,注册成功却报错?这些坑你不得不防!一网打尽解决秘籍,让你的分布式事务稳如老狗!"
【8月更文挑战第15天】在微服务架构中,Nacos搭配Seata确保数据一致性时,Docker部署Seata后可能出现客户端连接错误,如“can not connect to services-server”。此问题多由网络配置不当、配置文件错误或版本不兼容引起。解决策略包括:调整Docker网络设置确保可达性;检查并修正`file.conf`和`registry.conf`中的Nacos地址和端口;验证Seata与Nacos版本兼容性;修改配置后重启服务;参考官方文档和最佳实践进行配置。通过这些步骤,能有效排除故障,保障服务稳定运行。
446 0
|
5月前
|
存储 运维 安全
多云网络部署存在挑战,F5分布式云应用简化方案解读
多云网络部署存在挑战,F5分布式云应用简化方案解读
74 0
|
7月前
|
存储 搜索推荐 Java
微服务SpringCloud ES分布式全文搜索引擎简介 下载安装及简单操作入门
微服务SpringCloud ES分布式全文搜索引擎简介 下载安装及简单操作入门
101 2
|
7月前
|
SQL 分布式计算 关系型数据库
分布式系统详解 -- Hive1.2.1 安装
分布式系统详解 -- Hive1.2.1 安装
90 1

热门文章

最新文章