hbase和zookeeper的安装和部署

本文涉及的产品
服务治理 MSE Sentinel/OpenSergo,Agent数量 不受限
简介:

1.概要

1.1HBase的使用场景

 大数据量 (100s TB级数据) 且有快速随机访问的需求。

 例如淘宝的交易历史记录。数据量巨大无容置疑,面向普通用户的请求必然要即时响应。

 容量的优雅扩展。

 大数据的驱使,动态扩展系统容量的必须的。例如:webPage DB。

 业务场景简单,不需要关系数据库中很多特性(例如交叉列、交叉表,事务,连接等等)。

 优化方面:合理设计rowkey。因为hbase的查询用rowkey是最高效的,也几乎的唯一生产环境可行的方式。所以把你的查询请求转换为查询rowkey的请求吧。

1.2软件准备

hbase-0.98.8 【下载地址

zookeeper-3.4.6 【下载地址

2.配置




sudo vi /etc/profile
HBASE_HOME=/home/hadoop/source/hbase-0.98.8
ZK_HOME=/home/hadoop/source/zookeeper-3.4.6
PATH=$HBASE_HOME/bin:$ZK_HOME/bin
export HBASE_HOME ZK_HOME

hbase-env.sh

export JAVA_HOME=/usr/jdk1.7

启动shell:

hbase shell
启动hbase:
start-hbase.sh

3.ZK

3.1概要

zk可以用来保证数据在zk集群之间事务性一致,如:

 

 

 

删除Server1中的数据后,其他集群的Server会自动同步删除之后的数据。

3.2安装

  1. 集群的规模小于等于3,各个集群的系统时间必须一致。

  2. 安装

(1)解压zk的压缩包到指定位置。

(2)修改conf文件,cp zoo_sample.cfg zoo.cfg

(3)编辑zoo.cfg 修改dataDir=/home/zk/data 新增 server.0=hadoop0:2888:3888 server.1=hadoop1:2888:3888 server.2=hadoop2:2888:3888

(4)创建文件夹 mkdir /home/zk/data 在data目录下,创建文件myid,值为0

(5)用scp命令分发zk文件夹到集群

3.3启动/验证

启动zk的服务:zkServer.sh start

验证zk的启动状态:zkServer.sh status

4奇数选举

zookeeper的集群数推荐配置奇数,Leader选举算法采用了Paxos协议,该协议的核心思想是当多数Server写成功时,则任务数据写成功,如:

  • 有3个Server,则两个写成功即可;
  • 有4或5个Server,则三个写成功即可;
  • 如果有3个Server,则最多运行1个Server挂掉
  • 如果有4个Server,则同样最多运行1个Server挂掉

由此,我们可以看出3台服务器和4台服务器的容灾能力是一样的,所以为了节约服务器资源,一般我们采用奇数个数,作为服务器部署个数。

相关实践学习
云数据库HBase版使用教程
  相关的阿里云产品:云数据库 HBase 版 面向大数据领域的一站式NoSQL服务,100%兼容开源HBase并深度扩展,支持海量数据下的实时存储、高并发吞吐、轻SQL分析、全文检索、时序时空查询等能力,是风控、推荐、广告、物联网、车联网、Feeds流、数据大屏等场景首选数据库,是为淘宝、支付宝、菜鸟等众多阿里核心业务提供关键支撑的数据库。 了解产品详情: https://cn.aliyun.com/product/hbase   ------------------------------------------------------------------------- 阿里云数据库体验:数据库上云实战 开发者云会免费提供一台带自建MySQL的源数据库 ECS 实例和一台目标数据库 RDS实例。跟着指引,您可以一步步实现将ECS自建数据库迁移到目标数据库RDS。 点击下方链接,领取免费ECS&RDS资源,30分钟完成数据库上云实战!https://developer.aliyun.com/adc/scenario/51eefbd1894e42f6bb9acacadd3f9121?spm=a2c6h.13788135.J_3257954370.9.4ba85f24utseFl
目录
相关文章
|
7月前
|
分布式计算 Hadoop Shell
Hbase集群搭建
Hbase集群搭建
144 0
|
5月前
|
分布式数据库 Hbase
96 hbase依赖zookeeper
96 hbase依赖zookeeper
21 0
|
11月前
|
存储 分布式计算 资源调度
搭建基于Zookeeper服务的Hbase集群
搭建基于Zookeeper服务的Hbase集群
|
11月前
|
存储 分布式计算 资源调度
使用内置zookeeper搭建Hbase集群
使用内置zookeeper搭建Hbase集群
|
分布式计算 安全 Hadoop
hadoop+hbase+zookeeper安装指南
hadoop+hbase+zookeeper安装指南
212 0
hadoop+hbase+zookeeper安装指南
|
存储 监控 Java
HBase-1.2.1集群搭建
HBase-1.2.1集群搭建
97 0
|
存储 SQL 分布式计算
Hbase单机模式部署
 HBase是一个分布式、面向列的开源数据库,是Apache Hadoop项目的子项目,适用于非结构化数据存储的数据库。在Hadoop家族中,很多产品为HBase提供服务
518 0
|
分布式计算 大数据 Shell
|
监控 Java 分布式数据库

相关实验场景

更多