HBase 完全分布式搭建_1 | 学习笔记

本文涉及的产品
服务治理 MSE Sentinel/OpenSergo,Agent数量 不受限
云原生网关 MSE Higress,422元/月
注册配置 MSE Nacos/ZooKeeper,118元/月
简介: 快速学习 HBase 完全分布式搭建_1

开发者学堂课程【HBase 入门教程HBase 完全分布式搭建_1】学习笔记,与课程紧密联系,让用户快速学习知识。

课程地址:https://developer.aliyun.com/learning/course/397/detail/5071


HBase 完全分布式搭建_1


一、  构建完全分布式

与在伪分布式模式中一样,完全分布式配置要求将 hbase - cluster . distributed  属性设置为 true  。通常  hbase . rootdir  被配置为指向一个高度可用的 HDFS 文件系统。

这是一个分布式  HBase  集群的基本  conf / hbase-site.xml 。用于实际工作的集群将包含更多自定义配置参数。大多数 HBase  配置指令都有默认值,除非在

hbase-site. xml 中重写该值,否则将使用默认值。

hbase.rootdir
hdfs://namenode.example.org:8020/hbase
hbase cluster.distr ibuted
true
hbase.zookeeper . quorum
node-a.example.com.node-b.example.com.node -c.example.com

这是一个示例 conffegion servers 文件,其中包含一个应该在集群中运行  Region Server  的节点列表。这些节点需要安装 HBase 他们需要使用 conf / 目录的相同内容作为主服务器

node-a.example.com

node-b.example.com

node-c.example.com

这是一个示例  conf/backup-masters 文件,其中包含应该运行备份 Master  实例的每个节点的列表。除非主 Master  不可用,否则备份 Master  实例将处于空闲状态。

node-b.example.com

node-c.example.com

看见 quickstart-fully-distributed 带有多个  ZooKeeper 、备份  HMaster    Region Server  实例的简单三节点集群配置的演练。1.值得注意的是,如果你做了 HDFSHad oop  集群上的客户端配置更改,例如 HDFS 相对于服务器端配置,客户端必须使用
使 HBase  能够看到并使用这些配置更改的以下方法之一:a.hadoop 添加指针 _ CONFOIR   hbase-env.sh 中的 HBASE CLASSPATH  环境变量。b.添加一份 hdfs.site.xml(Hadoop.site xml ) 或者更好的符号链接,在$ HBASE HOME /conf 下)。c .如果只有一小套 HDFS 客户端配置,将它们添加到  hbase-site.xml  中。
这样的例子 HDFS 客户端配置是  dfs . replicat ion 。例如,如果您希望以 5 的复制因子运行, HBase  将创建默认值为 3 的文件,除非您执行上面的操作以使配置对 Hbase  可用。

ZK  Master RegionServer

node1 1 1

node2 1 1

node3 1 1

node4 1 1

node5 1 1

启动虚拟机

Node5

[root@node5 logs]#stop-hbase.sh

[root@node5 logs]# clear

[root@node5 logs]# start-hbase.sh
[root@node5 logs ]# hbase shell
hbase (main):001:0> list
TABLE
2016-11-09 11:51:99,023 WARN ( main] util . NativeCoduiltin-java classes where applicable
psn
1 row(s) in 1.3900 seconds
=> ["psn" ]
hbase( main) :002:0> scan "psn”

ROWCOLUMN+CELL
0 row(s) in 0.0830 seconds
hbase ( main) :003:0> quit
[root@node5 logs ]# stop-hbase.sh

stopping hbase...
[root@node5 logs]# date
We Nov9 14:15:01 CST 2016

[root@node5 logs ]#ssh-keygen -t dsa -p -f -/.ssh/id_dsa

[root@node5 logs ]#cat /etc/hosts

[root@node5 logs ]#cd /root/.ssh/

[root@node5 .ssh]#ls

[root@node5 .ssh]#scp id_dsa.pub node1:/tmp

[root@node5 .ssh]#scp id_dsa.pub node2:/tmp

[root@node5 .ssh]#scp id_dsa.pub node3:/tmp

[root@node5 .ssh]#scp id_dsa.pub node4:/tmp

[root@node5 .ssh]#ls

[root@node5 .ssh]#ssh node1

[root@node5 .ssh]# ssh node2

[root@node5 .ssh]# ssh node3

[root@node5 .ssh]# ssh node4

[root@node4]#exit

[root@node5 .ssh]#cd /home/tools/

[root@node5 tools]#ls

[root@node5 tools]#tar zxvf /home/tools/hbase*c /home

[root@nodel ~]# ls /home
hadoop-2.5.1  hbase-0. 98.12.1-hadoop2 tools zookeeper-3.4.6
[root@nodel ~]# ls
anaconda-ks.cfg install,log install. Log. syslog
[root@nodel ~]# cd /home
[root@nodel home]# ls
hadoop-2.5.1hbase-0.98.12.1-hadoop2 toolszookeeper-3.4.6
[root@nodel homel# mv hbase 098 12.1. hadoop2 hbase-0.98
[root@nodel home]# ls
hadoop-2.5.1hbase-0.98 toolsZookeeper-3.4.6
[root@nodel home]# cd hbase-0.98/
[root@node1 hbase-0.98]# ls
bin CHANGES.txt conf docs hbase- webapps lib  LICENSE.txt  NOTICE.txt README.txt
[root@node1 hbase-0.98]# cd conf/
[root@nodel conf]# ls
hadoop-metrics2-hbase.propertles hbase-env.sh hbase-site.xml regionservice hbase-policy.xml  log4j.pronperties
[root@nodel conf]# vi hbase-env.sh

修改一项

export HBASE_MANAGES_ZK=false

Export JAVA_HOME=/usr/java/jdk.7.0_67

[root@nodel conf]# vi hbase-site.xml

把配置项粘贴过来即可

hbase.rootdir
hdfs://namenode.example.org:8020/hbase
hbase cluster.distr ibuted
true
hbase.zookeeper . quorum
node-a.example.com.node-b.example.com.node -c.example.comk/value>

相关实践学习
lindorm多模间数据无缝流转
展现了Lindorm多模融合能力——用kafka API写入,无缝流转在各引擎内进行数据存储和计算的实验。
云数据库HBase版使用教程
  相关的阿里云产品:云数据库 HBase 版 面向大数据领域的一站式NoSQL服务,100%兼容开源HBase并深度扩展,支持海量数据下的实时存储、高并发吞吐、轻SQL分析、全文检索、时序时空查询等能力,是风控、推荐、广告、物联网、车联网、Feeds流、数据大屏等场景首选数据库,是为淘宝、支付宝、菜鸟等众多阿里核心业务提供关键支撑的数据库。 了解产品详情: https://cn.aliyun.com/product/hbase   ------------------------------------------------------------------------- 阿里云数据库体验:数据库上云实战 开发者云会免费提供一台带自建MySQL的源数据库 ECS 实例和一台目标数据库 RDS实例。跟着指引,您可以一步步实现将ECS自建数据库迁移到目标数据库RDS。 点击下方链接,领取免费ECS&RDS资源,30分钟完成数据库上云实战!https://developer.aliyun.com/adc/scenario/51eefbd1894e42f6bb9acacadd3f9121?spm=a2c6h.13788135.J_3257954370.9.4ba85f24utseFl
相关文章
|
7月前
|
存储 分布式计算 大数据
HBase分布式数据库关键技术与实战:面试经验与必备知识点解析
【4月更文挑战第9天】本文深入剖析了HBase的核心技术,包括数据模型、分布式架构、访问模式和一致性保证,并探讨了其实战应用,如大规模数据存储、实时数据分析及与Hadoop、Spark集成。同时,分享了面试经验,对比了HBase与其他数据库的差异,提出了应对挑战的解决方案,展望了HBase的未来趋势。通过Java API代码示例,帮助读者巩固理解。全面了解和掌握HBase,能为面试和实际工作中的大数据处理提供坚实基础。
413 3
|
6月前
|
分布式计算 Java Hadoop
杨校老师课堂之分布式数据库HBase的部署和基本操作
杨校老师课堂之分布式数据库HBase的部署和基本操作
61 0
|
4月前
|
存储 监控 Shell
HBase2.1分布式部署
HBase2.1分布式部署
|
6月前
|
存储 NoSQL Java
HBase是一个开源的、分布式的、面向列的NoSQL数据库系统
HBase是一个开源的、分布式的、面向列的NoSQL数据库系统
102 0
|
7月前
|
存储 Java 分布式数据库
【分布式计算框架】HBase数据库编程实践
【分布式计算框架】HBase数据库编程实践
110 1
|
6月前
|
存储 分布式计算 Hadoop
【大数据】分布式数据库HBase下载安装教程
【大数据】分布式数据库HBase下载安装教程
163 0
|
6月前
|
存储 缓存 大数据
【大数据】分布式数据库HBase
【大数据】分布式数据库HBase
112 0
|
7月前
|
存储 分布式计算 Java
大数据存储技术(3)—— HBase分布式数据库
大数据存储技术(3)—— HBase分布式数据库
1565 0
|
7月前
|
存储 分布式计算 Hadoop
基于Hadoop分布式数据库HBase1.0部署及使用
基于Hadoop分布式数据库HBase1.0部署及使用
|
7月前
|
SpringCloudAlibaba 负载均衡 Java
【Springcloud Alibaba微服务分布式架构 | Spring Cloud】之学习笔记(目录大纲)
【Springcloud Alibaba微服务分布式架构 | Spring Cloud】之学习笔记(目录大纲)
174 1
下一篇
无影云桌面