Hbase分布式安装部署过程-阿里云开发者社区

开发者社区> 青夜之衫> 正文

Hbase分布式安装部署过程

简介: 系统 Red hat linux 6.4 Hadoop版本 1.2.1 Hbase版本 0.94.16 Hbase的完全分布式安装概述: 1. 配置hosts,确保涉及的主机名均可解析为ip 2.
+关注继续查看

系统

Red hat linux 6.4

Hadoop版本

1.2.1

Hbase版本

0.94.16

Hbase的完全分布式安装概述:

1. 配置hosts,确保涉及的主机名均可解析为ip

2. 编辑hbase-env.xml

3. 编辑hbase-site.xml

4. 编辑regionservers文件,文件默认内容是localhost

/home/grid/hbase/conf/regionservers,将所有的slavenode添加到这个文件

5. Hbase复制到其他节点

6. 启动Hbase

7. 验证

备注:我选择的版本不存在坚容性问题,所以无需覆盖core jar包

选择HadoopHbase版本不同,可能会有不兼容的情况

例如Hadoop 0.20

解决版本、jar包冲突:

1)删除hbase/lib/hadoop-core-0.20-append-r1056497.jar(备份到其它路径,以备万一);

2)拷贝hadoop/hadoop-core-0.20.203.0.jar(注意是hadoop根目录下)hadoop/lib/commons-collections-3.2.1.jarhadoop/lib/commons-configuration-1.6.jarhbase/lib

Setp 1 下载解压hbase


Step 2 修改配置文件

第一个文件:/home/zhang/hbase/hbase-0.94.16/conf/hbase-env.sh



Step 3 设置环境变量


Step 4 配置/hbase/hbase-0.94.16/conf/hbase-site.xml

模板文件路径:~/hbase/hbase-0.94.16/src/main/resources/hbase-default.xml

拷贝需要的内容

添加修改到hbase-site.xml文件,内容如下:


hbase.rootdir :存放数据目录

hbase.rootdir

hdfs://node01:9000/hbase

打开分布模式:

hbase.cluster.distributed

true

设置临时文件目录:

hbase.tmp.dir

/home/criss/hbase/tmp

添加Zookeeper的节点主机名:

hbase.zookeeper.quorum

node01,node02,node03

hbase.zookeeper.property.dataDir

/home/criss/hbase/tmp/zookeeper

Property from ZooKeeper's config zoo.cfg.

The directory where the snapshot is stored.

Step 5 编辑/home/grid/hbase/conf/regionservers,将所有的slavenode添加到这个文件


我在hbase-site.xml 没有配置hmater,所以这里吧3台机都添加进去了

Step6将Hbase拷贝到其他节点机并对其他节点机配置环境变量

scp -r hbase/ node03:/home/criss/hbase

scp -r hbase/ node02:/home/criss/hbase

Step 7 启动Hbase


Step 8验证HMaster

Node01主机:


验证Node03和Node02主机:


Step 9 测试Hbase shell

Create ‘test’,’data’

Disable ‘test’

Dorp ‘test’


可以查看下tmp文件夹下生成的内容:



本文转自ICT时空dbasdk的博客,原文链接:Hbase分布式安装部署过程,如需转载请自行联系原博主。

版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。

相关文章
第一次使用阿里云ESC
我是太原理工大学的一名学生,现在就读于采矿工程专业。在课堂中,由于大数据课程实验的需要,老师给我们介绍了阿里云服务器,在阿里云中搭建linux系统,运用hadoop完成一些实验。看到了阿里云有这个学生特权,于是我选择参加了“飞天加速计划”活动。
4 0
【阿里云 CDP 公开课】 第一讲:CDP 产品介绍
为了让更多开发者了解并使用 CDP,由阿里云和 Cloudera 联合打造的专业公开课【阿里云 CDP 公开课】来啦~
15 0
Druid数据库连接 | Spring Boot 集成 Druid实现数据库连接和完善的SQL执行监控
我们知道,应用系统最频繁,最主要的操作还是数据库的操作,所以数据库的性能和安全对于整个系统平台的重要性不言而喻。为了提高数据库性能,我们可以使用数据库连接池,有时候我们需要增加一些列的日志或是数据库性能监控工具来确保数据库的性能,同时还得防范数据库的SQL注入等安全问题。 所以,今天我们来介绍一款集数据库连接池、数据库监控、SQL执行日志于一身的神器:Druid。
20 0
JavaScript, ABAP和Scala里的尾递归(Tail Recursion)
JavaScript, ABAP和Scala里的尾递归(Tail Recursion)
8 0
Angel团队负责人黄明:历时半年,腾讯Angel为了开源都经历了些什么?
2017 年 6 月 16 日,腾讯新一代高性能计算平台 Angel 在 Github 上低调开源。开源两周,这个项目在 Github 上持续得到关注,截至目前为止,已收获 183 Watch,1693 Star,389 Fork,也吸引了许多业界工程师对分布式机器学习平台架构的优化与算法性能的提升展开了深入的讨论与交流。
16 0
实时深度学习的推理加速和连续学习
在本技术分析报告的第一部分《研学社·系统组 | 实时深度学习的推理加速和持续训练》,我们介绍了最近一些用于 DNN 推理加速的硬件和算法技术。在这第二部分,我们将基于最近一篇论文《在连续学习场景中对深度神经网络进行微调(Fine-Tuning Deep Neural Networksin Continuous Learning Scenarios)》探讨 DNN 连续学习,该论文的作者为 Christoph Kading、Erik Rodner、Alexander Freytag 和 Joachim Denzler。
5 0
专访乔治亚理工终身教授蓝光辉: 开创随机加速梯度法助力深度学习
随机优化和非线性规划的理论、算法和应用,包括随机梯度下降和加速随机梯度下降,以及用于解决随机凸和非凸优化问题。
7 0
阿里云产品-2021 11月刊
一文了解11月份阿里云产品发生了哪些产品大事件。
20 0
Ecs试用感想
随着网络技术的发展,每时每刻都在产生大量数据,导致无法用单台计算机进行分析处理,那么如何对这些海量的数据进行存储与处理就成了一个问题。而云计算,云既是大规模的计算机整合到一起的,通过云计算就可以依托于分布式数据库,云存储和虚拟化技术对海量数据进行分布式挖掘,优化实现数据的增值。由此可见云计算与大数据密不可分。那么在这学期我们学习的分布式系统与云计算中,经由老师的指引接触到了Ecs与阿里云。在为期不长的试用中,我也感受到了云服务的优越之处。
14 0
+关注
1020
文章
0
问答
文章排行榜
最热
最新
相关电子书
更多
文娱运维技术
立即下载
《SaaS模式云原生数据仓库应用场景实践》
立即下载
《看见新力量:二》电子书
立即下载