AI 助理
文档备案控制台
开发者社区 数据库 文章 正文

Hadoop2.7实战v1.0之HBase1.1.5 HA分布式搭建

2016-03-21 1560
版权
版权声明：
本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《 阿里云开发者社区用户服务协议》和 《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写 侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。
简介： 1.已有环境:Hadoop-2.7.2+zookeeper-3.4.6完全分布式环境搭建(HDFS、YARN HA) 2.下载解压hbase-1.2.0-bin.tar.
1.已有环境: Hadoop-2.7.2+zookeeper-3.4.6完全分布式环境搭建(HDFS、YARN HA) 
2. 下载解压hbase-1.2.0-bin.tar.gz和设置环境HBASE_HOME变量

点击(此处)折叠或打开

  1. [root@sht-sgmhadoopnn-01 tmp]# wget http://archive.apache.org/dist/hbase/1.1.5/hbase-1.1.5-bin.tar.gz
  2. [root@sht-sgmhadoopnn-01 tmp]# tar -xvf hbase-1.1.5-bin.tar.gz
  3. [root@sht-sgmhadoopnn-01 tmp]# mv /tmp/hbase-1.1.5 /hadoop/hbase
  4. [root@sht-sgmhadoopnn-01 tmp]# cd /hadoop/hbase/conf
  5. [root@sht-sgmhadoopnn-01 conf]# pwd    
  6. /hadoop/hbase/conf
vi /etc/profile 增加内容如下:[集群所有节点设置]

点击(此处)折叠或打开

export HBASE_HOME=/hadoop/hbase
  PATH=.:$HADOOP_HOME/bin:$JAVA_HOME/bin:$ZOOKEEPER_HOME/bin:HBASE_HOME/bin:$PATH
export $PATH
执行 source /etc/profile

3. 修改hbase-env.sh

export JAVA_HOME="/usr/java/jdk1.7.0_67-cloudera"

export HBASE_CLASSPATH=/hadoop/hadoop-2.7.2/etc/hadoop

#设置到Hadoop的etc/hadoop目录是用来引导Hbase找到Hadoop,也就是说hbase和hadoop进行关联【必须设置,否则hmaster起不来】

export HBASE_MANAGES_ZK=false

#不启用hbase自带的zookeeper
4.修改hbase-site.xml

点击(此处)折叠或打开

  1. <configuration>
  2.         <!--hbase.rootdir的前端与$HADOOP_HOME/conf/core-site.xml的fs.defaultFS一致 -->
  3.         <property>
  4.                 <name>hbase.rootdir</name>
  5.                 <value>hdfs://mycluster/hbase</value>
  6.         </property>
  7.         <property>
  8.                 <name>hbase.cluster.distributed</name>
  9.                 <value>true</value>
  10.         </property>

  12. <!--本地文件系统的临时文件夹。可以修改到一个更为持久的目录上。(/tmp会在重启时清除) -->
  13.         <property>
  14.                 <name>hbase.tmp.dir</name>
  15.                 <value>/hadoop/hbase/tmp</value>
  16.         </property>

  18. <!--如果只设置单个 Hmaster，那么 hbase.master 属性参数需要设置为 master5:60000 (主机名:60000) -->
  19. <!--如果要设置多个 Hmaster，那么我们只需要提供端口 60000，因为选择真正的 master 的事情会有 zookeeper 去处理 -->
  20.         <property>
  21.                 <name>hbase.master</name>
  22.                 <value>60000</value>
  23.         </property>

  25. <!--这个参数用户设置 ZooKeeper 快照的存储位置，默认值为 /tmp，显然在重启的时候会清空。因为笔者的 ZooKeeper 是独立安装的，所以这里路径是指向了 $ZOOKEEPER_HOME/conf/zoo.cfg 中 dataDir 所设定的位置 -->
  26.         <property>
  27.                 <name>hbase.zookeeper.property.dataDir</name>
  28.                 <value>/hadoop/zookeeper/data</value>
  29.         </property>

  31.         <property>
  32.                 <name>hbase.zookeeper.quorum</name>
  33.                 <value>sht-sgmhadoopdn-01,sht-sgmhadoopdn-02,sht-sgmhadoopdn-03</value>
  34.         </property>
  35. <!--表示客户端连接 ZooKeeper 的端口 -->
  36.         <property>
  37.                 <name>hbase.zookeeper.property.clientPort</name>
  38.                 <value>2181</value>
  39.         </property>
  40. <!--ZooKeeper 会话超时。Hbase 把这个值传递改 zk 集群，向它推荐一个会话的最大超时时间 -->
  41.         <property>
  42.                 <name>zookeeper.session.timeout</name>
  43.                 <value>120000</value>
  44.         </property>

  46. <!--当 regionserver 遇到 ZooKeeper session expired ， regionserver 将选择 restart 而不是 abort -->
  47.         <property>
  48.                 <name>hbase.regionserver.restart.on.zk.expire</name>
  49.                 <value>true</value>
  50.         </property>
  51. </configuration>
5. 修改regionservers文件

点击(此处)折叠或打开

  1. sht-sgmhadoopdn-01
  2. sht-sgmhadoopdn-02
  3. sht-sgmhadoopdn-03

6.分发文件夹

点击(此处)折叠或打开

  1. [root@sht-sgmhadoopnn-01 hadoop]# scp -r hbase  root@sht-sgmhadoopnn-02:/hadoop
  2. [root@sht-sgmhadoopnn-01 hadoop]# scp -r hbase  root@sht-sgmhadoopdn-01:/hadoop
  3. [root@sht-sgmhadoopnn-01 hadoop]# scp -r hbase  root@sht-sgmhadoopdn-02:/hadoop
  4. [root@sht-sgmhadoopnn-01 hadoop]# scp -r hbase  root@sht-sgmhadoopdn-03:/hadoop
7.启动HBase HA

点击(此处)折叠或打开

  1. [root@sht-sgmhadoopnn-01 bin]# start-hbase.sh
  2. [root@sht-sgmhadoopnn-02 bin]# hbase-daemon.sh start master
8.验证 是否已经启动hbase集群和验证who is master and who is Backup Master
  1).进程和查询服务器状态

点击(此处)折叠或打开

##进程 [root@sht-sgmhadoopnn-01 bin]# jps
 20519 NameNode
18925 Jps
20872 DFSZKFailoverController
26810 ResourceManager
13564 HMaster

[root@sht-sgmhadoopnn-02 logs]# jps
5265 NameNode
5449 DFSZKFailoverController
26319 Jps
12281 ResourceManager
21879 HMaster
[root@sht-sgmhadoopdn-01 bin]# jps
30488 QuorumPeerMain
25780 NodeManager
20286 DataNode
996 HRegionServer
6371 Jps
20399 JournalNode
### sht-sgmhadoopdn-02,03与01一样

##查询服务器状态 [root@sht-sgmhadoopnn-01 bin]# hbase shell 2016-03-16 22:55:36,551 WARN [main] util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable
HBase Shell; enter 'help' for list of supported commands.
Type "exit" to leave the HBase Shell
Version 1.2.0, r25b281972df2f5b15c426c8963cbf77dd853a5ad, Thu Feb 18 23:01:49 CST 2016

hbase(main):001:0> status 1 active master, 1 backup masters, 3 servers, 0 dead, 0.6667 average load

2).查看日志


3).登录zookeeper


        4).web 页面

why http://server:60010 web page for the running HBase1.1.5 Master???

After the 0.98 version port numbers have changed. It is now 16010 instead of 60010). Check this page for general UI troubleshooting: http://hbase.apache.org/book/trouble.tools.html

http://172.16.101.55:16010/

http://172.16.101.56:16010/



####当前截图为HBASE1.2.0截图

文章标签：
云数据库 HBase 版
微服务引擎
分布式计算
Hbase
Hadoop
分布式数据库
Shell
sh_jepson
目录
相关文章
蓝易云
|
分布式计算 Ubuntu Hadoop
Ubuntu22.04下搭建Hadoop3.3.6+Hbase2.5.6+Phoenix5.1.3开发环境的指南
呈上，这些步骤如诗如画，但有效且动人。仿佛一个画家在画布上描绘出一幅完美的画面，这就是你的开发环境。接下来，尽情去创造吧，祝编程愉快!
蓝易云
1178 19
1436047922066202
|
SQL 存储 分布式数据库
分布式存储数据恢复—hbase和hive数据库数据恢复案例
分布式存储数据恢复环境： 16台某品牌R730xd服务器节点，每台服务器节点上有数台虚拟机。 虚拟机上部署Hbase和Hive数据库。 分布式存储故障： 数据库底层文件被误删除，数据库不能使用。要求恢复hbase和hive数据库。
1436047922066202
651 12
别惹CC
|
存储 分布式计算 Hadoop
基于Java的Hadoop文件处理系统：高效分布式数据解析与存储
本文介绍了如何借鉴Hadoop的设计思想，使用Java实现其核心功能MapReduce，解决海量数据处理问题。通过类比图书馆管理系统，详细解释了Hadoop的两大组件：HDFS（分布式文件系统）和MapReduce（分布式计算模型）。具体实现了单词统计任务，并扩展支持CSV和JSON格式的数据解析。为了提升性能，引入了Combiner减少中间数据传输，以及自定义Partitioner解决数据倾斜问题。最后总结了Hadoop在大数据处理中的重要性，鼓励Java开发者学习Hadoop以拓展技术边界。
别惹CC
681 7
武子康
|
分布式计算 Hadoop Shell
Hadoop-35 HBase 集群配置和启动 3节点云服务器 集群效果测试 Shell测试
Hadoop-35 HBase 集群配置和启动 3节点云服务器 集群效果测试 Shell测试
武子康
491 4
武子康
|
SQL 分布式计算 Hadoop
Hadoop-37 HBase集群 JavaAPI 操作3台云服务器 POM 实现增删改查调用操作 列族信息 扫描全表
Hadoop-37 HBase集群 JavaAPI 操作3台云服务器 POM 实现增删改查调用操作 列族信息 扫描全表
武子康
341 3
武子康
|
分布式计算 Hadoop Shell
Hadoop-36 HBase 3节点云服务器集群 HBase Shell 增删改查 全程多图详细 列族 row key value filter
Hadoop-36 HBase 3节点云服务器集群 HBase Shell 增删改查 全程多图详细 列族 row key value filter
武子康
381 3
武子康
|
存储 分布式计算 Hadoop
Hadoop-33 HBase 初识简介 项目简介 整体架构 HMaster HRegionServer Region
Hadoop-33 HBase 初识简介 项目简介 整体架构 HMaster HRegionServer Region
武子康
311 2
武子康
|
SQL 分布式计算 Hadoop
Hadoop-34 HBase 安装部署 单节点配置 hbase-env hbase-site 超详细图文 附带配置文件
Hadoop-34 HBase 安装部署 单节点配置 hbase-env hbase-site 超详细图文 附带配置文件
武子康
805 2
武子康
|
分布式计算 NoSQL Java
Hadoop-32 ZooKeeper 分布式锁问题 分布式锁Java实现 附带案例和实现思路代码
Hadoop-32 ZooKeeper 分布式锁问题 分布式锁Java实现 附带案例和实现思路代码
武子康
361 2
武子康
|
分布式计算 Hadoop
Hadoop-27 ZooKeeper集群 集群配置启动 3台云服务器 myid集群 zoo.cfg多节点配置 分布式协调框架 Leader Follower Observer
Hadoop-27 ZooKeeper集群 集群配置启动 3台云服务器 myid集群 zoo.cfg多节点配置 分布式协调框架 Leader Follower Observer
武子康
434 1

热门文章

最新文章

  • 1
    HBase进化之从NoSQL到NewSQL，凤凰涅槃成就Phoenix
  • 2
    如何降低90%Java垃圾回收时间？以阿里HBase的GC优化实践为例
  • 3
    深入解读HBase2.0新功能之高可用读Region Replica
  • 4
    双研究员带你了解数据库技术现状，及阿里云为什么要推出HBase
  • 5
    【干货合集】NoSQL技术体系深度解读系列（三）：HBase，海量数据存储、超高并发量场景下的NoSQL利器
  • 6
    HBase指南 | HBase 2.0之修复工具HBCK2运维指南
  • 7
    hadoop2.6完全分布式安装HBase1.1
  • 8
    HBase写性能优化
  • 9
    云HBase X-Pack解决传统数据仓库瓶颈，赋能客户计算分析业务
  • 10
    使用CopyTable同步HBase数据
  • 1
    Ubuntu22.04下搭建Hadoop3.3.6+Hbase2.5.6+Phoenix5.1.3开发环境的指南
    1178
  • 2
    CentOS中构建高可用Hadoop 3集群
    547
  • 3
    “Hadoop整不明白，数据分析就白搭？”——教你用Hadoop撸清大数据处理那点事
    715
  • 4
    Hadoop生态系统：从小白到老司机的入门指南
    804
  • 5
    从“笨重大象”到“敏捷火花”：Hadoop与Spark的大数据技术进化之路
    870
  • 6
    Dataphin功能Tips系列（41）-Hadoop集群管理
    444
  • 7
    【赵渝强老师】史上最详细：Hadoop HDFS的体系架构
    1894
  • 8
    从Excel到Hadoop：数据规模的进化之路
    510
  • 9
    MPP 架构与 Hadoop 架构技术选型指南
    1859
  • 10
    基于Java的Hadoop文件处理系统：高效分布式数据解析与存储
    681

    • 相关课程

    更多
  • 大数据Hadoop快速入门
  • 云数据库HBase版使用教程
  • HBase入门教程
  • 分布式数据库 HBase 快速入门
  • Hadoop快速入门
  • Hadoop企业优化及扩展案例

    • 相关电子书

    更多
  • 大数据时代的存储 ——HBase的实践与探索
  • Hbase在滴滴出行的应用场景和最佳实践
  • 阿里云HBase主备双活

    • 相关实验场景

    更多
  • 搭建Hadoop环境
    • 下一篇
    一条命令迁移，帮你实现 OpenClaw 与 Hermes Agent 记忆互通！