HBase搭建单机版

本文涉及的产品
注册配置 MSE Nacos/ZooKeeper,118元/月
服务治理 MSE Sentinel/OpenSergo,Agent数量 不受限
云原生网关 MSE Higress,422元/月
简介: HBase搭建单机版

环境


jdk1.8.0_121


hadoop-2.7.2


链接:https://pan.baidu.com/s/1vi3TNtnauqd-x0FQkpaZig

提取码:ffo9

复制这段内容后打开百度网盘手机App,操作更方便哦


zookeeper-3.4.5


链接:https://pan.baidu.com/s/11DBYKY4js-BUQwNBDPIYvg

提取码:2645

复制这段内容后打开百度网盘手机App,操作更方便哦


hbase-1.3.1


链接:https://pan.baidu.com/s/1IuueRj4-8EeoEmc_mFNN6Q

提取码:pvwk

复制这段内容后打开百度网盘手机App,操作更方便哦


安装JDK和hadoop


安装zookeeper


前提:


我将安装包放在  /opt/software  下


我安装包解压到 /opt/module  下


在准备用这篇文章之前请先快照一下,在准备用这篇文章之前请先快照一下,在准备用这篇文章之前请先快照一下


文章中有关的端口都确认开启


安装步骤:


1)上传 zookeeper-3.4.5.tar.gz 到  /opt/software  下


2)将  zookeeper-3.4.5.tar.gz 解压到   /opt/module


tar -zxvf zookeeper-3.4.5.tar.gz -C /opt/module/


1.png


3)将  zookeeper-3.4.5/conf  下的  zoo_sample.cfg 复制一份并且重命名为 zoo.cfg


cp zoo_sample.cfg zoo.cfg


2.png


4)修改zoo.cfg文件 (细节比较多,请仔细看注意)


注意:


① dataDir=/opt/module/zookeeper-3.4.5/mydata         #指定zookeeper的数据存放目录,启动前需要建立好该目录(敲黑板)


② server.1=iZm5ea99qngm2v98asii1aZ:2888:3888  #此处需要按行分开指定所有的zookeeper集群节点,server后的数字 “1” 表示节点的id,范围为1-255,即zookeeper集群最多可以有255个节点,iZm5ea99qngm2v98asii1aZ依然为节点服务器的主机名hostname,此处由于我们是伪分布式集群模式,只有一个节点,所以只有一行配置


③ (敲黑板)由于上述配置文件定义当前节点服务器的zookeeper的id为1,所以需要在dataDir目录下创建一个内容为id值 “1” ,文件名为myid的文件,表面当前节点的id为1


修改前


3.png


修改后


4.png


5)启动zookeeper(在zookeeper目录下)


5.jpg


启动zookeeper


bin/zkServer.sh start


查看zookeeper状态


bin/zkServer.sh status


关闭zookeeper


bin/zkServer.sh stop


安装HBase


1)将 hbase-1.3.1-bin.tar.gz 上传到 //opt/software  目录下 ,将 安装包解压到  /opt/module  下


tar -zxvf hbase-1.3.1-bin.tar.gz -C /opt/module/


2)修改hbase-1.3.1下conf下的hbase-env.sh


export JAVA_HOME=/usr/java/jdk1.8.0_121


export HBASE_MANAGES_ZK=false


修改前


6.png


7.png


修改后


8.png


9.png


3)修改hbase-1.3.1下conf下的hbase-site.xml


hbase.rootdir               HDFS的URL


hbase.zookeeper.quorum      zookeeper集群(linux01:2181,linux02:2181,linux03:2181)中间用逗号


hbase.zookeeper.property.dataDir    为有myid文件的目录,上面搭建zookeeper时候有说这个目录


<configuration>
<property>
<name>hbase.rootdir</name>
<value>hdfs://iZm5ea99qngm2v98asii1aZ:9000/hbase</value>
</property>
<property>
<name>hbase.cluster.distributed</name>
<value>true</value>
</property>
 <!-- 0.98 后的新变动,之前版本没有.port,默认端口为 60000 -->
<property>
<name>hbase.master.port</name>
<value>16000</value>
</property>
<property>
<name>hbase.master.info.port</name>
<value>16010</value>
</property>
<property>
<name>hbase.regionserver.port</name>
<value>16201</value>
</property>
<property>
<name>hbase.regionserver.info.port</name>
<value>16301</value>
</property>
<property>
<name>hbase.zookeeper.quorum</name>
<value>iZm5ea99qngm2v98asii1aZ:2181</value>
</property>
<property>
<name>hbase.zookeeper.property.dataDir</name>
<value>/opt/module/zookeeper-3.4.5/mydata</value>
</property>
</configuration>


4)导入HBase 需要依赖的 (HDFS和zookeeper)Jar 包


4.1)删除 /opt/module/hbase-1.3.1/lib  下  hadoop-*   和zookeeper  .jar   :为了和自己安装的hadoop和zookepper版本一致


rm -rf hadoop-*


 rm -rf zookeeper-3.4.6.jar


10.png


4.2)将 自己版本的 jar 放在上面的lib下


注意: 找下面jar的方法在  下面的博客里有提到


hadoop-annotations-2.7.2.jar
hadoop-auth-2.7.2.jar
hadoop-client-2.7.2.jar
hadoop-common-2.7.2.jar
hadoop-hdfs-2.7.2.jar
hadoop-mapreduce-client-app-2.7.2.jar
hadoop-mapreduce-client-common-2.7.2.jar
hadoop-mapreduce-client-core-2.7.2.jar
hadoop-mapreduce-client-hs-2.7.2.jar
hadoop-mapreduce-client-hs-plugins-2.7.2.jar
hadoop-mapreduce-client-jobclient-2.7.2.jar
hadoop-mapreduce-client-jobclient-2.7.2-tests.jar
hadoop-mapreduce-client-shuffle-2.7.2.jar
hadoop-yarn-api-2.7.2.jar
hadoop-yarn-applications-distributedshell-2.7.2.jar
hadoop-yarn-applications-unmanaged-am-launcher-2.7.2.jar
hadoop-yarn-client-2.7.2.jar
hadoop-yarn-common-2.7.2.jar
hadoop-yarn-server-applicationhistoryservice-2.7.2.jar
hadoop-yarn-server-common-2.7.2.jar
hadoop-yarn-server-nodemanager-2.7.2.jar
hadoop-yarn-server-resourcemanager-2.7.2.jar
hadoop-yarn-server-tests-2.7.2.jar
hadoop-yarn-server-web-proxy-2.7.2.jar
zookeeper-3.4.5.jar


5)HBase 软连接 Hadoop 配置:将hadoop的/core-site.xml 和hdfs-site.xml 软连接到 hbase/conf下


用软连接不用复制的原因:万一hadoop上的配置修改了,还要重新复制一份,容易遗忘


11.jpg


ln -s /opt/module/hadoop-2.7.2/etc/hadoop/core-site.xml  /opt/module/hbase-1.3.1/conf/


ln -s /opt/module/hadoop-2.7.2/etc/hadoop/hdfs-site.xml  /opt/module/hbase-1.3.1/conf/


6)HBase 服务启动


12.png


启动hbase服务


bin/start-hbase.sh


关闭hbase服务


bin/stop-hbase.sh


出现如下图的警告


13.png


解决办法:如果使用的是 JDK8 以 上 版 本 , 则 应 在 hbase-evn.sh 中移除 “HBASE_MASTER_OPTS” 和 “HBASE_REGIONSERVER_OPTS” 配置


7)查看HBase界面  端口 16010


http://ip:16010


13.jpg


相关实践学习
lindorm多模间数据无缝流转
展现了Lindorm多模融合能力——用kafka API写入,无缝流转在各引擎内进行数据存储和计算的实验。
云数据库HBase版使用教程
&nbsp; 相关的阿里云产品:云数据库 HBase 版 面向大数据领域的一站式NoSQL服务,100%兼容开源HBase并深度扩展,支持海量数据下的实时存储、高并发吞吐、轻SQL分析、全文检索、时序时空查询等能力,是风控、推荐、广告、物联网、车联网、Feeds流、数据大屏等场景首选数据库,是为淘宝、支付宝、菜鸟等众多阿里核心业务提供关键支撑的数据库。 了解产品详情:&nbsp;https://cn.aliyun.com/product/hbase &nbsp; ------------------------------------------------------------------------- 阿里云数据库体验:数据库上云实战 开发者云会免费提供一台带自建MySQL的源数据库&nbsp;ECS 实例和一台目标数据库&nbsp;RDS实例。跟着指引,您可以一步步实现将ECS自建数据库迁移到目标数据库RDS。 点击下方链接,领取免费ECS&amp;RDS资源,30分钟完成数据库上云实战!https://developer.aliyun.com/adc/scenario/51eefbd1894e42f6bb9acacadd3f9121?spm=a2c6h.13788135.J_3257954370.9.4ba85f24utseFl
目录
相关文章
|
存储 分布式计算 Hadoop
Linux/Hbase2.2.2安装教程_单机/伪分布式配置
Linux/Hbase2.2.2安装教程_单机/伪分布式配置
752 0
Linux/Hbase2.2.2安装教程_单机/伪分布式配置
|
存储 分布式计算 Ubuntu
|
存储 SQL 分布式计算
Hbase单机模式部署
 HBase是一个分布式、面向列的开源数据库,是Apache Hadoop项目的子项目,适用于非结构化数据存储的数据库。在Hadoop家族中,很多产品为HBase提供服务
565 0
|
分布式计算 资源调度 Hadoop
CentOS7使用HBase-1.2.6单机版+hadoop-2.6.5单机版
CentOS7使用HBase-1.2.6单机版+hadoop-2.6.5单机版
210 0
|
存储 分布式计算 监控
CentOS7使用HBase-1.2.6单机版,无hadoop
CentOS7使用HBase-1.2.6单机版,无hadoop
304 0
|
分布式计算 Hadoop Java
HBase 在单机模式 和伪分布模式下的安装
HBase的安装 本篇介绍两种HBase的安装方式:本地安装方式和伪分布式安装方式。 安装的前提条件是已经成功安装了hadoop,而且hadoop的版本要和hbase的版本相匹配。 我将要安装的hbase是hbase-0.90.4版本,需要的hadoop是hadoop-0.20.2版本。 1.单机安装 将下载的hbase-0.90.4解压到相应的目录,如/home/zhangxin/hbase-0.90.4 修改hbase-0.90.4下的conf目录下的配置文件hbase-env.sh 首先,修改hbase-env.sh中的如下属性: export JAVA_HOME=/home/zhang
260 0
|
Java 分布式数据库 开发工具
hbase_学习_01_HBase环境搭建(单机)
一、前言 本文承接上一篇:hadoop_学习_02_Hadoop环境搭建(单机)  ,主要是搭建HBase的单机环境   二、环境准备 1.说明 hbase 的下载来源有: 官方版本:http://archive.apache.org/dist/hbase/ CDH版本:http://archive.cloudera.com/cdh5 企业应用一般选择CDH版本,因为比较稳定。
1672 0
|
Java 分布式数据库 Hbase
|
Web App开发 分布式数据库 开发工具
|
Java Shell 测试技术