hadoop搭建之HBase安装

本文涉及的产品
云原生网关 MSE Higress,422元/月
云防火墙,500元 1000GB
注册配置 MSE Nacos/ZooKeeper,118元/月
简介: 操作本文前,确定准备工作已经做好,jdk,Hosts 映射关系,集群之间 SSH 无密码登陆(CentOS 默认安装了 ssh,如果没有你需要先安装 ssh),hadoop等基本工作已经做好; 将hadoop、hbase、zookeeper 的安装包都解压到/opt/文件下

本文搭建环境:

centos6.9
jdk1.8.0_201

hadoop-2.7.2

本文搭建HBase环境
hbase-1.2.4
zookeeper-3.4.9

1、下载安装包
hbase-1.2.4
zookeeper-3.4.9

ZooKeeper是一个分布式的,开放源码的分布式应用程序协调服务,是Google的Chubby一个开源的实现,是Hadoop和Hbase的重要组件

ZooKeeper相当于hadoop中yarn,但是它的单独安装

2、将下载好的安装包(个人使用WinSCP)导入opt下的software目录下

1

3、解压ZooKeeper,并重命名为 zookeeper

tar -zvxf /opt/software/zookeeper-3.4.9.tar.gz -C /opt/modules/

4、在hadoop安装目录下新建zookeeper/data目录,在data目录下新建myid文件,输入一个数字(c1 为 1,c2 为 2,c2 为 3【c2,c3为复制之后的文件,见第6步】)

5、修改配置文件 zoo.cfg

zoo.cfg是没有的,需要将文件目录下:opt/modules/zookeeper/conf/zoo_sample.cfg
复制并且改名为zoo.cfg

或使用命令:cp zoo_sample.cfg zoo.cfg

找到:dataDir=/tmp/zookeeper 将其删除

将以下信息复制进去:dataDir为第4步新建的文件目录,c1,c2,c3为节点

dataDir=/opt/madules/hadoop/zookeeper/data

server.1=c1:2888:3888

server.2=c2:2888:3888

server.3=c3:2888:3888

6、使用 scp 命令进行远程复制

主目录下,qiqi为我的主机名
scp -r /opt/modules/zooKeeper/ qiqi@c2:/opt/modules/
scp -r /opt/modules/zooKeeper/ qiqi@c3:/opt/modules/

7、启动 ZooKeeper 集群,在 ZooKeeper 集群的每个结点上,执行启动 ZooKeeper 服务的脚本

切换到/opt/modules目录下
zookeeper/bin/zkServer.sh start

(1) 如果启动报类似异常:QuorumCnxManager@384] - Cannot open channel to 2 at election address slave-02/192.168.0.178:3888 是可以忽略的,因为该服务启动时会尝试连接所有节点,而其他节点尚未启动。通过后面部分可以看到,集群在选出一个 Leader 后,最后稳定 了。其他结点可能也出现类似问题,属于正常。

(2) 关闭防火墙。在 hadoop 集群环境(linux 系统)中最好关闭防火墙,不然会出现很多问题,例如 namenode 找不到 datanode 等。如果不关闭防火墙,客户端使用 API 操作 HDFS 以及 ZooKeeper,可能就会出现下面常见的两种异常:

a、使用 API 操作 HDFS 时会出现异常:java.net.NoRouteToHostException: No route to host
b、使用 API 操作 ZK 时会出现异常: org.apache.zookeeper.KeeperException$ConnectionLossException: KeeperErrorCode = ConnectionLoss for xxxx

(3) 使用 root 权限登陆后,输入关闭防火墙命令:

/etc/init.d/iptables stop $ service iptables stop

(4) 修改禁用 selinux: /etc/selinux/config 文件,设置"SELINUX=disabled"

8、HBase 集群安装配置,解压hbase-1.2.4,并重命名为 hbase

 tar -zvxf /opt/software/hbase-1.2.4-bin.tar.gz -C /opt/madules/

9、配置环境变量(只在主节点里配)

export HBASE_HOME=/opt/modules/hbase
export PATH=$HBASE_HOME/bin:$PATH

source /etc/profile 使之生效
建立hdfs缓存目录:

hadoop fs -mkdir hbase

10、配置hbase-env.sh

export HBASE_OPTS="-XX:+UseConcMarkSweepGC"
export  JAVA_HOME=/opt/modules/jdk1.8.0_201
export HBASE_CLASSPATH=/opt/madules/hadoop
export HBASE_MANAGES_ZK=false

11、配置hbase-site.xml


<configuration>

<property>
// 节点修改
<name>hbase.rootdir</name>
<value>hdfs://c1:9000/hbase</value>
</property>

<property>
// 节点修改
<name>hbase.master</name>
<value>c1</value>
</property>

<property>
<name>hbase.cluster.distributed</name>
<value>true</value>
</property>

<property>
<name>hbase.zookeeper.property.clientPort</name>
<value>2181</value>
</property>

<property>
// 节点修改
<name>hbase.zookeeper.quorum</name>
<value>c1,c2,c3</value>
</property>

<property>
<name>zookeeper.session.timeout</name>
<value>60000000</value>
</property>

<property>
<name>dfs.support.append</name>
<value>true</value>
</property>

 // 节点修改
<property>
<name>hbase.zookeeper.property.dataDir</name>
<value>/opt/modules/hadoop/zookeeper/data</value>
</property>


</configuration>

11、更改 regionservers,删掉文件里的localhost,改为

c1
c2
c3

12、分发并同步安装包

scp  -r /opt//modules/hbase    c2:/opt//modules
scp  -r /opt//modules/hbase    c3:/opt//modules

13、启动集群,主目录切换到/opt/modules/ 目录下

[qiqi@c1 modules]

1、启动 ZooKeeper(三个节点)

zookeeper/bin/zkServer.sh start


2、启动 hadoop(主节点)

hadoop/sbin/start-all.sh

3、启动 hbase(主节点)

hbase/bin/start-hbase.sh

14、启动后,jps查看,master 上进程和 slave 进程列表

c1节点
4161 NodeManager  #YARN进程
4545 HMaster # hbase 进程
3587 NameNode #HDFS进程
4759 Jps
3831 SecondaryNameNode # HDFS进程
4680 HRegionServer #HBase进程
3691 DataNode #HDFS进程
4046 ResourceManager # YARN 进程
3439 QuorumPeerMain # zookeeper 进程



c2、c3节点
3761 NodeManager
3980 Jps
3644 DataNode
3933 HRegionServer

15、进入 hbase shell 进行验证


[qiqi@c1  ~]$ hbase/bin/hbase shell

2015-07-20 00:42:11,725 WARN [main] util.NativeCodeLoader: Unable to loa d native-hadoop library for your platform... using builtin-java classes where ap plicable

HBase Shell; enter 'help<RETURN>' for list of supported commands. Type "exit<RETURN>" to leave the HBase Shell

Version 1.0.1.1, re1dbf4df30d214fca14908df71d038081577ea46, Sun May 17 1 2:34:26 PDT 2015


//hbase shell操作,list 查看表
hbase(main):001:0> list

TABLE

0 row(s) in 1.6950 seconds => []


//status 查看服务器状态
hbase(main):002:0> status

1 active master, 0 backup masters, 3 servers, 0 dead, 0.6667 average load

16、查看是否启动

c1:50070
c1:8088 (查看hadoop)

相关实践学习
lindorm多模间数据无缝流转
展现了Lindorm多模融合能力——用kafka API写入,无缝流转在各引擎内进行数据存储和计算的实验。
云数据库HBase版使用教程
&nbsp; 相关的阿里云产品:云数据库 HBase 版 面向大数据领域的一站式NoSQL服务,100%兼容开源HBase并深度扩展,支持海量数据下的实时存储、高并发吞吐、轻SQL分析、全文检索、时序时空查询等能力,是风控、推荐、广告、物联网、车联网、Feeds流、数据大屏等场景首选数据库,是为淘宝、支付宝、菜鸟等众多阿里核心业务提供关键支撑的数据库。 了解产品详情:&nbsp;https://cn.aliyun.com/product/hbase &nbsp; ------------------------------------------------------------------------- 阿里云数据库体验:数据库上云实战 开发者云会免费提供一台带自建MySQL的源数据库&nbsp;ECS 实例和一台目标数据库&nbsp;RDS实例。跟着指引,您可以一步步实现将ECS自建数据库迁移到目标数据库RDS。 点击下方链接,领取免费ECS&amp;RDS资源,30分钟完成数据库上云实战!https://developer.aliyun.com/adc/scenario/51eefbd1894e42f6bb9acacadd3f9121?spm=a2c6h.13788135.J_3257954370.9.4ba85f24utseFl
目录
相关文章
|
2月前
|
分布式计算 Java Hadoop
java使用hbase、hadoop报错举例
java使用hbase、hadoop报错举例
97 4
|
1月前
|
分布式计算 Hadoop Shell
Hadoop-35 HBase 集群配置和启动 3节点云服务器 集群效果测试 Shell测试
Hadoop-35 HBase 集群配置和启动 3节点云服务器 集群效果测试 Shell测试
71 4
|
1月前
|
SQL 分布式计算 Hadoop
Hadoop-37 HBase集群 JavaAPI 操作3台云服务器 POM 实现增删改查调用操作 列族信息 扫描全表
Hadoop-37 HBase集群 JavaAPI 操作3台云服务器 POM 实现增删改查调用操作 列族信息 扫描全表
33 3
|
1月前
|
分布式计算 Hadoop Shell
Hadoop-36 HBase 3节点云服务器集群 HBase Shell 增删改查 全程多图详细 列族 row key value filter
Hadoop-36 HBase 3节点云服务器集群 HBase Shell 增删改查 全程多图详细 列族 row key value filter
58 3
|
1月前
|
SQL 分布式计算 Hadoop
Hadoop-12-Hive 基本介绍 下载安装配置 MariaDB安装 3台云服务Hadoop集群 架构图 对比SQL HQL
Hadoop-12-Hive 基本介绍 下载安装配置 MariaDB安装 3台云服务Hadoop集群 架构图 对比SQL HQL
69 3
|
1月前
|
SQL 分布式计算 Hadoop
Hadoop-34 HBase 安装部署 单节点配置 hbase-env hbase-site 超详细图文 附带配置文件
Hadoop-34 HBase 安装部署 单节点配置 hbase-env hbase-site 超详细图文 附带配置文件
78 2
|
1月前
|
存储 分布式计算 Hadoop
Hadoop-33 HBase 初识简介 项目简介 整体架构 HMaster HRegionServer Region
Hadoop-33 HBase 初识简介 项目简介 整体架构 HMaster HRegionServer Region
53 2
|
1月前
|
分布式计算 Kubernetes Hadoop
大数据-82 Spark 集群模式启动、集群架构、集群管理器 Spark的HelloWorld + Hadoop + HDFS
大数据-82 Spark 集群模式启动、集群架构、集群管理器 Spark的HelloWorld + Hadoop + HDFS
162 6
|
1月前
|
分布式计算 资源调度 Hadoop
大数据-80 Spark 简要概述 系统架构 部署模式 与Hadoop MapReduce对比
大数据-80 Spark 简要概述 系统架构 部署模式 与Hadoop MapReduce对比
66 2
|
24天前
|
存储 分布式计算 Hadoop
数据湖技术:Hadoop与Spark在大数据处理中的协同作用
【10月更文挑战第27天】在大数据时代,数据湖技术凭借其灵活性和成本效益成为企业存储和分析大规模异构数据的首选。Hadoop和Spark作为数据湖技术的核心组件,通过HDFS存储数据和Spark进行高效计算,实现了数据处理的优化。本文探讨了Hadoop与Spark的最佳实践,包括数据存储、处理、安全和可视化等方面,展示了它们在实际应用中的协同效应。
83 2