【大数据环境准备】(十二)Hbase安装

本文涉及的产品
云原生大数据计算服务MaxCompute,500CU*H 100GB 3个月
简介: Hbase安装

1、解压

[centos@hadoop10 data]$ tar -zxvf hbase-1.3.1-bin.tar.gz -C /data/module/
[centos@hadoop10 module]$ mv hbase-1.3.1/ ./hbase

2、环境变量设置

[root@hadoop10 module]# vim /etc/profile.d/my_env.sh
#HBASE_HOME
export HBASE_HOME=/data/module/hbase
export PATH=$PATH:$HBASE_HOME/bin

3、HBase的配置文件

1、hbase-env.sh 修改内容
export HBASE_MANAGES_ZK=false
2、hbase-site.xml 修改内容
<property>
        <name>hbase.rootdir</name>
        <value>hdfs://hadoop10:8020/hbase</value>
    </property>

    <property>
        <name>hbase.cluster.distributed</name>
        <value>true</value>
    </property>

    <property>
        <name>hbase.zookeeper.quorum</name>
        <value>hadoop10,hadoop11,hadoop12</value>
    </property>
3、regionservers:
hadoop10
hadoop11
hadoop12

4、同步

[centos@hadoop10 conf]$ /data/xsync /data/module/hbase/

5、启动服务

[centos@hadoop10 bin]$ ./hbase-daemon.sh start master
[centos@hadoop10 bin]$ ./hbase-daemon.sh start regionserver

提示:如果集群之间的节点时间不同步,会导致regionserver无法启动,抛出ClockOutOfSyncException异常。

a、同步时间服务
b、属性:hbase.master.maxclockskew设置更大的值


hbase.master.maxclockskew
180000
Time difference of regionserver from master

群启

[centos@hadoop10 bin]$ ./start-hbase.sh

6、查看hbase页面

http://192.168.31.10:16010

高可用(可选)

在HBase中HMaster负责监控HRegionServer的生命周期,均衡RegionServer的负载,如果HMaster挂掉了,那么整个HBase集群将陷入不健康的状态,并且此时的工作状态并不会维持太久。所以HBase支持对HMaster的高可用配置。

1.关闭HBase集群(如果没有开启则跳过此步)

[centos@hadoop10 hbase]$ bin/stop-hbase.sh

2.在conf目录下创建backup-masters文件

[centos@hadoop10 hbase]$ touch conf/backup-masters

3.在backup-masters文件中配置高可用HMaster节点

[centos@hadoop10 hbase]$ echo hadoop103 > conf/backup-masters

4.将整个conf目录scp到其他节点

[centos@hadoop10 hbase]$ scp -r conf/ hadoop103:/opt/module/hbase/

[centos@hadoop10 hbase]$ scp -r conf/ hadoop104:/opt/module/hbase/

5.打开页面测试查看

相关文章
|
2月前
|
数据采集 搜索推荐 Java
Java 大视界 -- Java 大数据在智能教育虚拟学习环境构建与用户体验优化中的应用(221)
本文探讨 Java 大数据在智能教育虚拟学习环境中的应用,涵盖多源数据采集、个性化推荐、实时互动优化等核心技术,结合实际案例分析其在提升学习体验与教学质量中的成效,并展望未来发展方向与技术挑战。
|
2月前
|
传感器 分布式计算 大数据
“用大数据盯着天看地”——聊聊环境监测的精准化升级
“用大数据盯着天看地”——聊聊环境监测的精准化升级
70 0
|
3月前
|
传感器 机器学习/深度学习 算法
Java 大视界 -- Java 大数据在智能农业温室环境调控与作物生长模型构建中的应用(189)
本文探讨了Java大数据在智能农业温室环境调控与作物生长模型构建中的关键应用。通过高效采集、传输与处理温室环境数据,结合机器学习算法,实现温度、湿度、光照等参数的智能调控,提升作物产量与品质。同时,融合多源数据构建精准作物生长模型,助力农业智能化、精细化发展,推动农业现代化进程。
|
SQL 机器学习/深度学习 分布式计算
大数据-81 Spark 安装配置环境 集群环境配置 超详细 三台云服务器
大数据-81 Spark 安装配置环境 集群环境配置 超详细 三台云服务器
543 1
|
Java 大数据 分布式数据库
Spring Boot 与 HBase 的完美融合:探索高效大数据应用开发的新途径
【8月更文挑战第29天】Spring Boot是一款广受好评的微服务框架,以其便捷的开发体验著称。HBase则是一个高性能的大数据分布式数据库系统。结合两者,可极大简化HBase应用开发。本文将对比传统方式与Spring Boot集成HBase的区别,展示如何在Spring Boot中优雅实现HBase功能,并提供示例代码。从依赖管理、连接配置、表操作到数据访问,Spring Boot均能显著减少工作量,提升代码可读性和可维护性,使开发者更专注业务逻辑。
742 1
|
11月前
|
存储 大数据 数据处理
大数据环境下的性能优化策略
大数据环境下的性能优化策略
391 2
|
分布式计算 Hadoop 大数据
大数据体系知识学习(一):PySpark和Hadoop环境的搭建与测试
这篇文章是关于大数据体系知识学习的,主要介绍了Apache Spark的基本概念、特点、组件,以及如何安装配置Java、PySpark和Hadoop环境。文章还提供了详细的安装步骤和测试代码,帮助读者搭建和测试大数据环境。
380 1
|
存储 分布式计算 分布式数据库
深入理解Apache HBase:构建大数据时代的基石
在大数据时代,数据的存储和管理成为了企业面临的一大挑战。随着数据量的急剧增长和数据结构的多样化,传统的关系型数据库(如RDBMS)逐渐显现出局限性。
1587 12
|
存储 数据可视化 数据挖掘
大数据环境下的房地产数据分析与预测研究的设计与实现
本文介绍了一个基于Python大数据环境下的昆明房地产市场分析与预测系统,通过数据采集、清洗、分析、机器学习建模和数据可视化技术,为房地产行业提供决策支持和市场洞察,探讨了模型的可行性、功能需求、数据库设计及实现过程,并展望了未来研究方向。
656 4
大数据环境下的房地产数据分析与预测研究的设计与实现
|
分布式计算 大数据 分布式数据库
"揭秘HBase MapReduce高效数据处理秘诀:四步实战攻略,让你轻松玩转大数据分析!"
【8月更文挑战第17天】大数据时代,HBase以高性能、可扩展性成为关键的数据存储解决方案。结合MapReduce分布式计算框架,能高效处理HBase中的大规模数据。本文通过实例展示如何配置HBase集群、编写Map和Reduce函数,以及运行MapReduce作业来计算HBase某列的平均值。此过程不仅限于简单的统计分析,还可扩展至更复杂的数据处理任务,为企业提供强有力的大数据技术支持。
225 1