杨校老师课堂之分布式数据库HBase的部署和基本操作

本文涉及的产品
服务治理 MSE Sentinel/OpenSergo,Agent数量 不受限
云原生网关 MSE Higress,422元/月
注册配置 MSE Nacos/ZooKeeper,118元/月
简介: 杨校老师课堂之分布式数据库HBase的部署和基本操作

部署分布式数据库——HBase

学习背景:

以下采用伪分布式方式搭建HBase

故而采用内置的Zookeeper协调处理,不再搭建外置ZooKeeper,因此会存在单点故障问题,若需要解决这个情况,可采用Zookeeper部署一个HA(高可用)的Habse集群解决。

(1) 安装JDK、Hadoop,这里采用的JDK1.8,Hadoop2.7.4,CentOS7.6

本次部署测试的ip地址设为:

192.168.6.166

运行Hadoop环境,测试是否正常通过,启动命令: start-dfs.sh

(2)下载HBase安装包。官网地址:https://archive.apache.org/dist/hbase 相关大数据框架下载整理

(3) 安装

  • 3.1 上传并完成解压HBase安装包
[root@hadoop1 ~]# tar -zxvf hbase-1.2.1-bin.tar.gz

(4) 准备配置文件

  • 4.1 拷贝配置文件
[root@hadoop1 ~]# cp /usr/local/hadoop/hadoop-2.7.4/etc//hadoop/{hdfs-site.xml,core-site.xml}  /usr/local/hbase/hbase-1.2.1/conf/
  • 4.2 修改配置文件hbase-env.sh
# 加入jdk的安装路径到JAVA_HOME
[root@hadoop1 ~]# vim hbase-env.sh 
  • 4.3 设置HBase的环境变量
[root@hadoop1 ~]# vim /etc/profile
#HBase environment variable
export HBASE_HOME=/usr/local/hbase/hbase-1.2.1
export PATH=$PATH:$HBASE_HOME/bin:

#更新配置文件profile生效
[root@hadoop1 ~]# source /etc/profile
# 查看hbase的版本
[root@hadoop1 ~]# hbase version

运行HBase数据库

[root@hadoop1 conf]# start-hbase.sh

运行成功后,已通过浏览器访问:http://hadoop1:16010/master-status

注意:

可以通过修改hosts来实现访问主机名进入web界面

具体路径:

C:\Windows\System32\drivers\etc\hosts

在hosts文件内的最后一行加入:

192.168.6.166 hadoop1

HBase的基本操作

方式一:HBase的Shell操作
#启动交互界面
[root@hadoop1 ~]# hbase shell
# 创建表
hbase(main):001:0> create 'student','info'
0 row(s) in 3.1630 seconds

=> Hbase::Table - student
# 查询表
hbase(main):002:0> list
TABLE                                                                                                                                                        
student                                                                                                                                                      
1 row(s) in 0.5240 seconds

=> ["student"]

  • 插入数据
# 插入数据
hbase(main):003:0> put 'student','1001','info:name','zhangsan'
0 row(s) in 3.0910 seconds

hbase(main):004:0> put 'student','1001','info:age','19'
0 row(s) in 0.1290 seconds

hbase(main):005:0> put 'student','1001','info:gender','male'
0 row(s) in 0.2760 seconds

hbase(main):006:0> put 'student','1002','info:name','lisi'
0 row(s) in 0.0090 seconds

hbase(main):007:0> put 'student','1002','info:age','21'
0 row(s) in 0.0800 seconds

hbase(main):008:0> put 'student','1002','info:gender','female'
0 row(s) in 0.0150 seconds
  • 扫描数据
hbase(main):009:0> scan 'student'
 ROW                    COLUMN+CELL                                                                                                         
 1001                   column=info:age, timestamp=1650086163620, value=19                                                                  
 1001                   column=info:gender, timestamp=1650086205652, value=male                                                             
 1001                   column=info:name, timestamp=1650085979553, value=zhangsan                                                           
 1002                   column=info:age, timestamp=1650086249277, value=21                                                                  
 1002                   column=info:gender, timestamp=1650086265874, value=female                                                           
 1002                   column=info:name, timestamp=1650086227559, value=lisi                                                               
2 row(s) in 0.1450 seconds
  • 查看表结构
hbase(main):010:0> describe 'student'
Table student is ENABLED                                                                                                                                     
student                                                                                                                                                      
COLUMN FAMILIES DESCRIPTION                                                                                                                                  
{NAME => 'info', BLOOMFILTER => 'ROW', VERSIONS => '1', IN_MEMORY => 'false', KEEP_DELETED_CELLS => 'FALSE', DATA_BLOCK_ENCODING => 'NONE', TTL => 'FOREVER',
 COMPRESSION => 'NONE', MIN_VERSIONS => '0', BLOCKCACHE => 'true', BLOCKSIZE => '65536', REPLICATION_SCOPE => '0'}                                           
1 row(s) in 0.2190 seconds

  • 更新语句
hbase(main):011:0> put 'student','1002','info:age','22'
0 row(s) in 0.1000 seconds

# 修改后查询验证是否修改成功
hbase(main):016:0> scan 'student'
 ROW                      COLUMN+CELL                                                                                                         
 1001                     column=info:age, timestamp=1650086163620, value=19                                                                  
 1001                     column=info:gender, timestamp=1650086205652, value=male                                                             
 1001                     column=info:name, timestamp=1650085979553, value=zhangsan                                                           
 1002                     column=info:age, timestamp=1650086635741, value=22                                                                  
 1002                     column=info:gender, timestamp=1650086265874, value=female                                                           
 1002                     column=info:name, timestamp=1650086227559, value=lisi                                                               
2 row(s) in 0.0330 seconds

  • 获取指定字段的操作
hbase(main):002:0> get 'student','1001'
 COLUMN                                  CELL                                                                                                                
 info:age                                timestamp=1650086163620, value=19                                                                                   
 info:gender                             timestamp=1650086205652, value=male                                                                                 
 info:name                               timestamp=1650085979553, value=zhangsan                                                                             
3 row(s) in 0.0420 seconds

  • 删除语句
hbase(main):008:0> delete 'student','1002','info:gender'
0 row(s) in 0.0900 seconds

# 删除后查询验证是否修改成功
hbase(main):009:0> scan 'student'
 ROW                         COLUMN+CELL                                                                                                         
 1001                        column=info:age, timestamp=1650086163620, value=19                                                                  
 1001                        column=info:gender, timestamp=1650086205652, value=male                                                             
 1001                        column=info:name, timestamp=1650085979553, value=zhangsan                                                           
 1002                        column=info:age, timestamp=1650086635741, value=22                                                                  
 1002                        column=info:name, timestamp=1650086227559, value=lisi                                                               
2 row(s) in 0.0530 seconds

方式二: 利用Java API操作HBase
  • 1.创建Maven项目
<?xml version="1.0" encoding="UTF-8"?>
<project xmlns="http://maven.apache.org/POM/4.0.0"
         xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
         xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/xsd/maven-4.0.0.xsd">
    <modelVersion>4.0.0</modelVersion>

    <groupId>cn.javabs</groupId>
    <artifactId>JAVA_HBASE</artifactId>
    <version>1.0-SNAPSHOT</version>

    <dependencies>
        <dependency>
            <groupId>org.apache.hbase</groupId>
            <artifactId>hbase-common</artifactId>
            <version>1.2.6</version>
        </dependency>

        <dependency>
            <groupId>org.apache.hbase</groupId>
            <artifactId>hbase-client</artifactId>
            <version>1.2.6</version>
        </dependency>
    </dependencies>


</project>
  1. 导入坐标,并完成类的创建

  2. 编写代码
package cn.javabs;

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.hbase.*;
import org.apache.hadoop.hbase.client.*;
import org.apache.hadoop.hbase.util.Bytes;
import org.junit.Before;
import org.junit.Test;

import java.io.IOException;
import java.util.List;


public class HBaseTest {

    Configuration conf  = null;
    Connection conn = null;
    @Before
    public void  init() throws IOException {
        // 1. 获取配置对象conf
        conf  = HBaseConfiguration.create();
        // 2. 通过配置对象conf 设置hbase的入口
//        conf.set("hbase.rootdir","hdfs://hadoop1:9000/hbase");
        conf.set("hbase.zookeeper.quorum","hadoop1:2181");/*采用内置的zookeeper*/
        //  3. 获取连接,利用连接工厂进行创建连接,借助配置对象conf
        conn = ConnectionFactory.createConnection(conf);
    }

    /**
     * 创建表
     * @throws IOException
     */
    @Test
    public void  createTable() throws IOException {
      // 1. 通过conn获取表的管理对象
        Admin admin = conn.getAdmin();
        long beginTime = System.currentTimeMillis();
        // 2. 创建表的描述符对象,并且完成指定的表名:t_user
        HTableDescriptor tableDescriptor = new HTableDescriptor(TableName.valueOf("teacher".getBytes()));
        // 3. 创建列族、并赋值为info
        HColumnDescriptor hcd = new HColumnDescriptor("data");
        // 将列族添加到 表描述符对象
        tableDescriptor.addFamily(hcd);
        // 利用表管理器对象 来创建表
        admin.createTable(tableDescriptor);
        long endime = System.currentTimeMillis();
        System.out.println("创建完成,结束了!" +( endime -  beginTime) + "毫秒");

        // 关闭资源
        admin.close();
        conn.close();
    }

    /**
     * 指定查询
     * @throws IOException
     */
    @Test
    public void  getData() throws IOException{
        Table table = conn.getTable(TableName.valueOf("student"));
        // 1. 创建get对象是 查询参数的对象  用于指定要查询的哪一行
        Get get = new Get("1002".getBytes());
        // 2. 返回查询结果的数据
        Result result = table.get(get);
        // 3. 获取结果中所有的cell
        List<Cell> cellList = result.listCells();
        // 4. 循环遍历 所以的cell
        for(Cell c : cellList){
            // 5. 获取打印行健
            System.out.println("行:" + Bytes.toString(CellUtil.cloneRow(c)));
            // 6. 获取打印列族
            System.out.println("列族:" + Bytes.toString(CellUtil.cloneFamily(c)));
            // 7. 获取打印值
            System.out.println("值:" + Bytes.toString(CellUtil.cloneValue(c)));
        }
        // 8. 关闭资源
        table.close();
        conn.close();


    }
}


相关实践学习
云数据库HBase版使用教程
&nbsp; 相关的阿里云产品:云数据库 HBase 版 面向大数据领域的一站式NoSQL服务,100%兼容开源HBase并深度扩展,支持海量数据下的实时存储、高并发吞吐、轻SQL分析、全文检索、时序时空查询等能力,是风控、推荐、广告、物联网、车联网、Feeds流、数据大屏等场景首选数据库,是为淘宝、支付宝、菜鸟等众多阿里核心业务提供关键支撑的数据库。 了解产品详情:&nbsp;https://cn.aliyun.com/product/hbase &nbsp; ------------------------------------------------------------------------- 阿里云数据库体验:数据库上云实战 开发者云会免费提供一台带自建MySQL的源数据库&nbsp;ECS 实例和一台目标数据库&nbsp;RDS实例。跟着指引,您可以一步步实现将ECS自建数据库迁移到目标数据库RDS。 点击下方链接,领取免费ECS&amp;RDS资源,30分钟完成数据库上云实战!https://developer.aliyun.com/adc/scenario/51eefbd1894e42f6bb9acacadd3f9121?spm=a2c6h.13788135.J_3257954370.9.4ba85f24utseFl
目录
相关文章
|
23天前
|
Apache 数据库
杨校老师课堂之基于Apache的数据库连接池DBCP的工具类开发
杨校老师课堂之基于Apache的数据库连接池DBCP的工具类开发
15 0
|
23天前
|
druid 数据库
杨校老师课堂之基于阿里巴巴的数据库连接池Druid的工具类开发
杨校老师课堂之基于阿里巴巴的数据库连接池Druid的工具类开发
17 0
|
12天前
|
SQL Oracle 关系型数据库
Oracle数据库基础教程:从安装到基本操作的全面介绍
Oracle数据库基础教程:从安装到基本操作的全面介绍
|
9天前
|
缓存 Devops 微服务
微服务01好处,随着代码越多耦合度越多,升级维护困难,微服务技术栈,异步通信技术,缓存技术,DevOps技术,搜索技术,单体架构,分布式架构将业务功能进行拆分,部署时费劲,集连失败如何解决
微服务01好处,随着代码越多耦合度越多,升级维护困难,微服务技术栈,异步通信技术,缓存技术,DevOps技术,搜索技术,单体架构,分布式架构将业务功能进行拆分,部署时费劲,集连失败如何解决
|
14天前
|
关系型数据库 MySQL 测试技术
《阿里云产品四月刊》—瑶池数据库微课堂|RDS MySQL 经济版 vs 自建 MySQL 性能压测与性价比分析
阿里云瑶池数据库云原生化和一体化产品能力升级,多款产品更新迭代
|
23天前
|
存储 Java Apache
杨校老师课堂之用户登录时如何进行密码加密存储到数据库
杨校老师课堂之用户登录时如何进行密码加密存储到数据库
14 0
|
7天前
|
存储 关系型数据库 MySQL
探索MySQL:关系型数据库的基石
MySQL,作为全球最流行的开源关系型数据库管理系统(RDBMS)之一,广泛应用于各种Web应用、企业级应用和数据仓库中
|
4天前
|
关系型数据库 MySQL 网络安全
Mysql 数据库主从复制
在MySQL主从复制环境中,配置了两台虚拟机:主VM拥有IP1,从VM有IP2。主VM的`my.cnf`设置server-id为1,启用二进制日志;从VM设置server-id为2,开启GTID模式。通过`find`命令查找配置文件,编辑`my.cnf`,在主服务器上创建复制用户,记录二进制日志信息,然后锁定表并备份数据。备份文件通过SCP传输到从服务器,恢复数据并配置复制源,启动复制。检查复制状态确认运行正常。最后解锁表,完成主从同步,新用户在从库中自动更新。
865 6
Mysql 数据库主从复制
|
5天前
|
缓存 运维 关系型数据库
数据库容灾 | MySQL MGR与阿里云PolarDB-X Paxos的深度对比
经过深入的技术剖析与性能对比,PolarDB-X DN凭借其自研的X-Paxos协议和一系列优化设计,在性能、正确性、可用性及资源开销等方面展现出对MySQL MGR的多项优势,但MGR在MySQL生态体系内也占据重要地位,但需要考虑备库宕机抖动、跨机房容灾性能波动、稳定性等各种情况,因此如果想用好MGR,必须配备专业的技术和运维团队的支持。 在面对大规模、高并发、高可用性需求时,PolarDB-X存储引擎以其独特的技术优势和优异的性能表现,相比于MGR在开箱即用的场景下,PolarDB-X基于DN的集中式(标准版)在功能和性能都做到了很好的平衡,成为了极具竞争力的数据库解决方案。
|
10天前
|
XML Java 关系型数据库
Action:Consider the following: If you want an embedde ,springBoot配置数据库,补全springBoot的xml和mysql配置信息就好了
Action:Consider the following: If you want an embedde ,springBoot配置数据库,补全springBoot的xml和mysql配置信息就好了