AI 助理
文档备案控制台
开发者社区 开发与运维 文章 正文

【小白视角】大数据基础实践(四) 分布式数据库HBase的常用操作

2021-12-05 396
版权
版权声明：
本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《 阿里云开发者社区用户服务协议》和 《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写 侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。
简介： 目录1. 环境配置2. 操作步骤：2.1 环境搭建2.2 Hbase Shell2.3 Java Api3. 结论最后1. 环境配置⚫ 操作系统：Linux（建议 Ubuntu18.04）；⚫ Hadoop 版本：3.1.3；⚫ JDK 版本：1.8；⚫ Java IDE：IDEA；⚫ Hadoop 伪分布式配置⚫ HBase1.1.5

目录

1. 环境配置

2. 操作步骤：

2.1 环境搭建

2.2 Hbase Shell

2.3 Java Api

3. 结论

最后

1. 环境配置

⚫ 操作系统：Linux（建议 Ubuntu18.04）；

⚫ Hadoop 版本：3.1.3；

⚫ JDK 版本：1.8；

⚫ Java IDE：IDEA；

⚫ Hadoop 伪分布式配置

⚫ HBase1.1.5


2. 操作步骤：

2.1 环境搭建

解压压缩包

image.png


重命名并把权限赋予用户


image.png


配置环境变量

sudo vim ~/.bashrc

image.png

image.png

sudo vim /usr/local/hbase/conf/hbase-env.sh

image.png

sudo vim /usr/local/hbase/conf/hbase-site.xml

image.png


注意一点启动完hadoop之后才能启动hbase

image.png


进入shell

image.png


2.2 Hbase Shell

利用Hbase Shell命令完成以下任务，截图要求包含所执行的命令以及命令运行的结果：

表student_xxx:

image.png

表teacher_xxx

image.png

（1） 创建Hbase数据表student_xxx和teacher_xxx（表名称以姓名首字母结尾）；


image.png



（2） 向student_xxx表中插入数据；

image.png


（3） 分别查看student_xxx表所有数据、指定时间戳、指定时间戳范围的数据；

所有数据

image.png


指定时间戳

image.png


指定时间戳范围

image.png


（4） 更改teacher_xxx表的username的VERSIONS>=6，并参考下面teacher表插入数据查看Hbase中所有表；


image.png

image.png

（5） 查看teacher_xxx表特定VERSIONS范围内的数据；


image.png

（6） 使用除ValueFilter以外的任意一个过滤器查看teacher_xxx表的值；

rowkey为20开头的值


image.png


（7） 删除Hbase表中的数据；


查看删除前


image.png


删除Sage


image.png

查看没有Sage了


image.png

（8） 删除Hbase中的表；

通过hbase shell删除一个表，首先需要将表禁用，然后再进行删除，命令如下：

disable 'tablename'
drop 'tablename'

image.png


检验是否存在


image.png

2.3 Java Api

利用Java API编程实现Hbase的相关操作，要求在实验报告中附上完整的源代码以及程序运行前后的Hbase表和数据的情况的截图：

导入所需要的jar包

image.png


callrecord_xxx表



（1） 创建Hbase中的数据表callrecord_xxx（表名称以姓名拼音首字母结尾）；

   import org.apache.hadoop.conf.Configuration;
   import org.apache.hadoop.hbase.*;
   import org.apache.hadoop.hbase.client.Admin;
   import org.apache.hadoop.hbase.client.Connection;
   import org.apache.hadoop.hbase.client.ConnectionFactory;
   import org.apache.hadoop.hbase.HBaseConfiguration;
   import java.io.IOException;
   public class Create {
       public static Configuration configuration;
       public static Connection connection;
       public static Admin admin;
       //建立连接
       public static void init(){
           configuration  = HBaseConfiguration.create();
           configuration.set("hbase.rootdir","hdfs://localhost:9000/hbase");
           try{
               connection = ConnectionFactory.createConnection(configuration);
               admin = connection.getAdmin();
           }catch (IOException e){
               e.printStackTrace();
           }
       }
       //关闭连接
       public static void close(){
           try{
               if(admin != null){
                   admin.close();
               }
               if(null != connection){
                   connection.close();
               }
           }catch (IOException e){
               e.printStackTrace();
           }
       }
       public static void CreateTable(String tableName) throws IOException {
           if (admin.tableExists(TableName.valueOf(tableName))) {
               System.out.println("Table Exists!!!");
           }
           else{
               HTableDescriptor tableDesc = new HTableDescriptor(tableName);
               tableDesc.addFamily(new HColumnDescriptor("baseinfo"));
               tableDesc.addFamily(new HColumnDescriptor("baseinfo.calltime"));
               tableDesc.addFamily(new HColumnDescriptor("baseinfo.calltype"));
               tableDesc.addFamily(new HColumnDescriptor("baseinfo.phonebrand"));
               tableDesc.addFamily(new HColumnDescriptor("baseinfo.callplace"));
               tableDesc.addFamily(new HColumnDescriptor("baseinfo.callsecond"));
               admin.createTable(tableDesc);
               System.out.println("Create Table Successfully .");
           }
       }
       public static void main(String[] args) {
           String tableName = "callrecord_zqc";
           try {
               init();
               CreateTable(tableName);
               close();
           } catch (Exception e) {
               e.printStackTrace();
           }
       }
   }

image.png

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.hbase.HBaseConfiguration;
import org.apache.hadoop.hbase.TableName;
import org.apache.hadoop.hbase.client.*;
import java.io.IOException;
public class Insert {
    public static Configuration configuration;
    public static Connection connection;
    public static Admin admin;
    //建立连接
    public static void init(){
        configuration  = HBaseConfiguration.create();
        configuration.set("hbase.rootdir","hdfs://localhost:9000/hbase");
        try{
            connection = ConnectionFactory.createConnection(configuration);
            admin = connection.getAdmin();
        }catch (IOException e){
            e.printStackTrace();
        }
    }
    //关闭连接
    public static void close(){
        try{
            if(admin != null){
                admin.close();
            }
            if(null != connection){
                connection.close();
            }
        }catch (IOException e){
            e.printStackTrace();
        }
    }
    public static void InsertRow(String tableName, String rowKey, String colFamily, String col, String val) throws IOException {
        Table table = connection.getTable(TableName.valueOf(tableName));
        Put put = new Put(rowKey.getBytes());
        put.addColumn(colFamily.getBytes(), col.getBytes(), val.getBytes());
        System.out.println("Insert Data Successfully");
        table.put(put);
        table.close();
    }
    public static void main(String[] args) {
        String tableName = "callrecord_zqc";
        String[] RowKeys = {
                "16920210616-20210616-1",
                "18820210616-20210616-1",
                "16920210616-20210616-2",
                "16901236367-20210614-1",
                "16920210616-20210614-1",
                "16901236367-20210614-2",
                "16920210616-20210614-2",
                "17720210616-20210614-1",
        };
        String[] CallTimes = {
                "2021-06-16 14:12:16",
                "2021-06-16 14:13:16",
                "2021-06-16 14:23:16",
                "2021-06-14 09:13:16",
                "2021-06-14 10:23:16",
                "2021-06-14 11:13:16",
                "2021-06-14 12:23:16",
                "2021-06-14 16:23:16",
        };
        String[] CallTypes = {
                "call",
                "call",
                "called",
                "call",
                "called",
                "call",
                "called",
                "called",
        };
        String[] PhoneBrands = {
                "vivo",
                "Huawei",
                "Vivo",
                "Huawei",
                "Vivo",
                "Huawei",
                "Vivo",
                "Oppo",
        };
        String[] CallPlaces = {
                "Fuzhou",
                "Fuzhou",
                "Fuzhou",
                "Fuzhou",
                "Fuzhou",
                "Fuzhou",
                "Fuzhou",
                "Fuzhou",
        };
        String[] CallSeconds = {
                "66",
                "96",
                "136",
                "296",
                "16",
                "264",
                "616",
                "423",
        };
        try {
            init();
            int i = 0;
            while (i < RowKeys.length){
                InsertRow(tableName, RowKeys[i], "baseinfo", "calltime", CallTimes[i]);
                InsertRow(tableName, RowKeys[i], "baseinfo", "calltype", CallTypes[i]);
                InsertRow(tableName, RowKeys[i], "baseinfo", "phonebrand", PhoneBrands[i]);
                InsertRow(tableName, RowKeys[i], "baseinfo", "callplace", CallPlaces[i]);
                InsertRow(tableName, RowKeys[i], "baseinfo", "callsecond", CallSeconds[i]);
                i++;
            }
            close();
        } catch (Exception e) {
            e.printStackTrace();
        }
    }
}

image.png

（3） 获取Hbase某张表的所有数据，并返回查询结果；

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.hbase.*;
import org.apache.hadoop.hbase.client.*;
import java.io.IOException;
public class List {
   public static Configuration configuration;
   public static Connection connection;
   public static Admin admin;
   //建立连接
   public static void init(){
       configuration  = HBaseConfiguration.create();
       configuration.set("hbase.rootdir","hdfs://localhost:9000/hbase");
       try{
           connection = ConnectionFactory.createConnection(configuration);
           admin = connection.getAdmin();
       }catch (IOException e){
           e.printStackTrace();
       }
   }
   //关闭连接
   public static void close(){
       try{
           if(admin != null){
               admin.close();
           }
           if(null != connection){
               connection.close();
           }
       }catch (IOException e){
           e.printStackTrace();
       }
   }
   public static void GetData(String tableName)throws  IOException{
       Table table = connection.getTable(TableName.valueOf(tableName));
       Scan scan = new Scan();
       ResultScanner scanner = table.getScanner(scan);
       for(Result result:scanner)
       {
           ShowCell((result));
       }
   }
   public static void ShowCell(Result result){
       Cell[] cells = result.rawCells();
       for(Cell cell:cells){
           System.out.println("RowName:"+new String(CellUtil.cloneRow(cell))+" ");
           System.out.println("Timetamp:"+cell.getTimestamp()+" ");
           System.out.println("column Family:"+new String(CellUtil.cloneFamily(cell))+" ");
           System.out.println("column Name:"+new String(CellUtil.cloneQualifier(cell))+" ");
           System.out.println("value:"+new String(CellUtil.cloneValue(cell))+" ");
           System.out.println();
       }
   }
   public static void main(String[] args) {
       String tableName = "callrecord_zqc";
       try {
           init();
           GetData(tableName);
           close();
       } catch (Exception e) {
           e.printStackTrace();
       }
   }
}

image.png

（4） 删除Hbase表中的某条或者某几条数据，并查看删除前后表中的数据情况；

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.hbase.HBaseConfiguration;
import org.apache.hadoop.hbase.TableName;
import org.apache.hadoop.hbase.client.*;
import java.io.IOException;
public class DeleteData {
   public static Configuration configuration;
   public static Connection connection;
   public static Admin admin;
   //建立连接
   public static void init(){
       configuration  = HBaseConfiguration.create();
       configuration.set("hbase.rootdir","hdfs://localhost:9000/hbase");
       try{
           connection = ConnectionFactory.createConnection(configuration);
           admin = connection.getAdmin();
       }catch (IOException e){
           e.printStackTrace();
       }
   }
   //关闭连接
   public static void close(){
       try{
           if(admin != null){
               admin.close();
           }
           if(null != connection){
               connection.close();
           }
       }catch (IOException e){
           e.printStackTrace();
       }
   }
   public static void DeleteRow(String tableName,String rowKey) throws IOException {
       Table table = connection.getTable(TableName.valueOf(tableName));
       table.delete(new Delete(rowKey.getBytes()));
       System.out.println("Delete Data Successfully");
       table.close();
   }
   public static void main(String[] args) {
       String tableName = "callrecord_zqc";
       try {
           init();
           DeleteRow(tableName, "17720210616-20210614-1 ");
           close();
       } catch (Exception e) {
           e.printStackTrace();
       }
   }
}

image.png

（5） 实现给现有的表增加一个列族（如family_xxx），在hbase shell使用describe命令查看前后表的信息；

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.hbase.HBaseConfiguration;
import org.apache.hadoop.hbase.client.Admin;
import org.apache.hadoop.hbase.client.Connection;
import org.apache.hadoop.hbase.client.ConnectionFactory;
import org.apache.hadoop.hbase.TableName;
import org.apache.hadoop.hbase.HTableDescriptor;
import org.apache.hadoop.hbase.HColumnDescriptor;
import java.io.IOException;
public class Append {
    public static Configuration configuration;
    public static Connection connection;
    public static Admin admin;
    //建立连接
    public static void init(){
        configuration  = HBaseConfiguration.create();
        configuration.set("hbase.rootdir","hdfs://localhost:9000/hbase");
        try{
            connection = ConnectionFactory.createConnection(configuration);
            admin = connection.getAdmin();
        }catch (IOException e){
            e.printStackTrace();
        }
    }
    //关闭连接
    public static void close(){
        try{
            if(admin != null){
                admin.close();
            }
            if(null != connection){
                connection.close();
            }
        }catch (IOException e){
            e.printStackTrace();
        }
    }
    public static void AddRow(String tableName, String rowName) throws IOException {
        TableName table = TableName.valueOf(tableName);
        admin.disableTable(table);          // 关闭表
        HTableDescriptor tableDesc = admin.getTableDescriptor(table);
        HColumnDescriptor family = new HColumnDescriptor(rowName);    //新增列族
        tableDesc.addFamily(family);
        admin.addColumn(table, family);
        admin.enableTableAsync(table);      //打开表
    }
    public static void main(String[] args) {
        String tableName = "callrecord_zqc";
        try {
            init();
            AddRow(tableName, "baseinfo.family_zqc");
            System.out.println("Append Successfully");
            close();
        } catch (Exception e) {
            e.printStackTrace();
        }
    }
}

（6） 实现给新增加的列族按自增方式存放数据；

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.hbase.HBaseConfiguration;
import org.apache.hadoop.hbase.TableName;
import org.apache.hadoop.hbase.client.Admin;
import org.apache.hadoop.hbase.client.Connection;
import org.apache.hadoop.hbase.client.ConnectionFactory;
import org.apache.hadoop.hbase.client.Table;
import org.apache.hadoop.hbase.util.Bytes;
import java.io.IOException;
public class AddItSelt {
    public static Configuration configuration;
    public static Connection connection;
    public static Admin admin;
    //建立连接
    public static void init(){
        configuration  = HBaseConfiguration.create();
        configuration.set("hbase.rootdir","hdfs://localhost:9000/hbase");
        try{
            connection = ConnectionFactory.createConnection(configuration);
            admin = connection.getAdmin();
        }catch (IOException e){
            e.printStackTrace();
        }
    }
    //关闭连接
    public static void close(){
        try{
            if(admin != null){
                admin.close();
            }
            if(null != connection){
                connection.close();
            }
        }catch (IOException e){
            e.printStackTrace();
        }
    }
    public static void Incr(String tableName, String rowKey, String colFamily, String col, int step) throws IOException {
        Table table = connection.getTable(TableName.valueOf(tableName));
        //incrementColumnValue(行号,列族,列,步长)
        table.incrementColumnValue(Bytes.toBytes(rowKey),Bytes.toBytes(colFamily), Bytes.toBytes(col),step);
        System.out.println("Incr Successfully");
        table.close();
    }
    public static void main(String[] args) {
        String tableName = "callrecord_zqc";
        try {
            init();
            Incr(tableName, "18820210616-20210616-1", "baseinfo", "family_zqc", 1);
            close();
        } catch (Exception e) {
            e.printStackTrace();
        }
    }
}

image.png

（7） 删除表，并在Hbase Shell中使用命令查看删除前后hbase中所有表；

数据表（callrecord_xxx）：

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.hbase.HBaseConfiguration;
import org.apache.hadoop.hbase.TableName;
import org.apache.hadoop.hbase.client.Admin;
import org.apache.hadoop.hbase.client.Connection;
import org.apache.hadoop.hbase.client.ConnectionFactory;
import java.io.IOException;
public class DeleteTable {
    public static Configuration configuration;
    public static Connection connection;
    public static Admin admin;
    //建立连接
    public static void init(){
        configuration  = HBaseConfiguration.create();
        configuration.set("hbase.rootdir","hdfs://localhost:9000/hbase");
        try{
            connection = ConnectionFactory.createConnection(configuration);
            admin = connection.getAdmin();
        }catch (IOException e){
            e.printStackTrace();
        }
    }
    //关闭连接
    public static void close(){
        try{
            if(admin != null){
                admin.close();
            }
            if(null != connection){
                connection.close();
            }
        }catch (IOException e){
            e.printStackTrace();
        }
    }
    public static void DeleteTable(String tableName) throws IOException {
        TableName t = TableName.valueOf(tableName);
        if (admin.tableExists(t)) {
            admin.disableTable(t);
            admin.deleteTable(t);   // 先关闭才能删除
            System.out.println("table:"+tableName+"was deleted successfully");
        }
    }
    public static void main(String[] args) {
        String tableName = "callrecord_zqc";
        try {
            init();
            DeleteTable(tableName);
            close();
        } catch (Exception e) {
            e.printStackTrace();
        }
    }
}

image.png

3. 结论

希望读者不要直接复制代码，代码可以直接复制，知识不能。想学好还是自己多推敲一下代码的结构流程。

最后

小生凡一，期待你的关注

文章标签：
云数据库HBase版
云原生大数据计算服务 MaxCompute
Java
Shell
开发工具
分布式计算
Linux
Hbase
Hadoop
IDE
API
分布式数据库
关键词：
实践数据库
云原生大数据计算服务 MaxCompute实践
实践分布式
云原生大数据计算服务 MaxCompute分布式
分布式数据库
小生凡一
目录
相关文章
阿里云瑶池数据库_
|
11月前
|
存储 关系型数据库 分布式数据库
喜报｜阿里云PolarDB数据库（分布式版）荣获国内首台（套）产品奖项
阿里云PolarDB数据库管理软件（分布式版）荣获「2024年度国内首版次软件」称号，并跻身《2024年度浙江省首台（套）推广应用典型案例》。
阿里云瑶池数据库_
539 0
数据库知识分享者小北
|
Cloud Native 关系型数据库 分布式数据库
登顶TPC-C｜云原生数据库PolarDB技术揭秘：Limitless集群和分布式扩展篇
阿里云PolarDB云原生数据库在TPC-C基准测试中以20.55亿tpmC的成绩刷新世界纪录，展现卓越性能与性价比。其轻量版满足国产化需求，兼具高性能与低成本，适用于多种场景，推动数据库技术革新与发展。
数据库知识分享者小北
1273 13
卓伊凡
|
11月前
|
存储 NoSQL MongoDB
MongoDB数据库详解-针对大型分布式项目采用的原因以及基础原理和发展-卓伊凡|贝贝|莉莉
MongoDB数据库详解-针对大型分布式项目采用的原因以及基础原理和发展-卓伊凡|贝贝|莉莉
卓伊凡
405 8
MongoDB数据库详解-针对大型分布式项目采用的原因以及基础原理和发展-卓伊凡|贝贝|莉莉
蓝易云
|
11月前
|
存储 监控 分布式数据库
ClickHouse分布式数据库动态伸缩（弹性扩缩容）的实现
实现ClickHouse数据库的动态伸缩需要持续的维护和精细的操作。从集群配置到数据迁移，再到监控和自动化，每一步都要仔细管理以确保服务的可靠性和性能。这些活动可以显著提高应用的响应性和成本效率，帮助业务根据实际需求灵活调整资源分配。
蓝易云
548 10
赵渝强老师
|
12月前
|
存储 关系型数据库 分布式数据库
【赵渝强老师】基于PostgreSQL的分布式数据库：Citus
Citus 是基于 PostgreSQL 的开源分布式数据库，采用 shared nothing 架构，具备良好的扩展性。它以插件形式集成，部署简单，适用于处理大规模数据和高并发场景。本文介绍了 Citus 的基础概念、安装配置步骤及其在单机环境下的集群搭建方法。
赵渝强老师
983 2
阿里云瑶池数据库_
|
Cloud Native 关系型数据库 分布式数据库
登顶TPC-C｜云原生数据库PolarDB技术揭秘：Limitless集群和分布式扩展篇
云原生数据库PolarDB技术揭秘：Limitless集群和分布式扩展篇
阿里云瑶池数据库_
883 46
1436047922066202
|
SQL 存储 分布式数据库
分布式存储数据恢复—hbase和hive数据库数据恢复案例
分布式存储数据恢复环境： 16台某品牌R730xd服务器节点，每台服务器节点上有数台虚拟机。 虚拟机上部署Hbase和Hive数据库。 分布式存储故障： 数据库底层文件被误删除，数据库不能使用。要求恢复hbase和hive数据库。
1436047922066202
524 12
刘大猫.
|
分布式计算 Java Hadoop
java使用hbase、hadoop报错举例
java使用hbase、hadoop报错举例
刘大猫.
430 4
蓝易云
|
分布式计算 Ubuntu Hadoop
Ubuntu22.04下搭建Hadoop3.3.6+Hbase2.5.6+Phoenix5.1.3开发环境的指南
呈上，这些步骤如诗如画，但有效且动人。仿佛一个画家在画布上描绘出一幅完美的画面，这就是你的开发环境。接下来，尽情去创造吧，祝编程愉快!
蓝易云
990 19
武子康
|
分布式计算 Hadoop Shell
Hadoop-35 HBase 集群配置和启动 3节点云服务器 集群效果测试 Shell测试
Hadoop-35 HBase 集群配置和启动 3节点云服务器 集群效果测试 Shell测试
武子康
422 4

热门文章

最新文章

  • 1
    HBase系统架构
  • 2
    HBase进化之从NoSQL到NewSQL，凤凰涅槃成就Phoenix
  • 3
    如何降低90%Java垃圾回收时间？以阿里HBase的GC优化实践为例
  • 4
    深入解读HBase2.0新功能之高可用读Region Replica
  • 5
    双研究员带你了解数据库技术现状，及阿里云为什么要推出HBase
  • 6
    【干货合集】NoSQL技术体系深度解读系列（三）：HBase，海量数据存储、超高并发量场景下的NoSQL利器
  • 7
    hadoop2.6完全分布式安装HBase1.1
  • 8
    HBase指南 | HBase 2.0之修复工具HBCK2运维指南
  • 9
    Apache HBase 落地JAVA 实战
  • 10
    HBase Shell Get 操作常用小技巧
  • 1
    除了JDBC，还有哪些常见的数据库访问技术？
    666
  • 2
    Python SQLAlchemy模块：从入门到实战的数据库操作指南
    920
  • 3
    云栖大会｜AI时代关系型数据库创新突破：软硬协同赋能企业数智化转型
    1567
  • 4
    云栖大会｜AI时代的数据库变革升级与实践：Data+AI驱动企业智能新范式
    1551
  • 5
    云栖大会｜AI浪潮下的NoSQL演进：下一代数据库的破局之道
    769
  • 6
    【赵渝强老师】使用NetManager创建Oracle数据库的监听器
    403
  • 7
    探究ClickHouse数据库的Mutation机制
    411
  • 8
    阿里云RDS云数据库全解析：产品功能、收费标准与活动参考
    1547
  • 9
    云栖重磅｜瑶池数据库：从云原生数据底座向“AI就绪”的多模态数据底座演进
    1084
  • 10
    AI大模型应用实践 八：如何通过RAG数据库实现大模型的私有化定制与优化
    1788

    • 相关课程

    更多
  • 大数据Impala教程
  • 大数据Spark2020最新课程（知识精讲与实战演练）第二阶段
  • 大数据Spark2020版（知识精讲与实战演练）第三阶段
  • 大数据Spark2020版（知识精讲与实战演练）第四阶段
  • 2020版大数据实战项目之DMP广告系统（第三阶段）
  • 2020版大数据实战项目之DMP广告系统（第四阶段）

    • 相关电子书

    更多
  • MaxCompute Serverless 架构演进
  • Data+AI时代大数据平台应该如何建设
  • 大数据AI一体化的解读
    • 下一篇
    阿里云正式发布 Agentic 代码安全：AI驱动的双Agent协同引擎