AI 助理
备案控制台
开发者社区 大数据 文章 正文

图解大数据 | Hive与HBase详解@海量数据库查询

2022-04-21 1278
版权
版权声明：
本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《 阿里云开发者社区用户服务协议》和 《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写 侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。
本文涉及的产品
云原生大数据计算服务 MaxCompute，5000CU*H 100GB 3个月
云原生网关 MSE Higress，422元/月
注册配置 MSE Nacos/ZooKeeper，118元/月
简介： HBase是建立在Hadoop文件系统之上的、分布式面向列的数据库，包含Region Server、HBase Master、ZooKeeper等三个组件。Hive是基于Hadoop的一个数据仓库工具，用于结构化数据的查询、分析和汇总。

ShowMeAI研究中心

作者：韩信子@ShowMeAI
教程地址：http://www.showmeai.tech/tutorials/84
本文地址：http://www.showmeai.tech/article-detail/172
声明：版权所有，转载请联系平台与作者并注明出处

收藏ShowMeAI查看更多精彩内容

1.大数据与数据库

1）从Hadoop到数据库

大家知道在计算机领域，关系数据库大量用于数据存储和维护的场景。大数据的出现后，很多公司转而选择像 Hadoop/Spark 的大数据解决方案。

Hadoop使用分布式文件系统，用于存储大数据，并使用MapReduce来处理。Hadoop擅长于存储各种格式的庞大的数据，任意的格式甚至非结构化的处理。

2）Hadoop的限制

Hadoop非常适合批量处理任务，但它只以顺序方式访问数据。这意味着如果要查询，必须搜索整个数据集，即使是最简单的搜索工作。

当处理结果在另一个庞大的数据集，也是按顺序处理一个巨大的数据集。在这一点上，一个新的解决方案，需要访问数据中的任何点（随机访问）单元。

3）HBase与大数据数据库

HBase是建立在Hadoop文件系统之上的分布式面向列的数据库。

HBase是一个数据模型，类似于谷歌的Bigtable设计，可以提供快速随机访问海量结构化数据。它利用了Hadoop的文件系统（HDFS）提供的容错能力。

它是Hadoop的生态系统，提供对数据的随机实时读/写访问，是Hadoop文件系统的一部分。我们可以直接或通过HBase的存储HDFS数据。使用HBase在HDFS读取消费/随机访问数据。 HBase在Hadoop的文件系统之上，并提供了读写访问。

2.BigTable与HBase

要提到HBase，就要顺带提到google的Bigtable。HBase是在谷歌BigTable的基础之上进行开源实现的，是一个高可靠、高性能、面向列、可伸缩的分布式数据库，可以用来存储非结构化和半结构化的稀疏数据。

1）结构化数据和非结构化数据

BigTable和HBase存储的都是非结构化数据。

海量数据库与查询; Hive与HBase详解; BigTable与HBase; 结构化数据&非结构化数据; 6-1

2）BigTable简介

BigTable是一个用于管理结构化数据的分布式存储系统，构建在GFS、Chubby、SSTable等google技术之上。本质上说，BigTable是一个稀疏的、分布式的、持久化的、多维的、排序的键值（key-value）映射。

海量数据库与查询; Hive与HBase详解; BigTable与HBase; BigTable简介; 6-2

3）HBase简介

  • HBase是一个高可靠、高性能、面向列、可伸缩的分布式数据库，是谷歌BigTable的开源实现。
  • HBase主要用来存储非结构化和半结构化的松散数据，目标是处理非常庞大的表，可以通过水平扩展的方式，利用廉价计算机集群处理由超过10亿行数据和数百万列元素组成的数据表。

海量数据库与查询; Hive与HBase详解; BigTable与HBase; HBase简介; 6-3

4）HBase在大数据生态环境中的位置

HBase在大数据生态环境中的位置如下图所示，它建立在Hadoop HDFS之上的分布式面向列的数据库。

海量数据库与查询; Hive与HBase详解; BigTable与HBase; HBase在大数据生态环境中的位置; 6-4

5）HBase的特点

如下图所示，HBase有以下特点：

海量数据库与查询; Hive与HBase详解; BigTable与HBase; HBase的特点; 6-5

  • 大：一个表可以有上亿行，上百万列。
  • 面向列：面向列表(簇)的存储和权限控制，列(簇)独立检索。
  • 稀疏：对于为空(NULL)的列，并不占用存储空间，因此，表可以设计的非常稀疏。
  • 无模式：每一行都有一个可以排序的主键和任意多的列，列可以根据需要动态增加，同一张表中不同的行可以有截然不同的列。
  • 数据多版本：每个单元的数据有多个版本，默认情况下，版本号是单元格插入时的时间戳。
  • 数据类型单一：HBase中的数据都是字符串，没有类型。　

6）HBase的访问接口

类型 特点 场合
Native Java API 最常规和高效的访问方式 适合Hadoop MapReduce作业并行批处理HBase表数据
HBase Shell HBase的命令行工具 最简单的接口 适合HBase管理使用
Thrift Gateway 利用Thrift序列化技术 支持C++、PHP、Python等 适合其他异构系统在线访问HBase表数据
REST Gateway 解除了语言限制 支持REST风格的Http API访问HBase
Pig 使用Pig Latin流式编程语言来处理HBase中的数据 适合做数据统计
Hive 简单 当需要以类似SQL语言方式来访问HBase的时候

3.HBase数据模型

1）逻辑存储模型

组件 描述
表 Table HBase采用表来组织数据，表由行和列组成，列划分为若干个列族
行 Row 每个HBase表都由若干行组成，每个行由行键（row key）来标识
列族 Column Family 一个HBase表被分组成许多“列族”（Column Family）的集合
列限定符Column Qualifier 列族里的数据通过列限定符（或列）来定位
单元格 Cell 通过行、列族和列限定符确定一个单元格，单元格中存储的数据都视为byte
时间戳 Times tamp 同一份数据的多个版本，时间戳用于索引数据版本

HBase中需要根据行键、列族、列限定符和时间戳来确定一个单元格。因此，可以视为一个“四维坐标”，即 [行键, 列族, 列限定符, 时间戳] 。

海量数据库与查询; Hive与HBase详解; HBase数据模型; 逻辑存储模型; 6-6

2）物理存储模型

Table在行的方向上分割为多个Region，每个Region分散在不同的RegionServer中。

海量数据库与查询; Hive与HBase详解; HBase数据模型; 物理存储模型; 6-7

每个HRegion由多个Store构成，每个Store由一个MemStore和0或多个StoreFile组成，每个Store保存一个Columns Family。StoreFile以HFile格式存储在HDFS中。

海量数据库与查询; Hive与HBase详解; HBase数据模型; 物理存储模型; 6-8

4.HBase系统架构

1）HBase架构组件

HBase包含以下三个组件：

  • Region Server：提供数据的读写服务，当客户端访问数据时，直接和Region Server通信。
  • HBase Master：Region的分配，DDL操作(创建表，删除表)。
  • ZooKeeper：是HDFS的一部分，维护一个活跃的集群状态。

海量数据库与查询; Hive与HBase详解; HBase系统架构; HBase架构组件; 6-9

2）Region组件

HBase Tables 通过行健的范围(row key range)被水平切分成多个Region。一个Region包含了所有的在Region开始键(startKey)和结束键(endKey)之内的行。
Regions被分配到集群的节点上，成为Region Servers，提供数据的读写服务；一个Region Server可以服务1000个Region。

海量数据库与查询; Hive与HBase详解; HBase系统架构; HBase架构组件; Region; 6-10

3）HMaster组件

海量数据库与查询; Hive与HBase详解; HBase系统架构; HBase架构组件; HMaster; 6-11

  • 分配Region，DDL操作(创建表， 删除表)。
  • 协调各个Reion Server：在启动时分配Region、在恢复或是负载均衡时重新分配Region；监控所有集群当中的Region Server实例，从ZooKeeper中监听通知。
  • 提供创建、删除、更新表的接口。

4）ZooKeeper组件

海量数据库与查询; Hive与HBase详解; HBase系统架构; HBase架构组件; ZooKeeper; 6-12

  • HBase使用ZooKeeper作为分布式协调服务，来维护集群中的Server状态。
  • ZooKeeper维护着哪些Server是活跃或是可用的，提供Server 失败时的通知。
  • Zookeeper使用一致性机制来保证公共的共享状态，注意，需要使用奇数的三台或五台机器，保证一致。

5.Hive介绍

1）Hive简介

Hive是基于Hadoop的一个数据仓库工具，用于结构化数据的查询、分析和汇总。Hive提供类SQL查询功能，它将SQL转换为MapReduce程序。

Hive不支持OLTP，Hive无法提供实时查询。

2）Hive在大数据生态环境中的位置

海量数据库与查询; Hive与HBase详解; Hive介绍; Hive在大数据; 生态环境中的位置; 6-13

3）Hive特点

Hive的优点

  • 简单容易上手：提供了类SQL查询语言HQL。
  • 可扩展：一般情况下不需要重启服务Hive可以自由的扩展集群的规模。
  • 提供统一的元数据管理。
  • 延展性：Hive支持用户自定义函数，用户可以根据自己的需求来实现自己的函数。
  • 容错：良好的容错性，节点出现问题SQL仍可完成执行。

海量数据库与查询; Hive与HBase详解; Hive介绍; Hive特点; 6-14

Hive的缺点(局限性)

  • Hive的HQL表达能力有限：迭代式算法无法表达，比如pagerank；数据挖掘方面，比如kmeans。
  • Hive的效率比较低：Hive自动生成的MapReduce作业，不够智能化；Hive调优比较困难，粒度较粗；Hive可控性差。

4）Hive与传统数据库对比

海量数据库与查询; Hive与HBase详解; Hive介绍; Hive VS 传统数据库; 6-15

5）Hive的体系架构

海量数据库与查询; Hive与HBase详解; Hive介绍; Hive的体系架构; 6-16

  • client 三种访问方式：CLI、JDBC/ODBC、WEBUI。
  • Meta store 元数据：表名、表所属数据库、表拥有者、列、分区字段、表类型、表数据所在的目录等，默认存储在自带的derby数据库中。
  • Driver：解析器、编译器、优化器、执行器。

6）Hive中的数据模型

海量数据库与查询; Hive与HBase详解; Hive介绍; Hive中的数据模型; 6-17

Hive 中所有的数据都存储在 HDFS 中Hive 中包含以下数据模型：

  • 表(Table)
  • 外部表(External Table)
  • 分区(Partition)
  • 桶(Bucket)

6.SQL介绍与Hive应用场景

1）数据库操作和表操作

作用 HiveQL
查看所有数据库 SHOW DATABASES;
使用指定的数据库 USE database_name;
创建指定名称的数据库 CREATE DATABASE database_name;
删除数据库 DROP DATABASE database_name;
创建表 CREATE TABLE pokes (foo INT, bar STRING)
查看所有的表 SHOW TABLES
支持模糊查询 SHOW TABLES 'TMP'
查看表有哪些分区 SHOW PARTITIONS TMP_TABLE
查看表结构 DESCRIBE TMP_TABLE
创建表并创建索引ds CREATE TABLE invites (foo INT, bar STRING) PARTITIONED BY (ds STRING)
复制一个空表 CREATE TABLE empty_key_value_store LIKE key_value_store
表添加一列 ALTER TABLE pokes ADD COLUMNS (new_col INT)
更改表名 ALTER TABLE events RENAME TO 3koobecaf

2）查询语句

作用 HiveQL
检索信息 SELECT from_columns FROM table WHERE conditions;
选择所有的数据 SELECT * FROM table;
行筛选 SELECT * FROM table WHERE rec_name = "value";
多个限制条件 SELECT * FROM TABLE WHERE rec1 = "value1" AND rec2 = "value2";
选择多个特定的列 SELECT column_name FROM table;
检索unique输出记录 SELECT DISTINCT column_name FROM table;
排序 SELECT col1, col2 FROM table ORDER BY col2;
逆序 SELECT col1, col2 FROM table ORDER BY col2 DESC;
统计行数 SELECT COUNT(*) FROM table;
分组统计 SELECT owner, COUNT(*) FROM table GROUP BY owner;
求某一列最大值 SELECT MAX(col_name) AS label FROM table;
从多个表中检索信息 SELECT pet.name, comment FROM pet JOIN event ON (pet.name = event.name);

3）Hive的应用场景

Hive并不适合需要低延迟的应用，适合于大数据集的批处理作业：

  • 日志分析：大部分互联网公司使用hive进行日志分析，包括百度、淘宝等。例如，统计网站一个时间段内的pv、uv，多维度数据分析等。
  • 海量结构化数据离线分析。

4）Hive和HBase的区别与联系

海量数据库与查询; Hive与HBase详解; SQL介绍&Hive应用; Hive VS HBase; 6-18

参考资料

【大数据技术与处理】推荐阅读

ShowMeAI 系列教程推荐

ShowMeAI用知识加速每一次技术成长

文章标签：
云数据库HBase版
微服务引擎
云原生大数据计算服务 MaxCompute
分布式计算
SQL
Hbase
Spark
Hadoop
HIVE
数据库
存储
大数据
分布式数据库
关键词：
云原生大数据计算服务 MaxCompute查询
数据库查询
云原生大数据计算服务 MaxCompute海量数据
云原生大数据计算服务 MaxCompute数据库
云原生大数据计算服务 MaxCompute hive
相关实践学习
lindorm多模间数据无缝流转
展现了Lindorm多模融合能力——用kafka API写入，无缝流转在各引擎内进行数据存储和计算的实验。
云数据库HBase版使用教程
  相关的阿里云产品：云数据库 HBase 版 面向大数据领域的一站式NoSQL服务，100%兼容开源HBase并深度扩展，支持海量数据下的实时存储、高并发吞吐、轻SQL分析、全文检索、时序时空查询等能力，是风控、推荐、广告、物联网、车联网、Feeds流、数据大屏等场景首选数据库，是为淘宝、支付宝、菜鸟等众多阿里核心业务提供关键支撑的数据库。 了解产品详情: https://cn.aliyun.com/product/hbase   ------------------------------------------------------------------------- 阿里云数据库体验：数据库上云实战 开发者云会免费提供一台带自建MySQL的源数据库 ECS 实例和一台目标数据库 RDS实例。跟着指引，您可以一步步实现将ECS自建数据库迁移到目标数据库RDS。 点击下方链接，领取免费ECS&RDS资源，30分钟完成数据库上云实战！https://developer.aliyun.com/adc/scenario/51eefbd1894e42f6bb9acacadd3f9121?spm=a2c6h.13788135.J_3257954370.9.4ba85f24utseFl
ShowMeAI
目录
相关文章
WangBai
|
20天前
|
存储 缓存 网络协议
数据库执行查询请求的过程？
客户端发起TCP连接请求，服务端通过连接器验证主机信息、用户名及密码，验证通过后创建专用进程处理交互。服务端进程缓存以减少创建和销毁线程的开销。后续步骤包括缓存查询（8.0版后移除）、语法解析、查询优化及存储引擎调用，最终返回查询结果。
WangBai
26 6
m1a6
|
1月前
|
SQL 安全 Java
MyBatis-Plus条件构造器：构建安全、高效的数据库查询
MyBatis-Plus 提供了一套强大的条件构造器（Wrapper），用于构建复杂的数据库查询条件。Wrapper 类允许开发者以链式调用的方式构造查询条件，无需编写繁琐的 SQL 语句，从而提高开发效率并减少 SQL 注入的风险。
m1a6
30 1
MyBatis-Plus条件构造器：构建安全、高效的数据库查询
codetrend
|
18天前
|
SQL JavaScript 程序员
数据库LIKE查询屡试不爽？揭秘大多数人都忽视的秘密操作符！
本文分析了因数据库中的不可见空白字符导致的数据查询问题，探讨了问题的成因与特性，并提出了使用 SQL 语句修复问题的有效方案。同时，总结了避免类似问题的经验和注意事项。
codetrend
27 0
土木林森
|
1月前
|
SQL 机器学习/深度学习 分布式计算
Spark快速上手：揭秘大数据处理的高效秘密，让你轻松应对海量数据
【10月更文挑战第25天】本文全面介绍了大数据处理框架 Spark，涵盖其基本概念、安装配置、编程模型及实际应用。Spark 是一个高效的分布式计算平台，支持批处理、实时流处理、SQL 查询和机器学习等任务。通过详细的技术综述和示例代码，帮助读者快速掌握 Spark 的核心技能。
土木林森
89 6
dufadayang
|
1月前
|
存储 缓存 固态存储
怎么让数据库查询更快
【10月更文挑战第28天】
dufadayang
37 2
大树营养快线
|
1月前
|
存储 缓存 关系型数据库
怎么让数据库查询更快
【10月更文挑战第25天】通过以上综合的方法，可以有效地提高数据库查询的速度，提升应用程序的性能和响应速度。但在优化过程中，需要根据具体的数据库系统、应用场景和数据特点进行合理的调整和测试，以找到最适合的优化方案。
大树营养快线
34 4
游客54bz4h3flp7ai
|
25天前
|
JSON JavaScript 关系型数据库
node.js连接GBase 8a 数据库 并进行查询代码示例
node.js连接GBase 8a 数据库 并进行查询代码示例
游客54bz4h3flp7ai
29 0
土木林森
|
1月前
|
监控 关系型数据库 MySQL
数据库优化：MySQL索引策略与查询性能调优实战
【10月更文挑战第27天】本文深入探讨了MySQL的索引策略和查询性能调优技巧。通过介绍B-Tree索引、哈希索引和全文索引等不同类型，以及如何创建和维护索引，结合实战案例分析查询执行计划，帮助读者掌握提升查询性能的方法。定期优化索引和调整查询语句是提高数据库性能的关键。
土木林森
268 1
刘大猫.
|
1月前
|
存储 关系型数据库 MySQL
查询服务器CPU、内存、磁盘、网络IO、队列、数据库占用空间等等信息
查询服务器CPU、内存、磁盘、网络IO、队列、数据库占用空间等等信息
刘大猫.
707 2
土木林森
|
1月前
|
SQL 关系型数据库 数据库
PostgreSQL性能飙升的秘密：这几个调优技巧让你的数据库查询速度翻倍！
【10月更文挑战第25天】本文介绍了几种有效提升 PostgreSQL 数据库查询效率的方法，包括索引优化、查询优化、配置优化和硬件优化。通过合理设计索引、编写高效 SQL 查询、调整配置参数和选择合适硬件，可以显著提高数据库性能。
土木林森
340 1

热门文章

最新文章

  • 1
    丰富、连接、待集成—MaxCompute 生态再出发
  • 2
    日交易笔百万级，Ping++的大数据平台架构
  • 3
    MyBatis Plus 解决大数据量查询慢问题
  • 4
    云计算＆大数据 “下一幕”智能变革之力
  • 5
    计世资讯：用户对大数据安全分析需求逐渐迫切
  • 6
    科学家组建大数据平台解决科研资源共享难题
  • 7
    2020年M2M收入达160亿美金 运营商需加强“大数据”能力
  • 8
    《离线和实时大数据开发实战》（二）大数据平台架构 & 技术概览1
  • 9
    Mysql5.7使用DTS增量同步数据到MaxCompute
  • 10
    北京探索“大数据”惠民 政府公布数据供社会开发
  • 1
    实时计算 Flink版操作报错合集之使用 Event Time Temporal Join 关联多个 HBase 后，Kafka 数据的某个字段变为 null 是什么原因导致的
    150
  • 2
    实时计算 Flink版操作报错合集之使用 Event Time Temporal Join 关联多个 HBase 后，Kafka 数据的某个字段变为 null 是什么原因导致的
    105
  • 3
    实时计算 Flink版产品使用合集之可以支持批量写入HBase吗
    77
  • 4
    Hbase2.2.2在线安装配置（对应Hadoop 3.1.3）
    131
  • 5
    熟悉常用的HBase操作
    168
  • 6
    【分布式计算框架】HBase数据库编程实践
    126
  • 7
    Hbase与MySQL对比，区别是什么？
    309
  • 8
    【HBase入门与实战】一文搞懂HBase!
    995
  • 9
    实现HBase表和RDB表的转化(附Java源码资源)
    61
  • 10
    Ganglia监控Hadoop与HBase集群
    68

    • 相关课程

    更多
  • 数据库的前世今生
  • 数据库核心概念
  • 从传统数据库到云数据库演进
  • 数据库常见问题排查
  • 数据库及SQL/MySQL基础
  • 高校精品课-西安交通大学 -数据库理论与技术

    • 相关电子书

    更多
  • DTCC 2022大会集锦《云原生一站式数据库技术与实践》
  • 阿里云瑶池数据库精要2022版
  • 2022 DTCC-阿里云一站式数据库上云最佳实践

    • 相关实验场景

    更多
  • 使用DAS实现数据库SQL优化
  • 自建数据库迁移到云数据库
  • 基于OpenSearch向量检索版和MaxCompute快速搭建图搜服务
  • 倚天大数据电商数据分析快速实践
  • PolarDB for AI：在数据库中通过SQL实现AI能力
  • 云原生HTAP数据库，让你的交易和分析一库搞定
    • 下一篇
    【案例实战】SpringBoot整合阿里云文件上传OSS