五、Hive表类型、分区及数据加载

在 Hive 中高效构建、管理和查询数据仓库，核心在于精准运用表类型（内部/外部）与分区策略（静态/动态/多重）。这不仅决定数据的生命周期归属，更是优化海量数据查询性能的关键手段。

一、表的身份权责：内部表 vs 外部表

内部表 (Managed Table)

• 定义: Hive 默认。Hive 同时管理元数据和 HDFS 数据（通常在仓库目录创建专属子目录）。
• 数据控制: Hive 拥有并控制数据完整生命周期。
• 生命周期: DROP TABLE 会删除元数据和 HDFS 数据。
• 适用: 临时表、中间结果，或完全由 Hive 控制的数据。

代码：创建内部表

CREATE TABLE clicks_internal (
    session_id STRING,
    click_url STRING
) 
COMMENT '内部表，数据由Hive管理';

外部表 (External Table)

• 定义: 需显式用 EXTERNAL，必须用 LOCATION 指定 HDFS 路径。Hive 仅管理元数据。
• 数据控制: Hive 不拥有数据，数据保留在 LOCATION 原始位置。
• 生命周期: DROP TABLE 仅删元数据，HDFS 数据保留。
• 适用: 管理已存在数据、需共享数据、防误删关键数据。

代码：创建外部表

CREATE EXTERNAL TABLE impressions_external (
    ad_id STRING,
    user_id STRING)COMMENT '外部表，数据独立于Hive'
LOCATION '/data/raw/impressions'; -- 指定数据存储路径

关键操作：若手动在外部表 LOCATION 路径下增删分区目录，需执行 MSCK REPAIR TABLE table_name; 同步元数据。

代码：修复外部表分区

MSCK REPAIR TABLE impressions_external;

核心对比: DROP TABLE 是否删 HDFS 数据；Hive 是否移动/拥有数据。

### 二、查询加速核心：分区表及其数据加载 分区通过 分区键将 大表数据 物理划分到 HDFS 不同子目录，实现 查询剪枝， 极大提升性能。

创建分区表

分区键不是表中实际存储的列，但表现如普通列。 支持 多重分区，形成 层级目录。

代码：创建单分区表
sql CREATE TABLE daily_activity ( user_id BIGINT, type STRING) PARTITIONED BY (dt DATE);
代码：创建多重分区表
sql CREATE TABLE page_views ( user_id BIGINT, page_url STRING) PARTITIONED BY (view_date DATE, country STRING) -- 按日期和国家分区 STORED AS ORC;

数据加载到分区表

关键：必须 确保数据被放入 正确的分区目录。Hive 不推荐直接用 hadoop fs -put 到分区目录（因为这 不会更新元数据，除非后续 MSCK REPAIR 或 ALTER TABLE ADD PARTITION）。主要有两种方式：

1. 静态分区加载

机制: 在加载命令中 明确指定目标分区的所有键值。Hive 知道数据确切的目的地。 方式一：LOAD DATA (通常用于加载 已准备好的文件到 特定分区)
LOCAL 关键字表示文件在运行 Hive 命令的本地机器上（对 HiveServer2 来说是 Server 所在机器）。省略 LOCAL 表示文件在 HDFS 上。 OVERWRITE 会 先清空目标分区再加载。省略则 追加。

代码：从本地加载到单分区
sql LOAD DATA LOCAL INPATH '/path/to/local/activity_20231103.txt' OVERWRITE INTO TABLE daily_activity PARTITION (dt='2023-11-03');
代码：从 HDFS 加载到多重分区
sql LOAD DATA INPATH '/user/data/views_us_20231103' INTO TABLE page_views PARTITION (view_date='2023-11-03', country='US');
方式二：INSERT OVERWRITE/INTO ... PARTITION (通常用于从其他表查询结果并写入特定分区) INSERT OVERWRITE 覆盖分区， INSERT INTO 追加（Hive 0.14+）。

代码：从源表查询插入到特定分区
sql INSERT OVERWRITE TABLE page_views PARTITION (view_date='2023-11-03', country='CA') -- 静态指定分区 SELECT user_id, page_url FROM source_views WHERE event_date = '2023-11-03' AND user_country = 'CA';
静态分区特点: 控制精准；适合分区值已知/固定；分区组合多时语句繁琐。

2. 动态分区加载 机制: 仅用于 INSERT ... SELECT。在 PARTITION 子句中 不指定（或 部分不指定）分区键的值，让 Hive 根据 SELECT 查询结果中 对应列（ 必须是最后几列）的 实际值， 自动推断、 创建分区目录并 写入数据。
核心配置: SET hive.exec.dynamic.partition=true; (必须 启用)
SET hive.exec.dynamic.partition.mode=nonstrict; (推荐。允许所有分区键动态。strict 模式至少需一个静态键，防误操作) (可选) hive.exec.max.dynamic.partitions... 等参数 控制资源。
SELECT 列顺序: 极其重要！SELECT 列表中的最后几列 必须按照 PARTITION 子句中动态分区键的顺序排列，且类型兼容。 代码：全动态分区加载 (单分区键)
sql SET hive.exec.dynamic.partition.mode=nonstrict; INSERT OVERWRITE TABLE daily_activity PARTITION (dt) -- dt 是动态分区键 SELECT user_id, type, event_date -- event_date 的值将决定 dt 分区值 FROM source_table; 代码：全动态分区加载 (多重分区键)
sql SET hive.exec.dynamic.partition.mode=nonstrict; INSERT OVERWRITE TABLE page_views PARTITION (view_date, country) -- view_date, country 都是动态分区键 SELECT user_id, page_url, event_date, user_country -- 最后两列对应分区键 FROM source_views; 代码：混合分区加载 (多重分区，静态+动态)
sql -- 静态指定 view_date, 动态指定 country INSERT OVERWRITE TABLE page_views PARTITION (view_date='2023-11-03', country) -- 静态在前，动态在后 SELECT user_id, page_url, user_country -- 最后一列对应动态分区键 country FROM source_views WHERE event_date = '2023-11-03'; 动态分区特点: 自动化、 便捷，尤其适合 批量转换或分区值 多样/未知； 需小心配置， 谨防意外产生 过多小分区或 数据倾斜。

手动管理分区

除加载外，可直接操作分区元数据。 代码：手动添加/删除/修改分区
sql ALTER TABLE page_views ADD IF NOT EXISTS PARTITION (view_date='2023-11-04', country='CA'); ALTER TABLE page_views DROP IF EXISTS PARTITION (view_date='2023-11-01', country='UK'); ALTER TABLE page_views PARTITION (view_date='2023-11-03', country='US') SET LOCATION 'hdfs:///new/path/...'; -- 修改路径 (不移动数据)

### *三、实战演练与深度思考

练习题 1:
/data/shared_logs 有需长期保留、多部门共享的日志。应创建内部表还是外部表？为何？若手动在 HDFS 增新分区目录及数据，如何让 Hive 感知？

练习题 2:
源表 orders_source (含 order_id, user_id, order_amount, order_country, order_date DATE)。创建按国家和日期分区的外部表 orders_partitioned (ORC格式，数据存 /data/orders_part)，并写动态分区导入数据的 INSERT 语句。

练习题 3:
静态分区 PARTITION 子句的值与源数据列值必须一致吗？动态分区呢？解释原因。

练习题 4:
表 daily_activity 按 dt 分区。SELECT COUNT(*) FROM daily_activity WHERE user_id = 123; 会利用分区提速吗？为什么？如何设计能让基于 user_id 的查询提速？

练习题 5:
解释 hive.exec.dynamic.partition.mode=strict 与 nonstrict 的区别及 strict 设计意图。

练习题 6:
如何将内部表 prod_data 无风险转为外部表？写 ALTER 语句。

练习题 7 (代码):
查看 orders_partitioned 表的完整 DDL (创建语句)。

练习题 8 (代码):
列出 orders_partitioned 表中 order_country='CA' 的所有分区。

练习题 9 (代码):
为分区表 metrics_table (分区键 report_date DATE) 批量添加 2023-12-01 到 2023-12-05 的分区元数据（假设 HDFS 目录结构已备好）。

练习题 10 (代码):
从 orders_partitioned 表中一次性删除多个分区：country='JP', date='2023-06-18' 和 country='KR', date='2023-06-19'。

练习题 11 (代码):
写查询计算 orders_partitioned 表中 order_country 为 'DE' 或 'FR'，且 order_date 在 2023年第三季度的总订单数。

练习题 12 (代码):
查看 page_views 表的分区键信息。

练习题 13 (代码):
使用 INSERT OVERWRITE DIRECTORY 将 page_views 表特定分区 (date='2023-11-03', country='US') 数据导出到本地目录 /tmp/exported_data，字段分隔符为 |。

练习题 14 (代码):
假设 daily_activity 表你想按 dt 和 type 进行动态分区，源表 source_table 包含 user_id, activity_type, event_date。写出正确的 INSERT ... SELECT 语句，确保动态分区列顺序正确。

练习题 15 (代码):
创建一个内部表 user_profiles，包含 user_id INT, profile MAP<STRING,STRING>，字段分隔符为 ,，Map 键值对分隔符为 #，Map 内 KV 分隔符为 :。

---

答案解析

答案 1:

外部表。原因：数据 独立、需 共享/保留； DROP 安全。执行 MSCK REPAIR TABLE table_name; 同步新分区。

答案 2:
DDL:
sql CREATE EXTERNAL TABLE orders_partitioned ( order_id BIGINT, user_id BIGINT, order_amount DECIMAL(18,2)) PARTITIONED BY (order_country STRING, order_date DATE) STORED AS ORC LOCATION '/data/orders_part';
INSERT:
sql SET hive.exec.dynamic.partition.mode=nonstrict; INSERT OVERWRITE TABLE orders_partitioned PARTITION (order_country, order_date) SELECT order_id, user_id, order_amount, order_country, order_date FROM orders_source;

答案 3:
静态：不必。指定值决定目录。 动态： 必须。分区值 源自 SELECT 列 实际值。

答案 4:
不会。 WHERE 未用分区键 dt。基于 user_id 提速可考虑 分桶 ( CLUSTERED BY (user_id) ...)。

答案 5:
strict 要求至少一个静态分区键。 意图： 防误操作（如忘加 WHERE） 全表扫描创 海量分区。 nonstrict 无此限制。

答案 6:
sql ALTER TABLE prod_data SET TBLPROPERTIES('EXTERNAL'='TRUE');

答案 7:
sql SHOW CREATE TABLE orders_partitioned;

答案 8:
sql SHOW PARTITIONS orders_partitioned PARTITION(order_country='CA');

答案 9:
标准 HiveQL 不支持日期范围批量 ADD PARTITION。需 脚本循环或 MSCK REPAIR。
脚本思路 (伪代码):
bash for day in {01..05}; do hive -e "ALTER TABLE metrics_table ADD IF NOT EXISTS PARTITION (report_date='2023-12-${day}');" done

答案 10:
需 执行多次 ALTER TABLE ... DROP PARTITION。
sql ALTER TABLE orders_partitioned DROP IF EXISTS PARTITION (order_country='JP', order_date='2023-06-18'); ALTER TABLE orders_partitioned DROP IF EXISTS PARTITION (order_country='KR', order_date='2023-06-19');

答案 11:
sql SELECT COUNT(*) FROM orders_partitioned WHERE order_country IN ('DE', 'FR') AND order_date >= '2023-07-01' AND order_date <= '2023-09-30';

答案 12:
sql DESCRIBE FORMATTED page_views; -- 查看 "# Partition Information" -- 或 DESCRIBE page_views; -- 分区键列在最后

答案 13:
sql INSERT OVERWRITE LOCAL DIRECTORY '/tmp/exported_data' -- LOCAL 指本地 ROW FORMAT DELIMITED FIELDS TERMINATED BY '|' SELECT user_id, page_url, view_time -- 选择需要的列，而不是 * FROM page_views WHERE view_date='2023-11-03' AND country='US';

答案 14:
需要创建 daily_activity 表时定义分区键为 PARTITIONED BY (dt DATE, type STRING)。
sql SET hive.exec.dynamic.partition.mode=nonstrict; INSERT OVERWRITE TABLE daily_activity PARTITION (dt, type) -- dt 和 type 都是动态 SELECT user_id, event_date, activity_type -- 最后两列 event_date, activity_type 对应分区键 FROM source_table;

答案 15:
sql CREATE TABLE user_profiles ( user_id INT, profile MAP<STRING,STRING> ) ROW FORMAT DELIMITED FIELDS TERMINATED BY ',' COLLECTION ITEMS TERMINATED BY '#' -- Map 内 KVP 分隔符 MAP KEYS TERMINATED BY ':'; -- Map 内 K 和 V 分隔符

---

结语：因地制宜，优化存储与查询

精准运用 Hive 的表类型与分区策略是数据仓库建设和性能调优的核心。根据数据生命周期、共享需求、查询模式等因素，审慎设计，能显著提升数据管理效率和查询响应。