分区表和分桶表(高频重点)

简介: 分区表和分桶表(高频重点)

分区表:分区表实际上对应 HDFS 文件系统上的独立的文件夹,其实就是分目录,将一个大的数据集根据业务需要分割成小的数据集。在查询时可通过 where 子句中的表达式选择指定的分区,以此避免全表扫描,从而提高查询效率。

分桶表:分区提供了一个隔离数据和优化查询的便利方式,但并不是所有的数据集都可形成合理的分区。对于一张表或者分区表,可以进一步组织成桶,也就是更为细粒度的数据范围。分桶就是将表中记录按分桶键的哈希值分散进多个小文件中,这些小文件称为桶。一般用于数据量极大的时候。

数据分散规则:分桶字段的 hash 值 对 分桶数量进行取模

分桶是相对分区进行更细粒度的划分。分桶将整个数据内容按照某列属性值的 hash 值进行区分,如要按照 name 属性分为 3 个桶,就是对 name 属性值的 hash 值对 3 取摸,按照取模结果对数据分桶。如取模结果为 0 的数据记录存放到一个文件,取模为 1 的数据存放到一个文件,取模为 2 的数据存放到一个文件

分区表和分桶表的区别:

1. 从表现形式上:分区针对的是数据的存储路径,分区表可以理解为文件夹;分桶针对的是数据文件,分桶表是文件。

2. 从创建语句上:分区表使用 partitioned by 子句指定,分桶表由 clustered by 指定。

3. 从数量上:分区表的分区个数可以增长,分桶表一旦指定就不能再增长。

4. 从作用上:分区可以避免全表扫描,根据分区列查询指定目录来提高查询速度

                    分桶的话,数据已经按照分桶字段进行了 hash 散列,所以分桶表数据进行                       抽样和 JOIN 时可以提高 MR 程序效率。

相关文章
|
2月前
|
人工智能 监控 搜索推荐
AI智能体的开发及上线
AI智能体已步入工程化落地新阶段,核心在于感知、规划、记忆与工具调用能力。本文系统梳理从角色定义、知识库构建、提示词编排、RAG集成、工具对接到灰度测试、合规上线及持续优化的全生命周期方法论,助力高效打造可靠、安全、可演进的企业级智能体。(239字)
|
安全 Java 网络安全
Java 实现 SMTP 协议调用的详细示例及实战指南 SMTP Java 调用示例
本文介绍了如何使用Java调用SMTP协议发送邮件,涵盖SMTP基本概念、JavaMail API配置、代码实现及注意事项,适合Java开发者快速掌握邮件发送功能集成。
1496 0
|
11月前
|
SQL 分布式计算 监控
终于有人把数据倾斜讲清楚了
本文深入剖析大数据处理中的“数据倾斜”问题,从现象到本质,结合真实踩坑经历,讲解数据倾斜的成因、典型场景及四步精准定位方法,帮助开发者从根本上理解和解决这一常见难题。
1946 29
终于有人把数据倾斜讲清楚了
|
SQL 存储 HIVE
hive分区与分桶
hive分区与分桶
1002 1
|
12月前
|
人工智能 API 开发者
别再等Manus邀请码了,6.1k star的开源OpenManus了解一下
OpenManus 是开源社区推出的 AI 代理项目,旨在提供一个无需邀请码、人人可自由访问的通用任务处理工具。该项目由 MetaGPT 社区开发者共同维护,核心依赖大型语言模型(LLM),用户可通过配置 API 调用 GPT-4o 等模型执行任务。相比 Manus,OpenManus 具备开源透明、无门槛访问和社区驱动等特点,尽管目前功能尚处初级阶段,但其开放性为未来优化提供了广阔空间。项目安装简便,适合 AI 爱好者快速上手并参与共建。
|
机器学习/深度学习 PyTorch TensorFlow
RT-DETR改进策略【卷积层】| SPD-Conv 针对小目标和低分辨率图像的检测任务
RT-DETR改进策略【卷积层】| SPD-Conv 针对小目标和低分辨率图像的检测任务
930 11
RT-DETR改进策略【卷积层】| SPD-Conv 针对小目标和低分辨率图像的检测任务
|
存储 数据中心 云计算
|
存储 项目管理 开发工具
图解Git——分支开发工作流《Pro Git》
分支开发工作流利用Git的分支功能,支持灵活的项目管理。长期分支如`master`和`develop`分别保存稳定和开发中的代码;短期主题分支用于开发单一特性或修复问题,完成后合并到主分支。此模式确保代码稳定性,支持并行开发、便于审查和灵活调整。建议维护明确的长期分支,保持主题分支短小精悍,并定期清理无用分支。配置上可保护关键分支,遵循命名规范。
717 7
|
资源调度 Kubernetes Java
Flink--2、Flink部署(Yarn集群搭建下的会话模式部署、单作业模式部署、应用模式部署)
Flink--2、Flink部署(Yarn集群搭建下的会话模式部署、单作业模式部署、应用模式部署)
|
存储 SQL 算法
【Hive】ORC、Parquet等列式存储的优点
【4月更文挑战第14天】【Hive】ORC、Parquet等列式存储的优点

热门文章

最新文章