1.Group By的执行任务
2.distinct的执行任务：
尽量用group by
3.join 执行任务：
从这个实现可以看出，我们在写Hive Join的时候，应该尽可能把小表（分布均匀的表）写在左边，大表（或倾斜表）写在右边。这样可以有效利用内存和硬盘的关系，提高Hive的处理能力。
学会用explain 查看hive sql 执行计划
参考：
Hive sql 执行原理
2023-12-29
73
版权
版权声明：
本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《
阿里云开发者社区用户服务协议》和
《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写
侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。
简介：
Hive sql 执行原理
目录
相关文章
|
24天前
|
SQL
关系型数据库
数据库
SQL数据库：核心原理与应用实践
随着信息技术的飞速发展，数据库管理系统已成为各类组织和企业中不可或缺的核心组件。在众多数据库管理系统中，SQL（结构化查询语言）数据库以其强大的数据管理能力和灵活性，广泛应用于各类业务场景。本文将深入探讨SQL数据库的基本原理、核心特性以及实际应用。一、SQL数据库概述SQL数据库是一种关系型数据库
22
5
5
|
23天前
|
SQL
分布式计算
Hadoop
Hadoop-12-Hive 基本介绍 下载安装配置 MariaDB安装 3台云服务Hadoop集群 架构图 对比SQL HQL
Hadoop-12-Hive 基本介绍 下载安装配置 MariaDB安装 3台云服务Hadoop集群 架构图 对比SQL HQL
42
3
3
|
24天前
|
SQL
监控
安全
|
25天前
|
SQL
关系型数据库
MySQL
|
22天前
|
SQL
分布式计算
大数据
大数据-97 Spark 集群 SparkSQL 原理详细解析 Broadcast Shuffle SQL解析过程（一）
大数据-97 Spark 集群 SparkSQL 原理详细解析 Broadcast Shuffle SQL解析过程（一）
33
0
0
|
22天前
|
SQL
分布式计算
算法
大数据-97 Spark 集群 SparkSQL 原理详细解析 Broadcast Shuffle SQL解析过程（二）
大数据-97 Spark 集群 SparkSQL 原理详细解析 Broadcast Shuffle SQL解析过程（二）
61
0
0
|
22天前
|
SQL
分布式计算
Java
大数据-96 Spark 集群 SparkSQL Scala编写SQL操作SparkSQL的数据源：JSON、CSV、JDBC、Hive
大数据-96 Spark 集群 SparkSQL Scala编写SQL操作SparkSQL的数据源：JSON、CSV、JDBC、Hive
23
0
0
|
22天前
|
SQL
分布式计算
关系型数据库
Hadoop-24 Sqoop迁移 MySQL到Hive 与 Hive到MySQL SQL生成数据 HDFS集群 Sqoop import jdbc ETL MapReduce
Hadoop-24 Sqoop迁移 MySQL到Hive 与 Hive到MySQL SQL生成数据 HDFS集群 Sqoop import jdbc ETL MapReduce
61
0
0
|
25天前
|
SQL
关系型数据库
Serverless
|
25天前
|
SQL
存储
Java
热门文章
最新文章
1
Hive之数据倾斜的原因和解决方法
2
Hive架构优点及使用场景
3
HIVE的安装配置、mysql的安装、hive创建表、创建分区、修改表等内容、hive beeline使用、HIVE的四种数据导入方式、使用Java代码执行hive的sql命令
4
CDP中的Hive3系列之Apache Hive3的特性
5
【Hive】（十二）Hive自定义函数详解（UDF、UDAF、UDTF）
6
spark 3.1.x支持（兼容）hive 1.2.x以及hadoop cdh版本的尝试
7
Hive关联时丢失数据问题和常用的Hive SQL参数设置
8
[Hive]Hive使用指南四 客户端导入数据
9
Hive SQL初级练习（30题）
10
HIVE表 DML 操作——第3关：将 select 查询结果插入 hive 表中
1
mysql一条sql查询出多个统计结果
56
2
启动mysq异常The server quit without updating PID file [FAILED]sql/data/***.pi根本解决方案
58
3
【MySQL】慢SQL分析流程
90
4
java.sql.SQLException: No operations allowed after statement closed.
220
5
一文搞懂SQL优化——如何高效添加数据
418
6
【MySQL技术之旅】（7）总结和盘点优化方案系列之常用SQL的优化
108
7
Cause: java.sql.SQLIntegrityConstraintViolationException: Column ‘id‘ in field list is ambiguous
84
8
Auditing SQL Statements, Privileges, and Other General Activities
34
9
SQL，Group By 真扎心，原来是这样
65
10
踏踏实实练习SQL--day09
76