AI 助理
备案控制台
开发者社区 数据库 文章 正文

Hive sql 执行原理

2023-12-29 74
版权
版权声明：
本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《 阿里云开发者社区用户服务协议》和 《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写 侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。
简介： Hive sql 执行原理

1.Group By的执行任务

2.distinct的执行任务：

尽量用group by

3.join 执行任务：

从这个实现可以看出，我们在写Hive Join的时候，应该尽可能把小表（分布均匀的表）写在左边，大表（或倾斜表）写在右边。这样可以有效利用内存和硬盘的关系，提高Hive的处理能力。

学会用explain 查看hive sql 执行计划

Hive底层原理：explain执行计划详解

参考：

hive原理及执行任务流程优化


文章标签：
SQL
HIVE
关键词：
SQL hive
SQL原理
诸葛子房
目录
相关文章
hju6meadphitw
|
1月前
|
SQL 关系型数据库 数据库
SQL数据库：核心原理与应用实践
随着信息技术的飞速发展，数据库管理系统已成为各类组织和企业中不可或缺的核心组件。在众多数据库管理系统中，SQL（结构化查询语言）数据库以其强大的数据管理能力和灵活性，广泛应用于各类业务场景。本文将深入探讨SQL数据库的基本原理、核心特性以及实际应用。一、SQL数据库概述SQL数据库是一种关系型数据库
hju6meadphitw
49 5
武子康
|
1月前
|
SQL 分布式计算 Hadoop
Hadoop-12-Hive 基本介绍 下载安装配置 MariaDB安装 3台云服务Hadoop集群 架构图 对比SQL HQL
Hadoop-12-Hive 基本介绍 下载安装配置 MariaDB安装 3台云服务Hadoop集群 架构图 对比SQL HQL
武子康
60 3
游客qsxez56gggwqy
|
1月前
|
SQL 监控 安全
SQL注入公鸡分类及原理
SQL注入公鸡分类及原理
游客qsxez56gggwqy
19 1
游客qsxez56gggwqy
|
1月前
|
SQL 关系型数据库 MySQL
sql注入原理与实战（三）数据库操作
sql注入原理与实战（三）数据库操作
游客qsxez56gggwqy
13 0
sql注入原理与实战（三）数据库操作
武子康
|
1月前
|
SQL 分布式计算 大数据
大数据-97 Spark 集群 SparkSQL 原理详细解析 Broadcast Shuffle SQL解析过程（一）
大数据-97 Spark 集群 SparkSQL 原理详细解析 Broadcast Shuffle SQL解析过程（一）
武子康
42 0
武子康
|
1月前
|
SQL 分布式计算 算法
大数据-97 Spark 集群 SparkSQL 原理详细解析 Broadcast Shuffle SQL解析过程（二）
大数据-97 Spark 集群 SparkSQL 原理详细解析 Broadcast Shuffle SQL解析过程（二）
武子康
78 0
武子康
|
1月前
|
SQL 分布式计算 Java
大数据-96 Spark 集群 SparkSQL Scala编写SQL操作SparkSQL的数据源：JSON、CSV、JDBC、Hive
大数据-96 Spark 集群 SparkSQL Scala编写SQL操作SparkSQL的数据源：JSON、CSV、JDBC、Hive
武子康
34 0
武子康
|
1月前
|
SQL 分布式计算 关系型数据库
Hadoop-24 Sqoop迁移 MySQL到Hive 与 Hive到MySQL SQL生成数据 HDFS集群 Sqoop import jdbc ETL MapReduce
Hadoop-24 Sqoop迁移 MySQL到Hive 与 Hive到MySQL SQL生成数据 HDFS集群 Sqoop import jdbc ETL MapReduce
武子康
84 0
游客qsxez56gggwqy
|
1月前
|
SQL 关系型数据库 Serverless
sql注入原理与实战（四）数据表操作
sql注入原理与实战（四）数据表操作
游客qsxez56gggwqy
12 0
游客qsxez56gggwqy
|
1月前
|
SQL 存储 Java
sql注入原理与实战（二）数据库原理
sql注入原理与实战（二）数据库原理
游客qsxez56gggwqy
16 0

热门文章

最新文章

  • 1
    Flink SQL 实战：双流 join 场景应用
  • 2
    SQL0286N. DB2表空间的pagesize问题
  • 3
    Oracle查看SQL执行计划的方式
  • 4
    数据字典到SQL语句的转换(使用word与VBA)
  • 5
    SQL Server 2008 存储结构之DCM、BCM
  • 6
    SQL Server 存储过程的运用
  • 7
    Sqlserver与access数据库sql语法十大差异
  • 8
    SQL之用户自定义函数
  • 9
    Sql Server之旅——第二站 理解万恶的表扫描
  • 10
    SQL中几个快速定位语句
  • 1
    Hadoop-12-Hive 基本介绍 下载安装配置 MariaDB安装 3台云服务Hadoop集群 架构图 对比SQL HQL
    67
  • 2
    DataWorks操作报错合集之在进行Hive分区truncate操作时遇到权限不足，怎么解决
    73
  • 3
    ClickHouse(19)ClickHouse集成Hive表引擎详细解析
    212
  • 4
    分布式系统详解 -- Hive1.2.1 安装
    57
  • 5
    杨校老师课题之Hive数据仓库搭建2
    49
  • 6
    杨校老师课题之Hive数据仓库搭建1
    76
  • 7
    Hive怎么调整优化Tez引擎的查询？在Tez上优化Hive查询的指南
    396
  • 8
    sqoop笔记——一次从Hive到PostgreSql的数据迁移
    270
  • 9
    实时计算 Flink版产品使用问题之同步到Hudi的数据是否可以被Hive或Spark直接读取
    272
  • 10
    实时计算 Flink版产品使用问题之kafka2hive同步数据时，如何回溯历史数据
    93

    • 相关课程

    更多
  • SQL完全自学手册
  • SQL Server on Linux入门教程
  • SQL入门与实践
  • 大数据Hive教程精讲
  • 数据库及SQL/MySQL基础
  • SQL进阶及查询

    • 相关电子书

    更多
  • Hive Bucketing in Apache Spark
  • spark替代HIVE实现ETL作业
  • 2019大数据技术公开课第五季—Hive迁移到MaxCompute最佳实践

    • 相关实验场景

    更多
  • SQL的增删改查及函数应用
  • PolarDB MySQL自动SQL限流
  • 如何开通SQL Server的专属集群
  • 使用DAS实现数据库自动SQL优化
  • 使用DAS实现数据库自动SQL限流
  • 一小时快速掌握 SQL 语法
    • 下一篇
    阿里云OSS设置跨域访问