AI 助理
备案控制台
开发者社区 数据库 文章 正文

Hive sql 执行原理

2023-12-29 77
版权
版权声明：
本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《 阿里云开发者社区用户服务协议》和 《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写 侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。
简介： Hive sql 执行原理

1.Group By的执行任务

2.distinct的执行任务：

尽量用group by

3.join 执行任务：

从这个实现可以看出，我们在写Hive Join的时候，应该尽可能把小表（分布均匀的表）写在左边，大表（或倾斜表）写在右边。这样可以有效利用内存和硬盘的关系，提高Hive的处理能力。

学会用explain 查看hive sql 执行计划

Hive底层原理：explain执行计划详解

参考：

hive原理及执行任务流程优化


文章标签：
SQL
HIVE
关键词：
SQL原理
SQL hive
诸葛子房
目录
相关文章
栈江湖
|
11天前
|
SQL 存储 分布式计算
了解Hive 工作原理：Hive 是如何工作的？
Apache Hive 是一个建立在 Hadoop 之上的分布式数据仓库系统，提供类 SQL 查询语言 HiveQL，便于用户进行大规模数据分析。Hive Metastore（HMS）是其关键组件，用于存储表和分区的元数据。Hive 将 SQL 查询转换为 MapReduce 任务执行，适合处理 PB 级数据，但查询效率较低，不适合实时分析。优点包括易于使用、可扩展性强；缺点则在于表达能力有限和不支持实时查询。
栈江湖
24 3
拉丁解牛说技术
|
28天前
|
SQL 存储 关系型数据库
MySQL进阶突击系列(01)一条简单SQL搞懂MySQL架构原理 | 含实用命令参数集
本文从MySQL的架构原理出发，详细介绍其SQL查询的全过程，涵盖客户端发起SQL查询、服务端SQL接口、解析器、优化器、存储引擎及日志数据等内容。同时提供了MySQL常用的管理命令参数集，帮助读者深入了解MySQL的技术细节和优化方法。
拉丁解牛说技术
60 3
hju6meadphitw
|
2月前
|
SQL 关系型数据库 数据库
SQL数据库：核心原理与应用实践
随着信息技术的飞速发展，数据库管理系统已成为各类组织和企业中不可或缺的核心组件。在众多数据库管理系统中，SQL（结构化查询语言）数据库以其强大的数据管理能力和灵活性，广泛应用于各类业务场景。本文将深入探讨SQL数据库的基本原理、核心特性以及实际应用。一、SQL数据库概述SQL数据库是一种关系型数据库
hju6meadphitw
119 5
武子康
|
2月前
|
SQL 分布式计算 Hadoop
Hadoop-12-Hive 基本介绍 下载安装配置 MariaDB安装 3台云服务Hadoop集群 架构图 对比SQL HQL
Hadoop-12-Hive 基本介绍 下载安装配置 MariaDB安装 3台云服务Hadoop集群 架构图 对比SQL HQL
武子康
89 3
游客qsxez56gggwqy
|
2月前
|
SQL 监控 安全
SQL注入公鸡分类及原理
SQL注入公鸡分类及原理
游客qsxez56gggwqy
24 1
游客qsxez56gggwqy
|
2月前
|
SQL 关系型数据库 MySQL
sql注入原理与实战（三）数据库操作
sql注入原理与实战（三）数据库操作
游客qsxez56gggwqy
18 0
sql注入原理与实战（三）数据库操作
武子康
|
2月前
|
SQL 分布式计算 大数据
大数据-97 Spark 集群 SparkSQL 原理详细解析 Broadcast Shuffle SQL解析过程（一）
大数据-97 Spark 集群 SparkSQL 原理详细解析 Broadcast Shuffle SQL解析过程（一）
武子康
78 0
武子康
|
2月前
|
SQL 分布式计算 算法
大数据-97 Spark 集群 SparkSQL 原理详细解析 Broadcast Shuffle SQL解析过程（二）
大数据-97 Spark 集群 SparkSQL 原理详细解析 Broadcast Shuffle SQL解析过程（二）
武子康
95 0
武子康
|
2月前
|
SQL 分布式计算 Java
大数据-96 Spark 集群 SparkSQL Scala编写SQL操作SparkSQL的数据源：JSON、CSV、JDBC、Hive
大数据-96 Spark 集群 SparkSQL Scala编写SQL操作SparkSQL的数据源：JSON、CSV、JDBC、Hive
武子康
71 0
武子康
|
2月前
|
SQL 分布式计算 关系型数据库
Hadoop-24 Sqoop迁移 MySQL到Hive 与 Hive到MySQL SQL生成数据 HDFS集群 Sqoop import jdbc ETL MapReduce
Hadoop-24 Sqoop迁移 MySQL到Hive 与 Hive到MySQL SQL生成数据 HDFS集群 Sqoop import jdbc ETL MapReduce
武子康
112 0

热门文章

最新文章

  • 1
    Flask 框架防止 SQL 注入攻击的方法
  • 2
    Vanna：开源 AI 检索生成框架，自动生成精确的 SQL 查询
  • 3
    SQL自学笔记（3）：SQL里的DCL,DQL都代表什么？
  • 4
    Flink SQL Deduplication 去重以及如何获取最新状态操作
  • 5
    MySQL导入.sql文件后数据库乱码问题
  • 6
    MySQL进阶突击系列(02)一条更新SQL执行过程 | 讲透undoLog、redoLog、binLog日志三宝
  • 7
    MySQL 高级(进阶) SQL 语句
  • 8
    MySQL进阶突击系列(01)一条简单SQL搞懂MySQL架构原理 | 含实用命令参数集
  • 9
    SQL自学笔记（1）：什么是SQL？有什么用？
  • 10
    SQL慢查询优化策略
  • 1
    Hive函数全解——思维导图 + 七种函数类型
    165
  • 2
    Hive UDF UDTF UDAF 自定义函数详解
    150
  • 3
    Hive的查询、数据加载和交换、聚合、排序、优化
    160
  • 4
    Hive详解、配置、数据结构、Hive CLI
    137
  • 5
    Hive精选10道面试题
    321
  • 6
    Hive 拉链表详解及实例
    316
  • 7
    Hive 数仓及数仓设计方案
    176
  • 8
    Hive 优化总结
    175
  • 9
    Hive实战 —— 电商数据分析(全流程详解 真实数据)
    1184
  • 10
    DataWorks操作报错合集之DataWorks连接Hive数据库时出现连接超时的问题如何解决
    115

    • 相关课程

    更多
  • SQL完全自学手册
  • SQL Server on Linux入门教程
  • SQL入门与实践
  • 大数据Hive教程精讲
  • 数据库及SQL/MySQL基础
  • SQL进阶及查询

    • 相关电子书

    更多
  • Hive Bucketing in Apache Spark
  • spark替代HIVE实现ETL作业
  • 2019大数据技术公开课第五季—Hive迁移到MaxCompute最佳实践

    • 相关实验场景

    更多
  • PolarDB for AI：在数据库中通过SQL实现AI能力
  • 玩转MaxCompute SQL! 30分钟搞定数据分析挖掘
  • 5分钟上手Flink MySQL连接器
  • 使用SQL语句实现数据插入、修改和删除操作
  • 使用SQL语句实现数据查询操作
  • 使用SQL语句管理索引
    • 下一篇
    手把手教你白嫖阿里云服务器(免费领服务器)