AI 助理
文档备案控制台
开发者社区 大数据与机器学习 开源大数据平台 E-MapReduce 文章 正文

Apache Spark 系列技术直播 - Spark SQL进阶与实战

2018-12-05 3452
版权
版权声明：
本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《 阿里云开发者社区用户服务协议》和 《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写 侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。
简介： Spark SQL进阶与实战 Spark相关组件介绍 Spark及其依赖组件 Hive Metastore介绍 Spark Thrift Server介绍 表与ETL Spark表基本概念 Spark建表最佳实践 Spark ETL最佳实践 动态分区表示例分析 Spark SQL查询最佳实践 Sp.

Spark SQL进阶与实战

Spark相关组件介绍

  1. Spark及其依赖组件
  2. Hive Metastore介绍
  3. Spark Thrift Server介绍

表与ETL

  1. Spark表基本概念
  2. Spark建表最佳实践
  3. Spark ETL最佳实践
  4. 动态分区表示例分析

Spark SQL查询最佳实践

  1. Spark SQL查询常见问题
  2. Join优化策略
  3. 数据倾斜优化策略

详情请查看附件

欢迎加入钉钉群收看直播回放
入群方式：
image

文章标签：
开源大数据平台 E-MapReduce
SQL
Apache
分布式计算
Spark
HIVE
关键词：
Apache技术
apache spark SQL
apache spark实战
apache spark技术
SQL spark
开源大数据EMR
目录
相关文章
TiAmoZhang
|
7月前
|
SQL 数据可视化 关系型数据库
MCP与PolarDB集成技术分析：降低SQL门槛与简化数据可视化流程的机制解析
阿里云PolarDB与MCP协议融合，打造“自然语言即分析”的新范式。通过云原生数据库与标准化AI接口协同，实现零代码、分钟级从数据到可视化洞察，打破技术壁垒，提升分析效率99%，推动企业数据能力普惠化。
TiAmoZhang
551 3
游客kufrkwrbkmpsa
|
SQL 运维 监控
SQL查询太慢？实战讲解YashanDB SQL调优思路
本文是Meetup第十期“调优实战专场”的第二篇技术文章，上一篇《高效查询秘诀，解码YashanDB优化器分组查询优化手段》中，我们揭秘了YashanDB分组查询优化秘诀，本文将通过一个案例，助你快速上手YashanDB慢日志功能，精准定位“慢SQL”后进行优化。
游客kufrkwrbkmpsa
293 2
Echo_Wish
|
存储 分布式计算 Hadoop
从“笨重大象”到“敏捷火花”：Hadoop与Spark的大数据技术进化之路
从“笨重大象”到“敏捷火花”：Hadoop与Spark的大数据技术进化之路
Echo_Wish
619 79
Aron_NeAr
|
9月前
|
SQL JSON 分布式计算
Spark SQL架构及高级用法
Spark SQL基于Catalyst优化器与Tungsten引擎，提供高效的数据处理能力。其架构涵盖SQL解析、逻辑计划优化、物理计划生成及分布式执行，支持复杂数据类型、窗口函数与多样化聚合操作，结合自适应查询与代码生成技术，实现高性能大数据分析。
Aron_NeAr
579 2
瓴羊Dataphin
|
SQL 分布式计算 资源调度
Dataphin功能Tips系列（48)-如何根据Hive SQL/Spark SQL的任务优先级指定YARN资源队列
如何根据Hive SQL/Spark SQL的任务优先级指定YARN资源队列
瓴羊Dataphin
455 4
wiker24
|
SQL 存储 关系型数据库
【SQL技术】不同数据库引擎 SQL 优化方案剖析
不同数据库系统（MySQL、PostgreSQL、Doris、Hive）的SQL优化策略。存储引擎特点、SQL执行流程及常见操作（如条件查询、排序、聚合函数）的优化方法。针对各数据库，索引使用、分区裁剪、谓词下推等技术，并提供了具体的SQL示例。通用的SQL调优技巧，如避免使用`COUNT(DISTINCT)`、减少小文件问题、慎重使用`SELECT *`等。通过合理选择和应用这些优化策略，可以显著提升数据库查询性能和系统稳定性。
wiker24
603 9
潇洒洒
|
SQL 数据库 UED
SQL性能提升秘籍：5步优化法与10个实战案例
在数据库管理和应用开发中，SQL查询的性能优化至关重要。高效的SQL查询不仅可以提高应用的响应速度，还能降低服务器负载，提升用户体验。本文将分享SQL优化的五大步骤和十个实战案例，帮助构建高效、稳定的数据库应用。
潇洒洒
1456 3
技术小达人
|
SQL 分布式计算 Java
Spark SQL向量化执行引擎框架Gluten-Velox在AArch64使能和优化
本文摘自 Arm China的工程师顾煜祺关于“在 Arm 平台上使用 Native 算子库加速 Spark”的分享，主要内容包括以下四个部分： 1.技术背景 2.算子库构成 3.算子操作优化 4.未来工作
技术小达人
1959 0
游客nsyhaoxcmeiq6
|
SQL 存储 算法
比 SQL 快出数量级的大数据计算技术
SQL 是大数据计算中最常用的工具，但在实际应用中，SQL 经常跑得很慢，浪费大量硬件资源。例如，某银行的反洗钱计算在 11 节点的 Vertica 集群上跑了 1.5 小时，而用 SPL 重写后，单机只需 26 秒。类似地，电商漏斗运算和时空碰撞任务在使用 SPL 后，性能也大幅提升。这是因为 SQL 无法写出低复杂度的算法，而 SPL 提供了更强大的数据类型和基础运算，能够实现高效计算。
游客nsyhaoxcmeiq6
302 1
土木林森
|
存储 分布式计算 Hadoop
数据湖技术：Hadoop与Spark在大数据处理中的协同作用
【10月更文挑战第27天】在大数据时代，数据湖技术凭借其灵活性和成本效益成为企业存储和分析大规模异构数据的首选。Hadoop和Spark作为数据湖技术的核心组件，通过HDFS存储数据和Spark进行高效计算，实现了数据处理的优化。本文探讨了Hadoop与Spark的最佳实践，包括数据存储、处理、安全和可视化等方面，展示了它们在实际应用中的协同效应。
土木林森
673 2
大数据与机器学习

开源大数据平台 E-MapReduce

热门文章

最新文章

  • 1
    分布式快照算法: Chandy-Lamport
  • 2
    大模型RAG实战：从零搭建专属知识库问答助手
  • 3
    不是吧？这么好用的开源标注工具，竟然还有人不知道…
  • 4
    大模型微调技术入门：从核心概念到实战落地全攻略
  • 5
    Json实现根据商品ID请求拼多多商品详情数据方法，拼多多商品详情API接口，拼多多API接口申请指南
  • 6
    淘宝闪购基于阿里云 EMR Serverless Spark&Paimon的湖仓实践：超大规模下的特征生产&多维分析双提效
  • 7
    Apache Spark 3.0 将内置支持 GPU 调度
  • 8
    基于OpenLake的Flink+Paimon+EMR StarRocks流式湖仓分析
  • 9
    JindoFS解析 - 云上大数据高性能数据湖存储方案
  • 10
    阿里巴巴的通义千问大模型
  • 1
    诗悦游戏基于DLF与EMR StarRocks降本38%
    185
  • 2
    基于DLF构建实时数据湖
    163
  • 3
    数仓-湖仓-湖流，人力家基于阿里云OpenLake架构演进与思考
    188
  • 4
    淘宝闪购基于阿里云 EMR Serverless Spark&Paimon的湖仓实践：超大规模下的特征生产&多维分析双提效
    320
  • 5
    有奖实践：EMR Serverless StarRocks × Serverless Spark x DLF 共探 TPC 极致性能
    522
  • 6
    大模型RAG实战：从零搭建专属知识库问答助手
    854
  • 7
    大模型微调技术入门：从核心概念到实战落地全攻略
    612
  • 8
    活动报名 | Apache Spark Meetup · 上海站，助力企业构建高效数据平台
    279
  • 9
    0 基础建站？PageAdmin CMS 10 分钟搞定，源码免费拿！
    554
  • 10
    EMR AI助手开启公测：用AI重塑大数据运维，更简单、更智能
    353

    • 相关课程

    更多
  • 如何在 PolarDB-X 中优化慢 SQL
  • SQL完全自学手册
  • SQL Server on Linux入门教程
  • SQL入门与实践
  • 数据库及SQL/MySQL基础
  • SQL进阶及查询

    • 相关电子书

    更多
  • SQL Server在电子商务中的应用与实践
  • GeoMesa on Spark SQL
  • 原生SQL on Hadoop引擎- Apache HAWQ 2.x最新技术解密malili
    • 下一篇
    阿里云重磅发布Agentic SOC，企业级AI Agent驱动的安全运营平台