AI 助理
文档备案控制台
开发者社区 大数据与机器学习 开源大数据平台 E-MapReduce 文章 正文

Apache Spark 系列技术直播 - Spark SQL 实践与优化

2018-11-23 3709
版权
版权声明：
本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《 阿里云开发者社区用户服务协议》和 《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写 侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。
简介： Apache Spark 系列技术直播 Spark SQL 实践与优化 内容简介： SparkSQL介绍 基本原理 支持的DataSource介绍 Hue/Zepplin/Livy周边跟SparkSQL的集成使用等 SparkSQL优化 SparkSQL Catalyst优化 AE优化 Shuffle优化 直播时间： 2018.

直播回看点我

Apache Spark 系列技术直播

Spark SQL 实践与优化

内容简介：

  • SparkSQL介绍

    • 基本原理
    • 支持的DataSource介绍
    • Hue/Zepplin/Livy周边跟SparkSQL的集成使用等

  • SparkSQL优化

    • SparkSQL Catalyst优化
    • AE优化
    • Shuffle优化

直播时间： 2018.11.27 周二 晚 19：00 - 20：00

欢迎加入钉钉收看直播

入群方式：
image

文章标签：
开源大数据平台 E-MapReduce
SQL
Apache
分布式计算
Spark
开源大数据EMR
目录
相关文章
SelectDB
|
消息中间件 OLAP Kafka
Apache Doris 实时更新技术揭秘：为何在 OLAP 领域表现卓越？
Apache Doris 为何在 OLAP 领域表现卓越？凭借其主键模型、数据延迟、查询性能、并发处理、易用性等多方面特性的表现，在分析领域展现了独特的实时更新能力。
SelectDB
996 9
SelectDB
|
SQL 存储 运维
Apache Doris 在菜鸟的大规模湖仓业务场景落地实践
本文介绍了 Apache Doris 在菜鸟的大规模落地的实践经验，菜鸟为什么选择 Doris，以及 Doris 如何在菜鸟从 0 开始，一步步的验证、落地，到如今上万核的规模，服务于各个业务线，Doris 已然成为菜鸟 OLAP 数据分析的最优选型。
SelectDB
813 2
Apache Doris 在菜鸟的大规模湖仓业务场景落地实践
SelectDB
|
SQL 人工智能 数据挖掘
Apache Doris 4.0 AI 能力揭秘（二）：为企业级应用而生的 AI 函数设计与实践
Apache Doris 4.0 原生集成 LLM 函数，将大语言模型能力深度融入 SQL 引擎，实现文本处理智能化与数据分析一体化。通过十大函数，支持智能客服、内容分析、金融风控等场景，提升实时决策效率。采用资源池化管理，保障数据一致性，降低传输开销，毫秒级完成 AI 分析。结合缓存复用、并行执行与权限控制，兼顾性能、成本与安全，推动数据库向 AI 原生演进。
SelectDB
1174 0
Apache Doris 4.0 AI 能力揭秘（二）：为企业级应用而生的 AI 函数设计与实践
JJLIN距离
|
消息中间件 监控 Java
Apache Kafka 分布式流处理平台技术详解与实践指南
本文档全面介绍 Apache Kafka 分布式流处理平台的核心概念、架构设计和实践应用。作为高吞吐量、低延迟的分布式消息系统，Kafka 已成为现代数据管道和流处理应用的事实标准。本文将深入探讨其生产者-消费者模型、主题分区机制、副本复制、流处理API等核心机制，帮助开发者构建可靠、可扩展的实时数据流处理系统。
JJLIN距离
988 4
Aron_NeAr
|
SQL JSON 分布式计算
Spark SQL架构及高级用法
Spark SQL基于Catalyst优化器与Tungsten引擎，提供高效的数据处理能力。其架构涵盖SQL解析、逻辑计划优化、物理计划生成及分布式执行，支持复杂数据类型、窗口函数与多样化聚合操作，结合自适应查询与代码生成技术，实现高性能大数据分析。
Aron_NeAr
1000 2
SelectDB
|
存储 SQL 缓存
Apache Doris & SelectDB 技术能力全面解析
本文将对 Doris & SelectDB 适合的分析场景和技术能力进行概述解析
SelectDB
2293 1
Apache Doris & SelectDB 技术能力全面解析
NineData
|
安全 Apache 数据库
【倒计时3天】NineData x Apache Doris x 阿里云联合举办数据库技术Meetup，5月24日深圳见！
5月24日，NineData联合Apache Doris与阿里云在深圳举办数据库技术Meetup。活动聚焦「数据实时分析」与「数据同步迁移」两大领域，邀请行业专家分享技术趋势、产品实践及解决方案，助力企业构建高效安全的数据管理体系。时间：14:00-17:30；地点：深圳新一代产业园2栋20楼会议室。线下名额有限（80人），速报名参与深度交流！
NineData
431 1
SelectDB
|
存储 安全 数据挖掘
天翼云：Apache Doris + Iceberg 超大规模湖仓一体实践
天翼云基于 Apache Doris 成功落地项目已超 20 个，整体集群规模超 50 套，部署节点超 3000 个，存储容量超 15PB
SelectDB
1288 2
天翼云：Apache Doris + Iceberg 超大规模湖仓一体实践
蚂蚁数据智能技术
|
人工智能 自然语言处理 测试技术
新晋社区PMC李攀：“在Apache Fory，技术实力是唯一的通行证”
一起走近开源项目的幕后英雄——PMC成员
蚂蚁数据智能技术
467 0
瓴羊Dataphin
|
SQL 分布式计算 资源调度
Dataphin功能Tips系列（48)-如何根据Hive SQL/Spark SQL的任务优先级指定YARN资源队列
如何根据Hive SQL/Spark SQL的任务优先级指定YARN资源队列
瓴羊Dataphin
616 4
大数据与机器学习

开源大数据平台 E-MapReduce

热门文章

最新文章

  • 1
    现代流式计算的基石：Google DataFlow
  • 2
    如何使用Kafka Connect实现同步RDS binlog数据
  • 3
    JindoFS解析 - 云上大数据高性能数据湖存储方案
  • 4
    在 Apache Spark 中利用 HyperLogLog 函数实现高级分析
  • 5
    Apache Spark 3.0 将内置支持 GPU 调度
  • 6
    开源生态的新发展：Apache Spark 3.0、Koala和Delta Lake
  • 7
    hive在E-MapReduce集群的实践（二）集群hive参数优化
  • 8
    开源深度学习库BigDL在阿里云E-MapReduce上的实践
  • 9
    Apache Flink : Checkpoint 原理剖析与应用实践
  • 10
    Presto实现原理（转）
  • 1
    EMR Serverless Daft 算子市场免费公测｜10分钟极速实战（附视频教程）
    208
  • 2
    EMR Serverless StarRocks AI Function构建智能驾驶训练数据管理平台
    228
  • 3
    淘天集团基于 Fluss、Paimon 与 StarRocks 构建湖流一体数据链路
    268
  • 4
    EMR Serverless Spark AI Function 的双维降本实践
    221
  • 5
    【直播】StarRocks Stella 2.0 发布｜具身行业训练数据圈选实战
    275
  • 6
    活动报名 | Agentic Lakehouse Meetup · 北京站，从开源技术创新到多模态数据智能化
    437
  • 7
    基于 StarRocks提效多模态工单标注与舆情研判的实践
    268
  • 8
    EMR Serverless Spark PB级文本语义去重4倍加速的技术方案解读
    354
  • 9
    分链路差异化设计的DSP准实时数仓｜钛动科技基于阿里云实时计算 Flink 版 + DLF Paimon + EMR Serverless StarRocks 的实践
    288
  • 10
    阿里云 EMR Serverless StarRocks（Stella 2.2.0）发布：多模态处理与分析闭环，内表与湖表统一检索
    551

    • 相关课程

    更多
  • SQL完全自学手册
  • SQL Server on Linux入门教程
  • SQL入门与实践
  • Apache Flink 入门
  • 数据库及SQL/MySQL基础
  • SQL进阶及查询

    • 相关电子书

    更多
  • Apache Flink技术进阶
  • Apache Spark: Cloud and On-Prem
  • Hybrid Cloud and Apache Spark

    • 推荐镜像

    更多
  • apache
    • 下一篇
    一条命令迁移，帮你实现 OpenClaw 与 Hermes Agent 记忆互通！