AI 助理
备案控制台登录注册
开发者社区 大数据与机器学习 开源大数据平台 E-MapReduce 文章 正文

Apache Spark 系列技术直播 - Spark SQL 实践与优化

2018-11-23 3387
版权
举报
版权声明：
本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《 阿里云开发者社区用户服务协议》和 《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写 侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。
本文涉及的产品
EMR Serverless Spark 免费试用，1000 CU*H 有效期3个月
EMR Serverless StarRocks，5000CU*H 48000GB*H
简介： Apache Spark 系列技术直播 Spark SQL 实践与优化 内容简介： SparkSQL介绍 基本原理 支持的DataSource介绍 Hue/Zepplin/Livy周边跟SparkSQL的集成使用等 SparkSQL优化 SparkSQL Catalyst优化 AE优化 Shuffle优化 直播时间： 2018.

直播回看点我

Apache Spark 系列技术直播

Spark SQL 实践与优化

内容简介：

  • SparkSQL介绍

    • 基本原理
    • 支持的DataSource介绍
    • Hue/Zepplin/Livy周边跟SparkSQL的集成使用等

  • SparkSQL优化

    • SparkSQL Catalyst优化
    • AE优化
    • Shuffle优化

直播时间： 2018.11.27 周二 晚 19：00 - 20：00

欢迎加入钉钉收看直播

入群方式：
image

文章标签：
开源大数据平台 E-MapReduce
SQL
Apache
分布式计算
Spark
关键词：
SQL实践
apache spark SQL
Apache技术
SQL优化
Apache实践
相关实践学习
快速掌握阿里云 E-MapReduce
E-MapReduce 是构建于阿里云 ECS 弹性虚拟机之上，利用开源大数据生态系统，包括 Hadoop、Spark、HBase，为用户提供集群、作业、数据等管理的一站式大数据处理分析服务。 本课程主要介绍阿里云 E-MapReduce 的使用方法。
开源大数据EMR
+关注
260文章74问答
目录
打赏
0
0
0
0
3112
分享
相关文章
游客nsyhaoxcmeiq6
|
23天前
|
SQL Java 关系型数据库
在 RDB 上跑 SQL------SPL 轻量级多源混算实践 1
SPL 支持通过 JDBC 连接 RDB，可动态生成 SQL 并传参，适用于 Java 与 SQL 结合的各类场景。本文以 MySQL 为例，演示如何配置数据库连接、编写 SPL 脚本查询 2024 年订单数据，并支持参数过滤和 SQL 混合计算。脚本可在 IDE 直接执行或集成至 Java 应用调用。
游客nsyhaoxcmeiq6
45 0
智物科技库
|
4月前
|
SQL 存储 关系型数据库
SQL优化策略与实践：组合索引与最左前缀原则详解
本文介绍了SQL优化的多种方式，包括优化查询语句（避免使用SELECT *、减少数据处理量）、使用索引（创建合适索引类型）、查询缓存、优化表结构、使用存储过程和触发器、批量处理以及分析和监控数据库性能。同时，文章详细讲解了组合索引的概念及其最左前缀原则，即MySQL从索引的最左列开始匹配条件，若跳过最左列，则索引失效。通过示例代码，展示了如何在实际场景中应用这些优化策略，以提高数据库查询效率和系统响应速度。
智物科技库
144 10
是山河呀
|
4月前
|
SQL 安全 关系型数据库
SQL注入之万能密码：原理、实践与防御全解析
本文深入解析了“万能密码”攻击的运行机制及其危险性，通过实例展示了SQL注入的基本原理与变种形式。文章还提供了企业级防御方案，包括参数化查询、输入验证、权限控制及WAF规则配置等深度防御策略。同时，探讨了二阶注入和布尔盲注等新型攻击方式，并给出开发者自查清单。最后强调安全防护需持续改进，无绝对安全，建议使用成熟ORM框架并定期审计。技术内容仅供学习参考，严禁非法用途。
是山河呀
602 0
NineData
|
3月前
|
安全 Apache 数据库
【倒计时3天】NineData x Apache Doris x 阿里云联合举办数据库技术Meetup，5月24日深圳见！
5月24日，NineData联合Apache Doris与阿里云在深圳举办数据库技术Meetup。活动聚焦「数据实时分析」与「数据同步迁移」两大领域，邀请行业专家分享技术趋势、产品实践及解决方案，助力企业构建高效安全的数据管理体系。时间：14:00-17:30；地点：深圳新一代产业园2栋20楼会议室。线下名额有限（80人），速报名参与深度交流！
NineData
80 1
阿里云瑶池数据库SelectDB
|
4月前
|
存储 SQL 缓存
Apache Doris & SelectDB 技术能力全面解析
本文将对 Doris & SelectDB 适合的分析场景和技术能力进行概述解析
阿里云瑶池数据库SelectDB
532 1
Apache Doris & SelectDB 技术能力全面解析
Echo_Wish
|
5月前
|
存储 分布式计算 Hadoop
从“笨重大象”到“敏捷火花”：Hadoop与Spark的大数据技术进化之路
从“笨重大象”到“敏捷火花”：Hadoop与Spark的大数据技术进化之路
Echo_Wish
255 79
wiker24
|
6月前
|
SQL 存储 关系型数据库
【SQL技术】不同数据库引擎 SQL 优化方案剖析
不同数据库系统（MySQL、PostgreSQL、Doris、Hive）的SQL优化策略。存储引擎特点、SQL执行流程及常见操作（如条件查询、排序、聚合函数）的优化方法。针对各数据库，索引使用、分区裁剪、谓词下推等技术，并提供了具体的SQL示例。通用的SQL调优技巧，如避免使用`COUNT(DISTINCT)`、减少小文件问题、慎重使用`SELECT *`等。通过合理选择和应用这些优化策略，可以显著提升数据库查询性能和系统稳定性。
wiker24
192 9
技术小达人
|
7月前
|
SQL 分布式计算 Java
Spark SQL向量化执行引擎框架Gluten-Velox在AArch64使能和优化
本文摘自 Arm China的工程师顾煜祺关于“在 Arm 平台上使用 Native 算子库加速 Spark”的分享，主要内容包括以下四个部分： 1.技术背景 2.算子库构成 3.算子操作优化 4.未来工作
技术小达人
731 0
游客nsyhaoxcmeiq6
|
9月前
|
SQL 存储 算法
比 SQL 快出数量级的大数据计算技术
SQL 是大数据计算中最常用的工具，但在实际应用中，SQL 经常跑得很慢，浪费大量硬件资源。例如，某银行的反洗钱计算在 11 节点的 Vertica 集群上跑了 1.5 小时，而用 SPL 重写后，单机只需 26 秒。类似地，电商漏斗运算和时空碰撞任务在使用 SPL 后，性能也大幅提升。这是因为 SQL 无法写出低复杂度的算法，而 SPL 提供了更强大的数据类型和基础运算，能够实现高效计算。
游客nsyhaoxcmeiq6
166 1
人物我非-32022
|
9月前
|
分布式计算 监控 大数据
如何优化Spark中的shuffle操作？
【10月更文挑战第18天】
人物我非-32022
485 1
大数据与机器学习

开源大数据平台 E-MapReduce
+关注

热门文章

最新文章

  • 1
    现代流式计算的基石：Google DataFlow
    13889
  • 2
    JindoFS: 云上大数据的高性能数据湖存储方案
    12813
  • 3
    梨视频：基于阿里云E-MapReduce搭建视频推荐系统的实践
    11837
  • 4
    HIVE MapJoin异常问题处理总结
    10810
  • 5
    首次揭秘|为6.4亿人次出行提供无线网络的技术架构
    9694
  • 6
    基于Spark Streaming 进行 MySQL Binlog 日志准实时传输
    9316
  • 7
    开源大数据周刊-第90期
    9128
  • 8
    【译】使用Spark SQL 运行大规模基因组工作流
    8552
  • 9
    Apache Spark 3.0 将内置支持 GPU 调度
    8457
  • 10
    Flume NG 简介及配置实战
    8239
  • 1
    阿里云 EMR Serverless Spark：面向 Data+AI 的高性能 Lakehouse 产品
    54
  • 2
    立马耀：通过阿里云 Serverless Spark 和 Milvus 构建高效向量检索系统，驱动个性化推荐业务
    225
  • 3
    鹰角网络：EMR Serverless Spark 在《明日方舟》游戏业务的应用
    377
  • 4
    千万级数据秒级响应！碧桂园基于 EMR Serverless StarRocks 升级存算分离架构实践
    355
  • 5
    百观科技基于阿里云 EMR 的数据湖实践分享
    347
  • 6
    StarRocks + Paimon 在阿里集团 Lakehouse 的探索与实践
    500
  • 7
    美的楼宇科技基于阿里云 EMR Serverless Spark 构建 LakeHouse 湖仓数据平台
    485
  • 8
    阿里云 EMR Serverless Spark 在微财机器学习场景下的应用
    289
  • 9
    阿里云 EMR 发布托管弹性伸缩功能，支持自动调整集群大小，最高降本60%
    292
  • 10
    关于商品详情 API 接口 JSON 格式返回数据解析的示例
    321

    • 相关课程

    更多
  • 大数据实战项目 - 反爬虫系统（Lua+Spark+Redis+Hadoop框架搭建）第七阶段
  • SQL完全自学手册
  • SQL Server on Linux入门教程
  • SQL入门与实践
  • 数据库及SQL/MySQL基础
  • SQL进阶及查询

    • 相关电子书

    更多
  • SQL Server 2017
  • GeoMesa on Spark SQL
  • 原生SQL on Hadoop引擎- Apache HAWQ 2.x最新技术解密malili

    • 相关实验场景

    更多
  • 一小时快速掌握SQL语法

    • 推荐镜像

    更多
  • apache
    • 下一篇
    BFE 初探
    目录
    AI助理
    登录插画

    登录以查看您的控制台资源

    管理云资源
    状态一览
    快捷访问
    快捷注册登录阿里云

    你好，我是AI助理

    可以解答问题、推荐解决方案等