直播回看点我
Apache Spark 系列技术直播
Spark SQL 实践与优化
内容简介：
-
SparkSQL介绍
- 基本原理
- 支持的DataSource介绍
- Hue/Zepplin/Livy周边跟SparkSQL的集成使用等
-
SparkSQL优化
- SparkSQL Catalyst优化
- AE优化
- Shuffle优化
直播时间： 2018.11.27 周二 晚 19：00 - 20：00
欢迎加入钉钉收看直播
入群方式：
Apache Spark 系列技术直播 - Spark SQL 实践与优化
2018-11-23
3320
版权
版权声明：
本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《
阿里云开发者社区用户服务协议》和
《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写
侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。
本文涉及的产品
简介：
Apache Spark 系列技术直播
Spark SQL 实践与优化
内容简介：
SparkSQL介绍
基本原理
支持的DataSource介绍
Hue/Zepplin/Livy周边跟SparkSQL的集成使用等
SparkSQL优化
SparkSQL Catalyst优化
AE优化
Shuffle优化
直播时间： 2018.
目录
相关文章
|
13天前
|
SQL
存储
算法
比 SQL 快出数量级的大数据计算技术
SQL 是大数据计算中最常用的工具，但在实际应用中，SQL 经常跑得很慢，浪费大量硬件资源。例如，某银行的反洗钱计算在 11 节点的 Vertica 集群上跑了 1.5 小时，而用 SPL 重写后，单机只需 26 秒。类似地，电商漏斗运算和时空碰撞任务在使用 SPL 后，性能也大幅提升。这是因为 SQL 无法写出低复杂度的算法，而 SPL 提供了更强大的数据类型和基础运算，能够实现高效计算。
28
1
1
|
21天前
|
存储
分布式计算
Hadoop
数据湖技术：Hadoop与Spark在大数据处理中的协同作用
【10月更文挑战第27天】在大数据时代，数据湖技术凭借其灵活性和成本效益成为企业存储和分析大规模异构数据的首选。Hadoop和Spark作为数据湖技术的核心组件，通过HDFS存储数据和Spark进行高效计算，实现了数据处理的优化。本文探讨了Hadoop与Spark的最佳实践，包括数据存储、处理、安全和可视化等方面，展示了它们在实际应用中的协同效应。
77
2
2
|
22天前
|
存储
分布式计算
Hadoop
数据湖技术：Hadoop与Spark在大数据处理中的协同作用
【10月更文挑战第26天】本文详细探讨了Hadoop与Spark在大数据处理中的协同作用，通过具体案例展示了两者的最佳实践。Hadoop的HDFS和MapReduce负责数据存储和预处理，确保高可靠性和容错性；Spark则凭借其高性能和丰富的API，进行深度分析和机器学习，实现高效的批处理和实时处理。
59
1
1
|
1月前
|
SQL
关系型数据库
MySQL
|
13天前
|
SQL
JSON
分布式计算
【赵渝强老师】Spark SQL的数据模型：DataFrame
本文介绍了在Spark SQL中创建DataFrame的三种方法。首先，通过定义case class来创建表结构，然后将CSV文件读入RDD并关联Schema生成DataFrame。其次，使用StructType定义表结构，同样将CSV文件读入RDD并转换为Row对象后创建DataFrame。最后，直接加载带有格式的数据文件（如JSON），通过读取文件内容直接创建DataFrame。每种方法都包含详细的代码示例和解释。
31
0
0
|
1月前
|
SQL
存储
关系型数据库
|
1月前
|
SQL
消息中间件
分布式计算
|
1月前
|
SQL
大数据
|
1月前
|
SQL
分布式计算
大数据
大数据-97 Spark 集群 SparkSQL 原理详细解析 Broadcast Shuffle SQL解析过程（一）
大数据-97 Spark 集群 SparkSQL 原理详细解析 Broadcast Shuffle SQL解析过程（一）
45
0
0
|
1月前
|
SQL
分布式计算
算法
大数据-97 Spark 集群 SparkSQL 原理详细解析 Broadcast Shuffle SQL解析过程（二）
大数据-97 Spark 集群 SparkSQL 原理详细解析 Broadcast Shuffle SQL解析过程（二）
80
0
0
热门文章
最新文章
1
助力云上开源生态 - 阿里云开源大数据平台的发展
2
E-MapReduce中Spark 2.x读写MaxCompute数据
3
使用Spark Streaming SQL基于时间窗口进行数据统计
4
E-MapReduce集群搭建HAWQ实践
5
开源大数据周刊-第12期
6
E-MapReduce HDFS文件快速CRC校验工具介绍
7
开源大数据周刊-第14期
8
为什么要写技术文章-我对写作收获的理解
9
【转】Spark 2.0 技术预览版:更简单、更快速、更智
10
开源大数据周刊-第82期
1
基于OpenLake的Flink+Paimon+EMR StarRocks流式湖仓分析
111
2
【赵渝强老师】部署Hadoop的本地模式
30
3
EMR Serverless Spark：一站式全托管湖仓分析利器
120
4
降本60% ，阿里云 EMR StarRocks 全新发布存算分离版本
269
5
阿里云EMR StarRocks X Paimon创建 Streaming Lakehouse
122
6
从数据积累到大模型的智能飞跃，你准备好了吗？
116
7
DB-GPT v0.6.0 版本更新，发布六大核心新特性！
121
8
云栖实录 | 阿里云 OpenLake 解决方案重磅发布：多模态数据统一纳管、引擎平权联合计算、数据共享统一读写
286
9
阿里云 EMR Serverless Spark 版正式开启商业化
152
10
小红书 API 接口使用指南：笔记详情数据接口的接入与使用
478