直播回看点我
Apache Spark 系列技术直播
Spark SQL 实践与优化
内容简介：
-
SparkSQL介绍
- 基本原理
- 支持的DataSource介绍
- Hue/Zepplin/Livy周边跟SparkSQL的集成使用等
-
SparkSQL优化
- SparkSQL Catalyst优化
- AE优化
- Shuffle优化
直播时间： 2018.11.27 周二 晚 19：00 - 20：00
欢迎加入钉钉收看直播
入群方式：
Apache Spark 系列技术直播 - Spark SQL 实践与优化
2018-11-23
3309
版权
版权声明：
本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《
阿里云开发者社区用户服务协议》和
《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写
侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。
本文涉及的产品
简介：
Apache Spark 系列技术直播
Spark SQL 实践与优化
内容简介：
SparkSQL介绍
基本原理
支持的DataSource介绍
Hue/Zepplin/Livy周边跟SparkSQL的集成使用等
SparkSQL优化
SparkSQL Catalyst优化
AE优化
Shuffle优化
直播时间： 2018.
目录
相关文章
|
25天前
|
SQL
存储
API
Flink实践：通过Flink SQL进行SFTP文件的读写操作
虽然 Apache Flink 与 SFTP 之间的直接交互存在一定的限制，但通过一些创造性的方法和技术，我们仍然可以有效地实现对 SFTP 文件的读写操作。这既展现了 Flink 在处理复杂数据场景中的强大能力，也体现了软件工程中常见的问题解决思路——即通过现有工具和一定的间接方法来克服技术障碍。通过这种方式，Flink SQL 成为了处理各种数据源，包括 SFTP 文件，在内的强大工具。
90
15
15
|
20天前
|
分布式计算
Java
Apache
Apache Spark Streaming技术深度解析
【9月更文挑战第4天】Apache Spark Streaming是Apache Spark生态系统中用于处理实时数据流的一个重要组件。它将输入数据分成小批次（micro-batch），然后利用Spark的批处理引擎进行处理，从而结合了批处理和流处理的优点。这种处理方式使得Spark Streaming既能够保持高吞吐量，又能够处理实时数据流。
51
0
0
|
2月前
|
SQL
流计算
Flink SQL 在快手实践问题之由于meta信息变化导致的state向前兼容问题如何解决
Flink SQL 在快手实践问题之由于meta信息变化导致的state向前兼容问题如何解决
39
1
1
|
2月前
|
SQL
安全
流计算
Flink SQL 在快手实践问题之Group Window Aggregate 中的数据倾斜问题如何解决
Flink SQL 在快手实践问题之Group Window Aggregate 中的数据倾斜问题如何解决
56
1
1
|
20天前
|
SQL
机器学习/深度学习
自然语言处理
Text-to-SQL技术演进 - 阿里云OpenSearch-SQL在BIRD榜单夺冠方法剖析
本文主要介绍了阿里云OpenSearch在Text-to-SQL任务中的最新进展和技术细节。
40
0
0
|
1月前
|
SQL
安全
数据库
基于SQL Server事务日志的数据库恢复技术及实战代码详解
基于事务日志的数据库恢复技术是SQL Server中一个非常强大的功能，它能够帮助数据库管理员在数据丢失或损坏的情况下，有效地恢复数据。通过定期备份数据库和事务日志，并在需要时按照正确的步骤恢复，可以最大限度地减少数据丢失的风险。需要注意的是，恢复数据是一个需要谨慎操作的过程，建议在执行恢复操作之前，详细了解相关的操作步骤和注意事项，以确保数据的安全和完整。
59
0
0
|
2月前
|
测试技术
Java
揭秘Struts 2测试的秘密：如何打造无懈可击的Web应用？
【8月更文挑战第31天】在软件开发中，确保代码质量的关键在于全面测试。对于基于Struts 2框架的应用，结合单元测试与集成测试是一种有效的策略。单元测试聚焦于独立组件的功能验证，如Action类的执行逻辑；而集成测试则关注组件间的交互，确保框架各部分协同工作。使用JUnit进行单元测试，可通过简单示例验证Action类的返回值；利用Struts 2 Testing插件进行集成测试，则可模拟HTTP请求，确保Action方法正确处理请求并返回预期结果。这种结合测试的方法不仅提高了代码质量和可靠性，还保证了系统各部分按需协作。
11
0
0
|
2月前
|
SQL
数据挖掘
数据库
|
2月前
|
SQL
数据管理
关系型数据库
SQL分区表技术的奥秘：如何用分区策略让你的大规模数据飞起来？
【8月更文挑战第31天】在现代软件开发中，处理大规模数据是常见挑战，而SQL分区表技术提供了一种高效的解决方案。本文详细介绍了SQL分区表的概念、类型（范围、列表、哈希和键分区）及其创建与维护方法，并通过示例代码展示了如何添加、删除和重组分区。遵循了解查询模式、定期维护分区及使用数据库性能工具等最佳实践，可以帮助开发者更高效地进行数据管理。随着SQL生态的发展，分区表技术将在未来发挥更大作用。
24
0
0
|
2月前
|
SQL
设计模式
数据处理
热门文章
最新文章
1
JindoFS: 云上大数据的高性能数据湖存储方案
2
梨视频：基于阿里云E-MapReduce搭建视频推荐系统的实践
3
JindoFS概述：云原生的大数据计算存储分离方案
4
基于Spark Streaming 进行 MySQL Binlog 日志准实时传输
5
从数砖开源 Delta Lake 说起
6
开源生态的新发展：Apache Spark 3.0、Koala和Delta Lake
7
hive在E-MapReduce集群的实践（二）集群hive参数优化
8
Apache Spark + Intel Analytics Zoo 进行深度学习
9
使用E-MapReduce服务将Kafka数据导入OSS
10
Apache Flink : Checkpoint 原理剖析与应用实践
1
云栖实录 | 阿里云 OpenLake 解决方案重磅发布：多模态数据统一纳管、引擎平权联合计算、数据共享统一读写
68
2
阿里云 EMR Serverless Spark 版正式开启商业化
49
3
小红书 API 接口使用指南：笔记详情数据接口的接入与使用
39
4
阿里云 EMR StarRocks 在七猫的应用和实践
146
5
EMR Serverless StarRocks体验测评
40
6
EMR Serverless Spark 实践教程 | 通过 Apache Airflow 使用 Livy Operator 提交任务
157
7
不是吧？这么好用的开源标注工具，竟然还有人不知道…
74
8
迟来的EMR Serverless Spark评测报告
210
9
DataWorks操作报错合集之在处理元数据存储时发生报错：ODPS-0010000，该如何处理
97
10
EMR Serverless Spark 实践教程 | 通过 spark-submit 命令行工具提交 Spark 任务
369