Spark SQL进阶与实战
Spark相关组件介绍
- Spark及其依赖组件
- Hive Metastore介绍
- Spark Thrift Server介绍
表与ETL
- Spark表基本概念
- Spark建表最佳实践
- Spark ETL最佳实践
- 动态分区表示例分析
Spark SQL查询最佳实践
- Spark SQL查询常见问题
- Join优化策略
- 数据倾斜优化策略
详情请查看附件
欢迎加入钉钉群收看直播回放
入群方式：
Apache Spark 系列技术直播 - Spark SQL进阶与实战
2018-12-05
3341
版权
版权声明：
本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《
阿里云开发者社区用户服务协议》和
《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写
侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。
本文涉及的产品
简介：
Spark SQL进阶与实战
Spark相关组件介绍
Spark及其依赖组件
Hive Metastore介绍
Spark Thrift Server介绍
表与ETL
Spark表基本概念
Spark建表最佳实践
Spark ETL最佳实践
动态分区表示例分析
Spark SQL查询最佳实践
Sp.
目录
相关文章
|
25天前
|
消息中间件
资源调度
API
Apache Flink 流批融合技术介绍
本文源自阿里云高级研发工程师周云峰在Apache Asia Community OverCode 2024的分享，内容涵盖从“流批一体”到“流批融合”的演进、技术解决方案及社区进展。流批一体已在API、算子和引擎层面实现统一，但用户仍需手动配置作业模式。流批融合旨在通过动态调整优化策略，自动适应不同场景需求。文章详细介绍了如何通过量化指标（如isProcessingBacklog和isInsertOnly）实现这一目标，并展示了针对不同场景的具体优化措施。此外，还概述了社区当前进展及未来规划，包括将优化方案推向Flink社区、动态调整算子流程结构等。
316
31
33
|
3天前
|
SQL
安全
数据库
|
1月前
|
SQL
机器学习/深度学习
自然语言处理
Text-to-SQL技术演进 - 阿里云OpenSearch-SQL在BIRD榜单夺冠方法剖析
本文主要介绍了阿里云OpenSearch在Text-to-SQL任务中的最新进展和技术细节。
64
7
7
|
1月前
|
分布式计算
Java
Apache
Apache Spark Streaming技术深度解析
【9月更文挑战第4天】Apache Spark Streaming是Apache Spark生态系统中用于处理实时数据流的一个重要组件。它将输入数据分成小批次（micro-batch），然后利用Spark的批处理引擎进行处理，从而结合了批处理和流处理的优点。这种处理方式使得Spark Streaming既能够保持高吞吐量，又能够处理实时数据流。
60
0
0
|
1月前
|
SQL
安全
数据库
基于SQL Server事务日志的数据库恢复技术及实战代码详解
基于事务日志的数据库恢复技术是SQL Server中一个非常强大的功能，它能够帮助数据库管理员在数据丢失或损坏的情况下，有效地恢复数据。通过定期备份数据库和事务日志，并在需要时按照正确的步骤恢复，可以最大限度地减少数据丢失的风险。需要注意的是，恢复数据是一个需要谨慎操作的过程，建议在执行恢复操作之前，详细了解相关的操作步骤和注意事项，以确保数据的安全和完整。
76
0
0
|
2月前
|
测试技术
Java
揭秘Struts 2测试的秘密：如何打造无懈可击的Web应用？
【8月更文挑战第31天】在软件开发中，确保代码质量的关键在于全面测试。对于基于Struts 2框架的应用，结合单元测试与集成测试是一种有效的策略。单元测试聚焦于独立组件的功能验证，如Action类的执行逻辑；而集成测试则关注组件间的交互，确保框架各部分协同工作。使用JUnit进行单元测试，可通过简单示例验证Action类的返回值；利用Struts 2 Testing插件进行集成测试，则可模拟HTTP请求，确保Action方法正确处理请求并返回预期结果。这种结合测试的方法不仅提高了代码质量和可靠性，还保证了系统各部分按需协作。
13
0
0
|
2月前
|
SQL
数据挖掘
数据库
|
2月前
|
SQL
数据管理
关系型数据库
SQL分区表技术的奥秘：如何用分区策略让你的大规模数据飞起来？
【8月更文挑战第31天】在现代软件开发中，处理大规模数据是常见挑战，而SQL分区表技术提供了一种高效的解决方案。本文详细介绍了SQL分区表的概念、类型（范围、列表、哈希和键分区）及其创建与维护方法，并通过示例代码展示了如何添加、删除和重组分区。遵循了解查询模式、定期维护分区及使用数据库性能工具等最佳实践，可以帮助开发者更高效地进行数据管理。随着SQL生态的发展，分区表技术将在未来发挥更大作用。
25
0
0
|
2月前
|
SQL
JSON
关系型数据库
"SQL老司机大揭秘：如何在数据库中玩转数组、映射与JSON，解锁数据处理的无限可能，一场数据与技术的激情碰撞！"
【8月更文挑战第21天】SQL作为数据库语言，其能力不断进化，尤其是在处理复杂数据类型如数组、映射及JSON方面。例如，PostgreSQL自8.2版起支持数组类型，并提供`unnest()`和`array_agg()`等函数用于数组的操作。对于映射类型，虽然SQL标准未直接支持，但通过JSON数据类型间接实现了键值对的存储与查询。如在PostgreSQL中创建含JSONB类型的表，并使用`->>`提取特定字段或`@>`进行复杂条件筛选。掌握这些技巧对于高效管理现代数据至关重要，并预示着SQL在未来数据处理领域将持续扮演核心角色。
41
0
0
|
3月前
|
SQL
安全
Go
SQL注入不可怕，XSS也不难防！Python Web安全进阶教程，让你安心做开发！
【7月更文挑战第26天】在 Web 开发中, SQL 注入与 XSS 攻击常令人担忧, 但掌握正确防御策略可化解风险. 对抗 SQL 注入的核心是避免直接拼接用户输入至 SQL 语句. 使用 Python 的参数化查询 (如 sqlite3 库) 和 ORM 框架 (如 Django, SQLAlchemy) 可有效防范. 防范 XSS 攻击需严格过滤及转义用户输入. 利用 Django 模板引擎自动转义功能, 或手动转义及设置内容安全策略 (CSP) 来增强防护. 掌握这些技巧, 让你在 Python Web 开发中更加安心. 安全是个持续学习的过程, 不断提升才能有效保护应用.
47
1
1
热门文章
最新文章
1
阿里封神谈hadoop生态学习之路
2
现代流式计算的基石：Google DataFlow
3
Spark in action on Kubernetes - Playground搭建与架构浅析
4
JindoFS解析 - 云上大数据高性能数据湖存储方案
5
如何在Aliyun E-MapReduce集群上使用Zeppelin和Hue
6
HIVE MapJoin异常问题处理总结
7
漫谈分布式计算框架
8
阿里封神-大数据处理技术漫谈
9
JindoFS概述：云原生的大数据计算存储分离方案
10
5W1H(六何分析法)全景洞察大数据
1
从数据积累到大模型的智能飞跃，你准备好了吗？
43
2
DB-GPT v0.6.0 版本更新，发布六大核心新特性！
32
3
云栖实录 | 阿里云 OpenLake 解决方案重磅发布：多模态数据统一纳管、引擎平权联合计算、数据共享统一读写
136
4
阿里云 EMR Serverless Spark 版正式开启商业化
69
5
小红书 API 接口使用指南：笔记详情数据接口的接入与使用
88
6
阿里云 EMR StarRocks 在七猫的应用和实践
176
7
EMR Serverless StarRocks体验测评
44
8
EMR Serverless Spark 实践教程 | 通过 Apache Airflow 使用 Livy Operator 提交任务
167
9
不是吧？这么好用的开源标注工具，竟然还有人不知道…
79
10
迟来的EMR Serverless Spark评测报告
218