开发者社区大数据文章正文

196 Spark SQL概述

2023-11-01 62

版权

本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。

简介： 196 Spark SQL概述

Spark SQL是Spark用来处理结构化数据的一个模块，它提供了一个编程抽象叫做DataFrame并且作为分布式SQL查询引擎的作用。

前面已经学习了Hive，它是将Hive SQL转换成MapReduce然后提交到集群上执行，大大简化了编写MapReduce的程序的复杂性，由于MapReduce这种计算模型执行效率比较慢。所以Spark SQL的应运而生，它是将Spark SQL转换成RDD，然后提交到集群执行，执行效率非常快！

Spark SQL有如下特点：

1.易整合

2.统一的数据访问方式

3.兼容Hive

4.标准的数据连接

文章标签：

分布式计算

SQL

Spark

HIVE

关键词：

apache spark SQL

SQL spark

SQL概述

spark SQL概述

阿甘兄

wljslmz

29天前

SQL 存储分布式计算

如何使用 Spark SQL 从 DataFrame 查询数据？

【8月更文挑战第13天】

wljslmz

33 4 4

嘟嘟嘟嘟嘟嘟

2月前

SQL 分布式计算 DataWorks

DataWorks产品使用合集之怎么编写和执行Spark SQL

DataWorks作为一站式的数据开发与治理平台，提供了从数据采集、清洗、开发、调度、服务化、质量监控到安全管理的全套解决方案，帮助企业构建高效、规范、安全的大数据处理体系。以下是对DataWorks产品使用合集的概述，涵盖数据处理的各个环节。

嘟嘟嘟嘟嘟嘟

61 1 1

sky_qiyi

3月前

SQL 关系型数据库 MySQL

MySQL数据库——基础篇总结（概述、SQL、函数、约束、多表查询、事务）一

sky_qiyi

39 5 5

3hvg2zg3cgsi6

3月前

SQL 存储数据库

SQL 语言：基本概述和数据定义

3hvg2zg3cgsi6

145 4 4

Vez'nan的幸福生活

4月前

SQL 关系型数据库 MySQL

【MySQL进阶之路 | 基础篇】SQL概述

Vez'nan的幸福生活

38 1 1

让线程再跑一会

3月前

SQL JSON 分布式计算

Spark SQL【Java API】（2）

Spark SQL【Java API】

让线程再跑一会

104 0 0

让线程再跑一会

3月前

SQL 分布式计算 Java

Spark SQL【Java API】（1）

Spark SQL【Java API】

让线程再跑一会

113 0 0

sky_qiyi

3月前

SQL 存储关系型数据库

MySQL数据库——基础篇总结（概述、SQL、函数、约束、多表查询、事务）二

sky_qiyi

39 0 0

鱼跟猫

SQL 消息中间件分布式计算

通过Spark SQL实时归档SLS数据

我在前一篇文章介绍过基于Spark SQL实现对HDFS操作的实时监控报警。今天，我再举例说明一下如何使用Spark SQL进行流式应用的开发。

鱼跟猫

2551 0 1

sunrr

2月前

SQL 存储监控

SQL Server的并行实施如何优化？

【7月更文挑战第23天】SQL Server的并行实施如何优化？

sunrr

56 13 14

196 Spark SQL概述

热门文章

最新文章

相关课程

相关电子书

相关实验场景