SparkSQL 初体验_SQL 案例 | 学习笔记

简介: 快速学习 SparkSQL 初体验_SQL 案例

开发者学堂课程【大数据 Spark 2020版(知识精讲与实战演练)第三阶段SparkSQL 初体验_SQL 案例】学习笔记,与课程紧密联系,让用户快速学习知识。

课程地址:https://developer.aliyun.com/learning/course/690/detail/12038


SparkSQL 初体验_SQL 案例

 

有这样的一个案例,编写这样的一条 SQL 语句。

打开 idea,去创建一个新的方法,这个方法,我们叫做 test,一个测试方法。去创建 data frame intro,前面的内容我们直接给他复制过来,复制过来以后拿到这个 SOURCE RDD,我们不仅可以 to DS ,我们还可以 to DF,理应拿到的是就是一个 DF,拿到这个 DF 以后,我们就可以来进行相应的操作。

比如说,我们要先给他注册成一个临时表,为什么要注册一个临时表呢?想一想, SQL 语句怎么写,是不是 select 什么什么,From 什么什么,这个 from 该怎么想?

要在这个 DF 上进行查询,是不是要让这个 SQL 语句要有一个 from ?所以我们要创建一个表,怎么创建呢?

Create or replace。这个表名字叫做 person。

使用 spark 这样的一个入口来去进行查询,那么我们就可以直接在这边写。

"select name from person where age > 10 and age < 20")

我们通过这样的一条 SQL 语句,就实现了和刚才一样的功能,所以刚才我们写了这么多行代码,做到的功能和写一行代码是一样的,所以,很多时候这个 RQL 也是比较好用的,那么 spark RQL 这个方法

返回一个 data frame,拿到这个 data frame 以后就叫做 ResultDF,我们可以直接来进行相应的打印,Show 一下。

运行这个案例

image.png

打印出来的结果跟刚才的结果是一样的,说明代码也没有任何问题,这时,我们已经对整个的初体验部分做了简单的说明。

相关文章
|
3月前
|
SQL 数据库
数据库数据恢复—SQL Server数据库报错“错误823”的数据恢复案例
SQL Server附加数据库出现错误823,附加数据库失败。数据库没有备份,无法通过备份恢复数据库。 SQL Server数据库出现823错误的可能原因有:数据库物理页面损坏、数据库物理页面校验值损坏导致无法识别该页面、断电或者文件系统问题导致页面丢失。
114 12
数据库数据恢复—SQL Server数据库报错“错误823”的数据恢复案例
|
27天前
|
SQL 数据库
gbase 8a 数据库 SQL优化案例-关联顺序优化
gbase 8a 数据库 SQL优化案例-关联顺序优化
|
1月前
|
SQL 数据库 UED
SQL性能提升秘籍:5步优化法与10个实战案例
在数据库管理和应用开发中,SQL查询的性能优化至关重要。高效的SQL查询不仅可以提高应用的响应速度,还能降低服务器负载,提升用户体验。本文将分享SQL优化的五大步骤和十个实战案例,帮助构建高效、稳定的数据库应用。
63 3
|
1月前
|
SQL 缓存 监控
SQL性能提升指南:五大优化策略与十个实战案例
在数据库性能优化的世界里,SQL优化是提升查询效率的关键。一个高效的SQL查询可以显著减少数据库的负载,提高应用响应速度,甚至影响整个系统的稳定性和扩展性。本文将介绍SQL优化的五大步骤,并结合十个实战案例,为你提供一份详尽的性能提升指南。
51 0
|
2月前
|
SQL 大数据 API
大数据-132 - Flink SQL 基本介绍 与 HelloWorld案例
大数据-132 - Flink SQL 基本介绍 与 HelloWorld案例
60 0
|
2月前
|
SQL 分布式计算 大数据
大数据-97 Spark 集群 SparkSQL 原理详细解析 Broadcast Shuffle SQL解析过程(一)
大数据-97 Spark 集群 SparkSQL 原理详细解析 Broadcast Shuffle SQL解析过程(一)
77 0
|
2月前
|
SQL 分布式计算 算法
大数据-97 Spark 集群 SparkSQL 原理详细解析 Broadcast Shuffle SQL解析过程(二)
大数据-97 Spark 集群 SparkSQL 原理详细解析 Broadcast Shuffle SQL解析过程(二)
92 0
|
2月前
|
SQL 分布式计算 Java
大数据-96 Spark 集群 SparkSQL Scala编写SQL操作SparkSQL的数据源:JSON、CSV、JDBC、Hive
大数据-96 Spark 集群 SparkSQL Scala编写SQL操作SparkSQL的数据源:JSON、CSV、JDBC、Hive
67 0
|
2月前
|
SQL 分布式计算 大数据
大数据-94 Spark 集群 SQL DataFrame & DataSet & RDD 创建与相互转换 SparkSQL
大数据-94 Spark 集群 SQL DataFrame & DataSet & RDD 创建与相互转换 SparkSQL
82 0
|
2月前
|
SQL 存储 分布式计算
大数据-93 Spark 集群 Spark SQL 概述 基本概念 SparkSQL对比 架构 抽象
大数据-93 Spark 集群 Spark SQL 概述 基本概念 SparkSQL对比 架构 抽象
50 0