有类型转换_集合操作 | 学习笔记

简介: 快速学习有类型转换_集合操作

开发者学堂课程【大数据 Spark 2020版(知识精讲与实战演练)第三阶段:有类型转换_集合操作】学习笔记,与课程紧密联系,让用户快速学习知识。

课程地址:https://developer.aliyun.com/learning/course/690/detail/12074


有类型转换_集合操作

 

接下来讲解集合操作,集合操作相对来说也是比较简单的,集合操作其实是集合之间的那三个比较常见的操作,一个是交集,一个是并集,还有一个是差集,再说一个 limit, limit 是限制的意思。

接下来看一下这个集合的操作,进入了 idea 当中,然后创建一个新的方法,命名为 collection。

def collection(): Unit =  {

val ds1 = spark.range( 1,10)

val ds2 = spark.range( 5,14)

//1.差集

ds1.except(ds2).show()

//在 ds1 中所有的数据,除掉 ds2 里面有的数据的结果

//2.交集

ds1.intersect(ds2).show()

//在 ds1 和 ds2 中都有的数据

//3.并集

ds1.union(ds2).show()

//在 ds1 和 ds2 中全部的数据

//limit

ds1.limit(3).show()

//一共 9 条数据,可以限制输出为 3 条

scala 当中也有 except,也有 intersept,有 union 也有 limit,所以它们都是一样的,这些算子其实都在仿照这个 scala 来进行的。

运行一下这个操作,结果能看到第一个是差集,dS1 和 dS2 之间的差集就是 1、2、3、4 四个数字,

image.png

然后交集是 5、6、7、8、9 五个数字,并集就是 1、2、3、4、5、6、7、8、9,并集其实是允许重复的。最终 limit 就是打印出来三条数据 1、2、3。

image.png 

以上就是集合上的一个操作,还有一个虽然不属于集合操作,但其实也是作用于结果集的一个操作。

相关文章
|
SQL 安全 前端开发
对于Java代码审计,主要的审计步骤如下:
### Java代码审计简介 Java代码审计是确保应用程序安全的重要步骤,主要包括以下几个关键环节: 1. **确定项目结构与技术框架**:了解项目的整体架构和技术栈。 2. **环境搭建**:配置开发环境,确保能够正常运行项目。 3. **配置文件分析**:重点分析`pom.xml`、`web.xml`等配置文件,特别是依赖组件的版本是否存在已知漏洞。
|
NoSQL Java API
springboot项目Redis统计在线用户
通过本文的介绍,您可以在Spring Boot项目中使用Redis实现在线用户统计。通过合理配置Redis和实现用户登录、注销及统计逻辑,您可以高效地管理在线用户。希望本文的详细解释和代码示例能帮助您在实际项目中成功应用这一技术。
669 4
|
机器学习/深度学习 自然语言处理 算法
扩散模型在机器学习中的应用及原理
扩散模型在机器学习中的应用及原理
|
算法 Linux iOS开发
Zipline 3.0 中文文档(一)(1)
Zipline 3.0 中文文档(一)
1591 3
|
监控 Shell Linux
多行重定向,expect,字符串处理,高级变量,脚本工具
多行重定向,expect,字符串处理,高级变量,脚本工具
|
运维 安全 网络安全
网络安全规划实践
网络安全规划实践
659 0
|
存储 机器学习/深度学习 算法
面试之前,MySQL表连接必须过关!——表连接的原理
什么是连接查询?笛卡尔积如何避免?内连接和外连接的概念是什么?表连接的原理是什么?Simple Nested-Loop Join、Index Nested-Loop Join、Block Nested-Loop Join、Hash Join分别是什么概念?怎样分析表连接使用了哪种连接算法?本文带你一探究竟!
636 0
面试之前,MySQL表连接必须过关!——表连接的原理
|
监控 安全 IDE
【墨菲安全实验室】Spring Cloud Gateway代码注入漏洞分析
【墨菲安全实验室】Spring Cloud Gateway代码注入漏洞分析
【墨菲安全实验室】Spring Cloud Gateway代码注入漏洞分析
|
存储 分布式计算 Hadoop
云计算与大数据实验二 Hadoop的安装和集群的搭建
云计算与大数据实验二 Hadoop的安装和集群的搭建
1040 0