有类型转换_集合操作 | 学习笔记

简介: 快速学习有类型转换_集合操作

开发者学堂课程【大数据 Spark 2020版(知识精讲与实战演练)第三阶段:有类型转换_集合操作】学习笔记,与课程紧密联系,让用户快速学习知识。

课程地址:https://developer.aliyun.com/learning/course/690/detail/12074


有类型转换_集合操作

 

接下来讲解集合操作,集合操作相对来说也是比较简单的,集合操作其实是集合之间的那三个比较常见的操作,一个是交集,一个是并集,还有一个是差集,再说一个 limit, limit 是限制的意思。

接下来看一下这个集合的操作,进入了 idea 当中,然后创建一个新的方法,命名为 collection。

def collection(): Unit =  {

val ds1 = spark.range( 1,10)

val ds2 = spark.range( 5,14)

//1.差集

ds1.except(ds2).show()

//在 ds1 中所有的数据,除掉 ds2 里面有的数据的结果

//2.交集

ds1.intersect(ds2).show()

//在 ds1 和 ds2 中都有的数据

//3.并集

ds1.union(ds2).show()

//在 ds1 和 ds2 中全部的数据

//limit

ds1.limit(3).show()

//一共 9 条数据,可以限制输出为 3 条

scala 当中也有 except,也有 intersept,有 union 也有 limit,所以它们都是一样的,这些算子其实都在仿照这个 scala 来进行的。

运行一下这个操作,结果能看到第一个是差集,dS1 和 dS2 之间的差集就是 1、2、3、4 四个数字,

image.png

然后交集是 5、6、7、8、9 五个数字,并集就是 1、2、3、4、5、6、7、8、9,并集其实是允许重复的。最终 limit 就是打印出来三条数据 1、2、3。

image.png 

以上就是集合上的一个操作,还有一个虽然不属于集合操作,但其实也是作用于结果集的一个操作。

相关文章
|
分布式计算 Java 数据安全/隐私保护
Kotlin 学习笔记(二)—— 数据类、枚举类、循环、常用集合及操作符的写法(下 )
Kotlin 学习笔记(二)—— 数据类、枚举类、循环、常用集合及操作符的写法(下)
70 0
|
6月前
|
存储 安全 算法
Java泛型与集合:类型安全的集合操作实践
Java泛型与集合:类型安全的集合操作实践
|
Java Kotlin
Kotlin 学习笔记(二)—— 数据类、枚举类、循环、常用集合及操作符的写法(上)
Kotlin 学习笔记(二)—— 数据类、枚举类、循环、常用集合及操作符的写法(上)
62 0
|
存储 Java
2.4 Lambda表达式在集合操作中的应用:使用Lambda表达式进行排序
2.4 Lambda表达式在集合操作中的应用:使用Lambda表达式进行排序
74 0
|
存储 编译器 C#
|
存储 测试技术 C#
C#编程流程控制与集合类型(一)
C#编程流程控制与集合类型
C#编程流程控制与集合类型(一)
|
分布式计算 大数据 API
有类型转换_去重 | 学习笔记
快速学习有类型转换_去重
有类型转换_去重 | 学习笔记
|
分布式计算 大数据 Spark
有类型转换_groupByKey | 学习笔记
快速学习有类型转换_groupByKey
122 0
有类型转换_groupByKey | 学习笔记
|
SQL 分布式计算 大数据
有类型转换_as | 学习笔记
快速学习有类型转换_as
有类型转换_as | 学习笔记