有类型转换_集合操作 | 学习笔记

简介: 快速学习有类型转换_集合操作

开发者学堂课程【大数据 Spark 2020版(知识精讲与实战演练)第三阶段:有类型转换_集合操作】学习笔记,与课程紧密联系,让用户快速学习知识。

课程地址:https://developer.aliyun.com/learning/course/690/detail/12074


有类型转换_集合操作

 

接下来讲解集合操作,集合操作相对来说也是比较简单的,集合操作其实是集合之间的那三个比较常见的操作,一个是交集,一个是并集,还有一个是差集,再说一个 limit, limit 是限制的意思。

接下来看一下这个集合的操作,进入了 idea 当中,然后创建一个新的方法,命名为 collection。

def collection(): Unit =  {

val ds1 = spark.range( 1,10)

val ds2 = spark.range( 5,14)

//1.差集

ds1.except(ds2).show()

//在 ds1 中所有的数据,除掉 ds2 里面有的数据的结果

//2.交集

ds1.intersect(ds2).show()

//在 ds1 和 ds2 中都有的数据

//3.并集

ds1.union(ds2).show()

//在 ds1 和 ds2 中全部的数据

//limit

ds1.limit(3).show()

//一共 9 条数据,可以限制输出为 3 条

scala 当中也有 except,也有 intersept,有 union 也有 limit,所以它们都是一样的,这些算子其实都在仿照这个 scala 来进行的。

运行一下这个操作,结果能看到第一个是差集,dS1 和 dS2 之间的差集就是 1、2、3、4 四个数字,

image.png

然后交集是 5、6、7、8、9 五个数字,并集就是 1、2、3、4、5、6、7、8、9,并集其实是允许重复的。最终 limit 就是打印出来三条数据 1、2、3。

image.png 

以上就是集合上的一个操作,还有一个虽然不属于集合操作,但其实也是作用于结果集的一个操作。

相关文章
|
存储 消息中间件 SQL
Flink 基础学习(五)数据存储
前面两篇笔记已经写了数据来源和转换如何使用,那么这篇当然就到了数据存储,接下来将会从以下角度介绍一下(喜闻乐见的 What / Why / How)~:
1891 0
Flink 基础学习(五)数据存储
|
存储 物联网 数据处理
什么数据中心最好?盘点全球十大数据中心!
在数字时代,数据中心作为关键基础设施,支撑着商业和社会的高效运转。从AWS、谷歌、微软到阿里云、苹果等巨头的数据中心,它们各具特色,涵盖高性能计算、液冷技术、绿色节能和高安全性等领域。这些“超级堡垒”不仅保障了在线交易、远程教育、智慧医疗等服务的稳定运行,还推动了云计算、大数据和物联网的发展,极大提升了社会效率和生活质量。每个数据中心根据自身优势,在不同应用场景中发挥着不可替代的作用,共同构建了数字化世界的基石。
1569 1
|
SQL 安全 前端开发
对于Java代码审计,主要的审计步骤如下:
### Java代码审计简介 Java代码审计是确保应用程序安全的重要步骤,主要包括以下几个关键环节: 1. **确定项目结构与技术框架**:了解项目的整体架构和技术栈。 2. **环境搭建**:配置开发环境,确保能够正常运行项目。 3. **配置文件分析**:重点分析`pom.xml`、`web.xml`等配置文件,特别是依赖组件的版本是否存在已知漏洞。
|
NoSQL Java API
springboot项目Redis统计在线用户
通过本文的介绍,您可以在Spring Boot项目中使用Redis实现在线用户统计。通过合理配置Redis和实现用户登录、注销及统计逻辑,您可以高效地管理在线用户。希望本文的详细解释和代码示例能帮助您在实际项目中成功应用这一技术。
609 4
|
NoSQL 关系型数据库 MySQL
[AIGC] 对比MySQL全文索引,RedisSearch,和Elasticsearch的详细区别
[AIGC] 对比MySQL全文索引,RedisSearch,和Elasticsearch的详细区别
683 1
|
前端开发 安全 搜索推荐
未来前端开发的新趋势:Web3.0与区块链技术的融合
【2月更文挑战第12天】 本文探讨了Web3.0和区块链技术对未来前端开发领域的影响。不同于传统摘要的简单概括,我们将通过一个创新的视角,深入解析这两项技术如何共同塑造前端开发的新生态,引领未来互联网的方向。文章首先介绍了Web3.0和区块链技术的基本概念,随后详细分析了它们在提高数据安全性、增强用户体验和推动去中心化应用(DApp)开发上的具体应用。最后,我们将展望这一趋势对前端开发者技能要求的变化,以及如何准备迎接这一变革。
|
监控 Shell Linux
多行重定向,expect,字符串处理,高级变量,脚本工具
多行重定向,expect,字符串处理,高级变量,脚本工具
|
程序员 C语言
【C语言】C语言运算符优先级详解
【C语言】C语言运算符优先级详解
750 0
|
运维 安全 网络安全
网络安全规划实践
网络安全规划实践
603 0

热门文章

最新文章