有类型转换_集合操作 | 学习笔记

简介: 快速学习有类型转换_集合操作

开发者学堂课程【大数据 Spark 2020版(知识精讲与实战演练)第三阶段:有类型转换_集合操作】学习笔记,与课程紧密联系,让用户快速学习知识。

课程地址:https://developer.aliyun.com/learning/course/690/detail/12074


有类型转换_集合操作

 

接下来讲解集合操作,集合操作相对来说也是比较简单的,集合操作其实是集合之间的那三个比较常见的操作,一个是交集,一个是并集,还有一个是差集,再说一个 limit, limit 是限制的意思。

接下来看一下这个集合的操作,进入了 idea 当中,然后创建一个新的方法,命名为 collection。

def collection(): Unit =  {

val ds1 = spark.range( 1,10)

val ds2 = spark.range( 5,14)

//1.差集

ds1.except(ds2).show()

//在 ds1 中所有的数据,除掉 ds2 里面有的数据的结果

//2.交集

ds1.intersect(ds2).show()

//在 ds1 和 ds2 中都有的数据

//3.并集

ds1.union(ds2).show()

//在 ds1 和 ds2 中全部的数据

//limit

ds1.limit(3).show()

//一共 9 条数据,可以限制输出为 3 条

scala 当中也有 except,也有 intersept,有 union 也有 limit,所以它们都是一样的,这些算子其实都在仿照这个 scala 来进行的。

运行一下这个操作,结果能看到第一个是差集,dS1 和 dS2 之间的差集就是 1、2、3、4 四个数字,

image.png

然后交集是 5、6、7、8、9 五个数字,并集就是 1、2、3、4、5、6、7、8、9,并集其实是允许重复的。最终 limit 就是打印出来三条数据 1、2、3。

image.png 

以上就是集合上的一个操作,还有一个虽然不属于集合操作,但其实也是作用于结果集的一个操作。

相关文章
|
8月前
|
存储 物联网 数据处理
什么数据中心最好?盘点全球十大数据中心!
在数字时代,数据中心作为关键基础设施,支撑着商业和社会的高效运转。从AWS、谷歌、微软到阿里云、苹果等巨头的数据中心,它们各具特色,涵盖高性能计算、液冷技术、绿色节能和高安全性等领域。这些“超级堡垒”不仅保障了在线交易、远程教育、智慧医疗等服务的稳定运行,还推动了云计算、大数据和物联网的发展,极大提升了社会效率和生活质量。每个数据中心根据自身优势,在不同应用场景中发挥着不可替代的作用,共同构建了数字化世界的基石。
947 1
|
10月前
|
SQL 安全 前端开发
对于Java代码审计,主要的审计步骤如下:
### Java代码审计简介 Java代码审计是确保应用程序安全的重要步骤,主要包括以下几个关键环节: 1. **确定项目结构与技术框架**:了解项目的整体架构和技术栈。 2. **环境搭建**:配置开发环境,确保能够正常运行项目。 3. **配置文件分析**:重点分析`pom.xml`、`web.xml`等配置文件,特别是依赖组件的版本是否存在已知漏洞。
|
NoSQL Java API
springboot项目Redis统计在线用户
通过本文的介绍,您可以在Spring Boot项目中使用Redis实现在线用户统计。通过合理配置Redis和实现用户登录、注销及统计逻辑,您可以高效地管理在线用户。希望本文的详细解释和代码示例能帮助您在实际项目中成功应用这一技术。
435 4
|
安全 算法 Java
代码质量和安全使用代码检测提升
云效代码管理提供多种内置扫描服务,确保代码质量与安全性。面对编码不规范、敏感数据泄露、依赖项安全漏洞等问题,该服务从代码提交到合并全程保驾护航。不仅依据《阿里巴巴 Java 开发手册》检查编码规范,还利用先进算法智能推荐代码补丁,检测敏感信息及依赖包漏洞。用户可在每次提交或合并请求时选择自动化扫描,快速定位并解决问题,提升研发流程的稳定性与安全性。立即体验云效代码管理,保障代码健康。
276 12
|
机器学习/深度学习 自然语言处理 算法
扩散模型在机器学习中的应用及原理
扩散模型在机器学习中的应用及原理
|
NoSQL 关系型数据库 MySQL
[AIGC] 对比MySQL全文索引,RedisSearch,和Elasticsearch的详细区别
[AIGC] 对比MySQL全文索引,RedisSearch,和Elasticsearch的详细区别
597 1
|
监控 Shell Linux
多行重定向,expect,字符串处理,高级变量,脚本工具
多行重定向,expect,字符串处理,高级变量,脚本工具
|
前端开发 安全 搜索推荐
未来前端开发的新趋势:Web3.0与区块链技术的融合
【2月更文挑战第12天】 本文探讨了Web3.0和区块链技术对未来前端开发领域的影响。不同于传统摘要的简单概括,我们将通过一个创新的视角,深入解析这两项技术如何共同塑造前端开发的新生态,引领未来互联网的方向。文章首先介绍了Web3.0和区块链技术的基本概念,随后详细分析了它们在提高数据安全性、增强用户体验和推动去中心化应用(DApp)开发上的具体应用。最后,我们将展望这一趋势对前端开发者技能要求的变化,以及如何准备迎接这一变革。
|
机器学习/深度学习 语音技术 算法框架/工具
基于深度学习的中文语音识别系统(毕设)
基于深度学习的中文语音识别系统(毕设)
409 0
基于深度学习的中文语音识别系统(毕设)
|
存储 机器学习/深度学习 算法
面试之前,MySQL表连接必须过关!——表连接的原理
什么是连接查询?笛卡尔积如何避免?内连接和外连接的概念是什么?表连接的原理是什么?Simple Nested-Loop Join、Index Nested-Loop Join、Block Nested-Loop Join、Hash Join分别是什么概念?怎样分析表连接使用了哪种连接算法?本文带你一探究竟!
414 0
面试之前,MySQL表连接必须过关!——表连接的原理