RDD 算子_数字型的支持 | 学习笔记

简介: 快速学习 RDD 算子_数字型的支持

开发者学堂课程【大数据Spark2020最新课程(知识精讲与实战演练)第二阶段RDD 算子_数字型的支持学习笔记,与课程紧密联系,让用户快速学习知识。

课程地址:https://developer.aliyun.com/learning/course/689/detail/11986


RDD 算子_数字型的支持


内容介绍

一、前言

二、实例讲解


一、前言

前面简单了解了 RDD KV 类型数据的支持,其实 RDD 对数字型数据也有额外的支持。 count 是进行一个数的计算, count 也存在普通类型的数据上。 count mean sum max min variancesampleVariance stdev sampleStdev ,这些算子都是对数字类型的特殊支持。


二、实例讲解

接下来通过本节内容,让大家理解对数字类型的特殊计算。让我们进入代码编写。前面提到的算子,它们有一个共同的特点,它们都是 Action ,所以把它们放在 ActionO p 类中。

创建方法,创建 RDD ,确定元素,求最大值、最小值、均值、总数,Spark 有一个缺陷,即没有求中位数的算法。然后运行程序,查看结果。具体代码如下:

@Test

def numberic(): Unit = {

val rdd = sc.parallelize(Seq(1,2,3,4,10,20,30,50,100))

println(rdd.max())

println(rdd.min())

println(rdd.mean())

println(rdd.sum())

}

这是整个 Spark 对数字类型的特殊支持,其实有一点需要大家注意,这些支持不止举例的这几种,还有其他的操作也是,比如说 Spark 还支持求方差、标准差等计算。

另外,这些对数字类型的支持都是 Action ,是可以直接求出结果的。

相关文章
three.js的3D模型渲染主要构成
three.js的3D模型渲染主要构成
287 0
|
传感器 前端开发 安全
前端前沿技术之webAR
随着用户体验的升级和技术的进步,浏览器中涌现了越来越多的技术。前端也从十年前网页中的纯HTML和CSS技术开始涵盖到服务端、移动端的领域。
2946 0
前端前沿技术之webAR
|
14天前
|
存储 弹性计算 人工智能
【2025云栖精华内容】 打造持续领先,全球覆盖的澎湃算力底座——通用计算产品发布与行业实践专场回顾
2025年9月24日,阿里云弹性计算团队多位产品、技术专家及服务器团队技术专家共同在【2025云栖大会】现场带来了《通用计算产品发布与行业实践》的专场论坛,本论坛聚焦弹性计算多款通用算力产品发布。同时,ECS云服务器安全能力、资源售卖模式、计算AI助手等用户体验关键环节也宣布升级,让用云更简单、更智能。海尔三翼鸟云服务负责人刘建锋先生作为特邀嘉宾,莅临现场分享了关于阿里云ECS g9i推动AIoT平台的场景落地实践。
【2025云栖精华内容】 打造持续领先,全球覆盖的澎湃算力底座——通用计算产品发布与行业实践专场回顾
|
5天前
|
云安全 人工智能 安全
Dify平台集成阿里云AI安全护栏,构建AI Runtime安全防线
阿里云 AI 安全护栏加入Dify平台,打造可信赖的 AI
|
8天前
|
人工智能 运维 Java
Spring AI Alibaba Admin 开源!以数据为中心的 Agent 开发平台
Spring AI Alibaba Admin 正式发布!一站式实现 Prompt 管理、动态热更新、评测集构建、自动化评估与全链路可观测,助力企业高效构建可信赖的 AI Agent 应用。开源共建,现已上线!
810 27
|
8天前
|
机器学习/深度学习 人工智能 搜索推荐
万字长文深度解析最新Deep Research技术:前沿架构、核心技术与未来展望
近期发生了什么自 2025 年 2 月 OpenAI 正式发布Deep Research以来,深度研究/深度搜索(Deep Research / Deep Search)正在成为信息检索与知识工作的全新范式:系统以多步推理驱动大规模联网检索、跨源证据。
537 46
|
1天前
|
监控 BI 数据库
打工人救星!来看看这两家企业如何用Quick BI让业务更高效
Quick BI专业版监控告警助力企业高效运作,通过灵活配置规则与多渠道推送,让数据异常早发现、快响应,推动业务敏捷决策与持续增长。
打工人救星!来看看这两家企业如何用Quick BI让业务更高效