Rdd 算子_转换_mapvalues | 学习笔记

简介: 快速学习 Rdd 算子_转换_mapvalues

开发者学堂课程【大数据 Spark 2020版(知识精讲与实战演练)第三阶段Rdd 算子_转换_mapvalues】学习笔记,与课程紧密联系,让用户快速学习知识。

课程地址:https://developer.aliyun.com/learning/course/689/detail/11970


Rdd 算子_转换_mapvalues


内容介绍:

一、序言

二、mapvalues 的使用

 

一、序言

现在有一个小的需求,假如 rdd 当中存放的是123这种数据,通过 map 算子给这每一条数据转成其他的形式,比如10.20.30,但是加入存放的是:a1  b2  c3如果存放的是这种数据,希望指出它的翻译,那么该怎么做到呢?

有没有一个算法能够通过一个算子直接就把这个 a1转成 a10,接下来我们要是用 mapvalues 就是只转 values,也就是说正常情况下这个 value 123,那么转成10 20 30这种形式。

 

二、mapvalues 的使用

进入代码当中,首先写上注解,接下来第一步是定义集合,第一步是定义集合,生成 seq,存放 key value 性数据即(a1  b2  c3),就可以把1转成10,后面同理。使用 mapvalues,也接收了一个函数,这个函数接收的参数是int类型,是整个一条数据的泛型,即里面接收的 item 直接就是 key values 数据,直接 item 10,并且 collect。并且打印每一条数据,也可以简化写法。

@Test

def mapValues(): Unit=

sc.parallelize(Seq(("a",1), ("b",2),("c",3))),mapValues( item => item 10)

.collect()

.foreach(printin()

运行结果如下:

image.png

结果无误,mapvalues 也是 map,只是 map 作用于整条数据,而 mapvalues 作用于 value

相关文章
|
前端开发 JavaScript
react-兄弟-父子组件共享状态-useContext
react-兄弟-父子组件共享状态-useContext
231 0
|
10月前
|
前端开发 UED 开发者
React 悬浮按钮组件 FloatingActionButton
悬浮按钮(FAB)是常见的UI元素,用于提供突出的操作。本文介绍如何在React中使用Material-UI创建美观的FAB组件,涵盖基本概念、实现方法及常见问题解决。通过代码示例和优化技巧,帮助开发者提升用户体验,确保按钮位置、颜色、交互反馈等方面的表现,同时避免无障碍性和性能问题。
433 80
|
JavaScript 前端开发 测试技术
Google Mock介绍
Google Mock是由Google开发的一种用于C++的模拟(mocking)框架,它是Google Test测试框架的一部分。gmock允许开发者创建模拟对象,这些对象可以在单元测试中代替真实的依赖项,使得测试更加灵活和独立。通过使用gmock,开发者可以专注于测试代码逻辑的正确性,而不必担心外部依赖的复杂性。
298 0
|
10月前
|
存储 数据采集 大数据
数据仓库建模规范思考
本文介绍了数据仓库建模规范,包括模型分层、设计、数据类型、命名及接口开发等方面的详细规定。通过规范化分层逻辑、高内聚松耦合的设计、明确的命名规范和数据类型转换规则,提高数据仓库的可维护性、可扩展性和数据质量,为企业决策提供支持。
848 10
|
缓存 监控 负载均衡
一文讲明Hystrix熔断器
这篇文章详细阐述了Hystrix熔断器的原理和应用,解释了分布式系统中服务雪崩的问题,并展示了如何在Spring Cloud框架中使用Hystrix进行熔断和降级处理。
一文讲明Hystrix熔断器
|
缓存 前端开发 JavaScript
在react项目中实现按钮权限createContext && useContext
文章介绍了在React项目中如何使用`createContext`和`useContext`来实现按钮级别的权限控制。
215 0
|
持续交付 Python
使用Python实现自动化Web内容巡检
使用Python实现自动化Web内容巡检
611 1
|
前端开发 算法
lodash 的 _.groupBy 函数是怎么实现的?
lodash 的 _.groupBy 函数是怎么实现的?
177 0
|
JavaScript 网络安全 开发工具
笔记:关于使用vitepress 制作静态站点并托管到 gitee
笔记:关于使用vitepress 制作静态站点并托管到 gitee
1673 0
|
前端开发
React createContext 与 useContext 的基本使用
React createContext 与 useContext 的基本使用
410 0