185 RDD API - Action

简介: 185 RDD API - Action
动作 含义
reduce(func) 通过func函数聚集RDD中的所有元素,这个功能必须是课交换且可并联的
collect() 在驱动程序中,以数组的形式返回数据集的所有元素
count() 返回RDD的元素个数
first() 返回RDD的第一个元素(类似于take(1))
take(n) 返回一个由数据集的前n个元素组成的数组
takeSample(withReplacement,num, [seed]) 返回一个数组,该数组由从数据集中随机采样的num个元素组成,可以选择是否用随机数替换不足的部分,seed用于指定随机数生成器种子
takeOrdered(n, [ordering])
saveAsTextFile(path) 将数据集的元素以textfile的形式保存到HDFS文件系统或者其他支持的文件系统,对于每个元素,Spark将会调用toString方法,将它装换为文件中的文本
saveAsSequenceFile(path) 将数据集中的元素以Hadoop sequencefile的格式保存到指定的目录下,可以使HDFS或者其他Hadoop支持的文件系统。
saveAsObjectFile(path)
countByKey() 针对(K,V)类型的RDD,返回一个(K,Int)的map,表示每一个key对应的元素个数。
foreach(func) 在数据集的每一个元素上,运行函数func进行更新。
目录
相关文章
|
11月前
|
分布式计算 Serverless API
184 RDD API - Transformation
184 RDD API - Transformation
44 0
|
2月前
|
JSON API 数据格式
【Azure API 管理】 为APIM创建一个审批订阅申请的RBAC角色,最少的Action内容是什么呢?
【Azure API 管理】 为APIM创建一个审批订阅申请的RBAC角色,最少的Action内容是什么呢?
|
存储 缓存 分布式计算
RDD 的缓存_缓存的 API | 学习笔记
快速学习 RDD 的缓存_缓存的 API
RDD 的缓存_缓存的 API | 学习笔记
|
JSON API 数据格式
openstack nova 源码解析 — Nova API 执行过程从(novaclient到Action)
目录 目录 Nova API Nova API 的执行过程 novaclient 将 Commands 转换为标准的HTTP请求 PasteDeploy 将 HTTP 请求路由到具体的 WSGI Application Routes 将 HTTP 请求路由到具体的操作函数并执行 Nova API Nova API 是访问、使用 Nova 各组件服务的唯一途径,作为 novaclient 和 Nova services 之间的中间层。
2059 0
|
API 数据格式 JSON
【Web API系列教程】1.2 — Web API 2中的Action Results
前言 本节的主题是ASP.NET Web API如何将控制器动作的返回值转换成HTTP的响应消息。 Web API控制器动作可以返回下列的任何值: 1, void 2, HttpResponseMessage 3, IHttpActionResult 4, Some other type 取决于返回的以上哪一种,Web API使用不同的机制来创建HTTP响应。
1007 0
|
API 容器 数据格式
Web APi之控制器选择Action方法过程(九)
前言 前面我们叙述了关于控制器创建的详细过程,在前面完成了对控制器的激活之后,就是根据控制器信息来查找匹配的Action方法,这就是本节要讲的内容。当请求过来时首先经过宿主处理管道然后进入Web API消息处理管道,接着就是控制器的创建和执行控制器即选择匹配的Action方法最终并作出响应(在Action方法上还涉及到模型绑定、过滤器等,后续讲)。
859 0