spark中的RDD的特性是什么?-问答-阿里云开发者社区-阿里云

开发者社区> 问答> 正文
阿里云
为了无法计算的价值
打开APP
阿里云APP内打开

spark中的RDD的特性是什么?

2021-12-07 06:48:49 410 1

spark中的RDD的特性是什么?

取消 提交回答
全部回答(1)
  • 游客ml767kj7wes6q
    2021-12-07 06:49:55

    RDD的特性:

    1.A list of partitions:一个分区列表, RDD中的数据都存储在一个分区列表中

    2.A function for computing each split:作用在每一-个分区中的函数

    3.A list of dependencies on other RDDs:一个RDD依赖于其他多个RDD,这个点很重要,RDD的容错机制就是依据这个特性而来的

    4.Optionally,a Partitioner for key-valueRDDs(eg:to say that the RDD is hash-partitioned):可选的,针对于kv类型的RDD才有这个特性,作用是决定了数据的来源以及数据处理后的去向

    5.可选项,数据本地性,数据位置最优

    0 0
相关问答

1

回答

spark中的RDD有什么特性?

2021-12-06 23:27:50 149浏览量 回答数 1

1

回答

Noxmobi系统使用流式计算Spark Streaming的目的是什么?

2021-12-08 18:25:33 428浏览量 回答数 1

1

回答

Noxmobi系统使用流式计算Spark Streaming的要求有哪些?

2021-12-08 18:27:58 426浏览量 回答数 1

1

回答

Spark Streaming中的JobGenerator的作用是什么?

2021-12-07 20:14:49 193浏览量 回答数 1

1

回答

Flink 和 Spark Streaming 在容错机制方面有什么区别呢?

2021-12-07 20:45:51 127浏览量 回答数 1

1

回答

Spark Streaming中的输入、计算和输出是什么?

2021-12-07 20:45:09 93浏览量 回答数 1

1

回答

Flink 和 Spark Streaming 在时间机制上有什么区别呢?

2021-12-07 20:44:12 145浏览量 回答数 1

1

回答

spark streaming可以处理数据延迟的问题吗

2018-12-03 18:11:26 3065浏览量 回答数 1

1

回答

spark streaming接loghub数据的输出格式

2016-06-07 13:10:41 4752浏览量 回答数 1

1

回答

测试LogService,spark Streaming 读取不到数据?

2016-06-07 13:04:51 3114浏览量 回答数 1
文章
问答
问答排行榜
最热
最新
相关电子书
更多
Comparison of Spark SQL with Hive
立即下载
spark替代HIVE实现ETL作业
立即下载
Spark Compute as a Service @Paypal
立即下载