Spark Streaming中的DStream的转化操作是什么?-问答-阿里云开发者社区-阿里云

开发者社区> 问答> 正文
阿里云
为了无法计算的价值
打开APP
阿里云APP内打开

Spark Streaming中的DStream的转化操作是什么?

2021-12-07 20:17:05 163 1

Spark Streaming中的DStream的转化操作是什么?

取消 提交回答
全部回答(1)
  • 游客k7rjnht6hbtk6
    2021-12-07 20:17:32

    在创建好输入DStream后,对其调用了filter()算子,filter()算子是转化操作,会将操作应用到DStream的每一个RDD。需要记住的是,尽管这些函数看起来像作用在整个流上一样,但事实上每个DStream 在内部是由许多RDD(批次)组成,且这些转化操作是分别应用到每个RDD 上的。例如,filter()会对DStream内的每个时间区间的数据(RDD)进行过滤,reduceByKey() 会归约每个RDD中的数据,但不会归约不同区间之间的数据。

    0 0
相关问答

1

回答

流式计算 Spark Streaming 如何应treaming 如何应用?

2022-08-17 10:41:24 113浏览量 回答数 1

1

回答

Flink和Spark Streaming相比有哪些不同?

2022-05-12 11:19:21 217浏览量 回答数 1

1

回答

当把仅有确定性计算的 Spark Streaming 和 Flink 进行对比时二者的不同点有哪些?

2022-05-10 18:37:36 143浏览量 回答数 1

1

回答

如果 Spark Streaming 存在非确定性的计算,则不能实现端到端一致,原因是什么?

2022-05-10 18:37:29 172浏览量 回答数 1

1

回答

Spark Streaming 原理是什么?

2022-01-13 15:54:26 1177浏览量 回答数 1

1

回答

Noxmobi系统使用流式计算Spark Streaming的要求有哪些?

2021-12-08 18:27:58 431浏览量 回答数 1

1

回答

Noxmobi系统使用流式计算Spark Streaming的目的是什么?

2021-12-08 18:25:33 433浏览量 回答数 1

1

回答

Spark Streaming中的JobGenerator的作用是什么?

2021-12-07 20:14:49 200浏览量 回答数 1

3

回答

Flink相比Spark Streaming有什么区别?

2019-11-20 16:18:51 5766浏览量 回答数 3

3

回答

Spark Streaming和Storm有何区别?

2019-10-29 14:30:57 1855浏览量 回答数 3
文章
问答
问答排行榜
最热
最新
相关电子书
更多
Spark介绍及Spark多数据源分析
立即下载
spark替代HIVE实现ETL作业
立即下载
R AND SPARK
立即下载