spark streaming是怎么收集和处理数据的?-问答-阿里云开发者社区-阿里云

开发者社区> 问答> 正文
阿里云
为了无法计算的价值
打开APP
阿里云APP内打开

spark streaming是怎么收集和处理数据的?

2021-12-07 22:52:45 161 1

spark streaming是怎么收集和处理数据的?

取消 提交回答
全部回答(1)
  • 游客wyvq5mjsckydw
    2021-12-07 22:52:55

    在 Spark Streaming 中,数据采集是逐条进行的,而数据处理是按批 mini batch进行的,因此 Spark Streaming 会先设置好批处理间隔 batch duration,当超过批处理间隔就会把采集到的数据汇总起来成为一批数据交给系统去处理。

    0 0
相关问答

1

回答

Spark中数据的位置是如何管理的?

2021-12-07 17:39:53 188浏览量 回答数 1

1

回答

Spark中数据的位置是被谁管理的啊?

2021-12-06 17:31:09 214浏览量 回答数 1

3

回答

Spark中数据的位置是被谁管理的?

2019-10-28 16:07:47 2901浏览量 回答数 3

1

回答

Noxmobi系统使用流式计算Spark Streaming的要求有哪些?

2021-12-08 18:27:58 420浏览量 回答数 1

1

回答

Noxmobi系统使用流式计算Spark Streaming的目的是什么?

2021-12-08 18:25:33 420浏览量 回答数 1

1

回答

Spark Streaming中的JobGenerator的作用是什么?

2021-12-07 20:14:49 182浏览量 回答数 1

0

回答

Spark Streaming进行流数据处理大致可以分为哪些步骤?

2021-12-07 20:31:19 161浏览量 回答数 0

1

回答

spark streaming job运行卡住

2021-01-21 10:52:16 1475浏览量 回答数 1

1

回答

Spark Streaming SQL是什么?

2021-01-07 16:29:39 836浏览量 回答数 1

0

回答

spark streaming和kafka集成的时候,auto commit offset设置位false,存储这个offset,大家是怎么做的啊?

2018-12-03 18:15:31 2166浏览量 回答数 0
文章
问答
问答排行榜
最热
最新
相关电子书
更多
spark替代HIVE实现ETL作业
立即下载
Comparison of Spark SQL with Hive
立即下载
Spark介绍及Spark多数据源分析
立即下载