开发者社区> 问答> 正文

spark streaming是怎么收集和处理数据的?

spark streaming是怎么收集和处理数据的?

展开
收起
xin在这 2021-12-07 22:52:45 349 0
1 条回答
写回答
取消 提交回答
  • 在 Spark Streaming 中,数据采集是逐条进行的,而数据处理是按批 mini batch进行的,因此 Spark Streaming 会先设置好批处理间隔 batch duration,当超过批处理间隔就会把采集到的数据汇总起来成为一批数据交给系统去处理。

    2021-12-07 22:52:55
    赞同 展开评论 打赏
问答排行榜
最热
最新

相关电子书

更多
Hybrid Cloud and Apache Spark 立即下载
Scalable Deep Learning on Spark 立即下载
Comparison of Spark SQL with Hive 立即下载