spark streaming是如何收集和处理数据的？
spark streaming是如何收集和处理数据的？
展开
收起
1
条回答
写回答
写回答
-
在Spark Streaming中，数据采集是逐条进行的，而数据处理是按批mini batch进行的,因此Spark Streaming会先设置好批处理间隔batch duration，当超过批处理间隔就会把采集到的数据汇总起来成为一批数据交给系统去处理。
2021-12-07 08:03:53赞同 展开评论 打赏
版权声明：本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。
相关问答
