AI 助理
备案控制台
开发者社区 问答 正文

spark streaming是怎么收集和处理数据的？

spark streaming是怎么收集和处理数据的？

展开
收起
芯在这 2021-12-07 22:52:45 391 分享 版权

版权声明：本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。

1 条回答
写回答
取消 提交回答
  • 真的很搞笑

    在 Spark Streaming 中，数据采集是逐条进行的，而数据处理是按批 mini batch进行的，因此 Spark Streaming 会先设置好批处理间隔 batch duration，当超过批处理间隔就会把采集到的数据汇总起来成为一批数据交给系统去处理。

    2021-12-07 22:52:55
    赞同 展开评论
问答分类：
分布式计算 流计算 Spark
问答标签：
apache spark数据 apache spark streaming apache spark streaming数据
问答地址：
开发者社区 > 大数据 > 问答
相关问答
请教一个问题。我在用spark读取hbase数据时，默认是一个regoin一个task。发现有些re
1190
0
0
任务编排里的跨库spark sql 数据加工用不了
725
0
0
storm&spark2中dateframe可以从不同的数据源获取数据吗？如果可以都可以获取哪些啊？
1193
1
0
spark 中的数据是以什么方式存在的啊？
2397
1
0
flink有api可以像 spark那样批出 kafka数据吗？
946
6
0
跨库spark SQL 搞不定，数据从a库查询的结果，存入b库的表中
562
1
0
我现在用开源spark读取hive是这样配置的 用EMR 内置的spark想读取hive数据该怎么弄
743
1
0
流式计算 Spark Streaming 如何应treaming 如何应用？
852
1
0
Dataworks上的ODPS spark处理数据会比直接用ODPS SQL效率高吗？
988
1
0
Spark的转换数据是如何完成计算的呢？
586
1
0