AI 助理
备案控制台
开发者社区 问答 正文

Spark Streaming的容错性怎么样？

Spark Streaming的容错性怎么样？

展开
收起
芯在这 2021-12-07 22:49:52 325 分享 版权

版权声明：本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。

1 条回答
写回答
取消 提交回答
  • 真的很搞笑

    实时流处理系统需要长时间接收并处理数据，这个过程中出现异常是难以避免的，需要流程系统具备高容错性。Spark Streaming 一开始就考虑了两个方面。

    利用 Spark 自身的容错设计、存储级别和 RDD 抽象设计能够处理集群中任何 Worker 节点的故障

    Spark 运行多种运行模式，其 Driver 端可能运行在 Master 节点或者集群中的任意节点，这样让 Driver 端具备容错能力是很大的挑战，但是由于其接收的数据是按照批进行存储和处理，这些批次数据的元数据可以通过执行检查点的方式定期写入到可靠的存储中，在 Driver 端重新启动中恢复这些状态

    2021-12-07 22:50:07
    赞同 展开评论
问答分类：
分布式计算 流计算 Spark
问答标签：
apache spark streaming apache spark Streaming容错性
问答地址：
开发者社区 > 大数据 > 问答
相关问答
流式计算 Spark Streaming 如何应treaming 如何应用？
852
1
0
Flink和Spark Streaming相比有哪些不同？
1154
1
0
当把仅有确定性计算的 Spark Streaming 和 Flink 进行对比时二者的不同点有哪些？
854
1
0
如果 Spark Streaming 存在非确定性的计算，则不能实现端到端一致，原因是什么？
832
1
0
Spark Streaming 原理是什么？
1772
1
0
Spark streaming / Flink 通过通道服务的完整架构是什么样的？
701
1
0
Spark streaming / Flink 通过通道服务实现了什么？
689
1
0
Spark Streaming
629
1
0
从 哪个版本开始将提供 Spark Streaming SQL 的预览版功能？
734
1
0
Spark streaming / Flink 通过通道服务拿到实时数据变化，聚合，将统计结果写回到
589
1
0