如果 Spark Streaming 存在非确定性的计算，则不能实现端到端一致，原因是什么？
已解决如果 Spark Streaming 存在非确定性的计算，则不能实现端到端一致，原因是什么？
展开
收起
1
条回答
写回答
写回答
-
推荐回答1、不满足条件一「实时存储每一条结果」。如果能记录下每个 RDD 分区下的执行情况，避免重复执行（幂等），也一定程度上能实现端到端一致，但这需要进行大量的改造工作，最终形态会和 MillWheel 比较类似；2、不满足条件二「事务方式存储」，需要保证每个 RDD 产出环节的事务性（如最终结果写 HDFS 就不是原子的）。
2022-05-10 21:59:34赞同 展开评论 打赏
版权声明：本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。
相关问答
实时计算Flink版是阿里云提供的全托管Serverless Flink云服务，基于 Apache Flink 构建的企业级、高性能实时大数据处理系统。提供全托管版 Flink 集群和引擎，提高作业开发运维效率。
热门讨论
热门文章
Flink 集群重启后，所有的Jobs任务全都没有了。如果快速恢复所有的任务
1552
FlinkCDC MySQL 中 scan.startup.mode 用的是什么模式啊？
3952
各位老师，请教个问题，flink 会在本地 /tmp 目录下产生大量flink-临时文件，目前看好？
2071
Flink如何配置Task Manager？
1017
Flink这个未授权访问漏洞有什么解决方案吗？
1663
Flink sql将数组炸开，实现hive的explode函数的效果，还有什么其他好的方式？
1874
flinkcdc启动，怎么修改默认端口号，默认是8081。
1687
大佬有遇见过这个错误的吗？连接kerberos的kafka的时候失败
1754
Flink1.17为什么需要JDK 11呢？JDK8我试了也能运行
2096
Slot request bulk is not fulfillable，20以上job同时部署失败
921
展开全部
Flink SQL 功能解密系列 —— 维表 JOIN 与异步优化
28243
接着！！Apache Flink 全领域干货合集（持续更新）
16540
使用 Kafka 和 Flink 构建实时数据处理系统
13299
【对话科技】Flink技术介绍和新功能展望
6881
Flink: 实时规则引擎助力新零售发展
10065
基于实时计算（Flink）与高斯模型构建实时异常检测系统
8040
Apache Flink 进阶（一）：Runtime 核心机制剖析
29934
Apache Flink 漫谈系列(10) - JOIN LATERAL
9658
Flink SQL 功能解密系列 -- Aysnc I/O
5489
Apache Flink 零基础入门（一）：基础概念解析
11104
展开全部
