AI 助理
备案控制台
开发者社区 问答 正文

MillWheel 和 Flink 如何实现数据流的同步处理？

MillWheel 和 Flink 如何实现数据流的同步处理？

展开
收起
真的很搞笑 2024-06-17 20:24:02 48 分享 版权

版权声明：本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。

1 条回答
写回答
取消 提交回答
  • 芯在这

    MillWheel 和 Flink 使用了低水印去实现整个数据流拓扑处理进度的同步。低水印以特殊流元素或旁路传播的方式，让整个数据流拓扑中的每个算子都可以清晰地了解到当前数据处理的进度。

    2024-06-17 20:44:57
    赞同 2 展开评论
问答分类：
流计算 实时计算 Flink版
问答标签：
实时计算 Flink版同步 实时计算 Flink版数据流 实时计算 Flink版数据流同步
问答地址：
开发者社区 > 大数据 > 问答
相关问答
在使用 Flink CDC 进行数据流处理时，这个 Kafka sink 是在哪里实现的？
130
2
0
flink cdc抽mysql中的数据和实时数据流进行join，托管内存为什么会直接被拉满？
52
0
0
Flink分布式快照如何切分数据流
36
1
0
使用flink oracle cdc时，有高并发写入源表的场景，什么方法可以限制数据流的流入速度？
93
2
0
我Flink有一个数据流connect广播流 请问有什么办法解决吗？
124
3
0
Flink怎么做数据流排查的？
59
1
0
请问下Flink，数据流里面的rowtime和窗口的start和end不太一样，为啥？
77
1
0
两位大佬，Flink按你们给的思路，已经把数据流转为table了，然后接下来还应该怎么写啊？
69
1
0
请flink sql 设置全量插入hudi表， 提示无界数据流不能直接写入Hudi表中怎么办？
226
1
0
请问flink sql 设置全量插入hudi表 提示 无界数据流不能直接写入Hudi表中要怎么设置
220
1
0