Flink SQL 对延迟数据怎么处理？
请教一下，FlinkSQL中，我在创建表时设置了watermark并设置了最大延迟，可是还是有数据依旧会迟到晚到，对于这样的数据我们又不想直接丢弃，那这个依旧迟到的数据我该怎么收集？是否有与StreamAPI一样可以将依旧迟到的数据进行分流的方案？
*来自志愿者整理的flink邮件归档
展开
收起
1
条回答
写回答
写回答
-
据我所知，FlinkSQL 不支持将迟到的数据输出到侧流中。 如果你下游使用的是 window 的话，可以通过设置
table.exec.emit.late-fire.enabled和table.exec.emit.late-fire.delay来触发晚于 watermark 到达的数据。 其中允许等待晚与 watermark 的数据的时间由table.exec.state.ttl控制，等价于 Datastream 中的 allowedLateness， 故 window 的最大等待时间为 watermark 的 outOfOrder + allowedLateness。*来自志愿者整理的flink邮件归档
2021-12-06 11:26:58赞同 展开评论 打赏
问答分类：
版权声明：本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。
相关问答
问答排行榜
最热
最新
推荐问答
相关电子书
更多
