开发者社区> 问答> 正文

大佬,请教一个与Flink SQL的事件时间和watermark的场景:读入kafka流#Flink

大佬,请教一个与Flink SQL的事件时间和watermark的场景: 读入kafka流的时候水位设置为: WATERMARK FOR ts AS ts - INTERVAL '20' SECOND 聚合的时候,时间窗口是一分钟: GROUP BY TUMBLE(ts, INTERVAL '1' MINUTE), key

那么当带着事件时间的流数据进入聚合任务的时候, 如果相同的Key带着的事件时间是单调递增的, 但是不同的Key之间事件时间ts不能保证单调递增,用上面的Group by后 这些Key之间的事件时间是否会相互影响? 也就是说如果其中某个key新进入的数据的ts比较大,比如是2分钟以后的时间。 是否会导致其它Key的聚合窗口也不再接收数据了,直接结束掉? 这个场景在flink1.8和flink1.11里面是实现机制是一样的吗?#Flink

展开
收起
黄一刀 2020-08-21 21:28:00 3329 0
1 条回答
写回答
取消 提交回答
  • 的。目前 Flink 是全局 watermark,不支持 per key watermark。 目前所有版本里的机制是一样的。

    2020-08-21 21:29:03
    赞同 展开评论 打赏
问答排行榜
最热
最新

相关电子书

更多
Flink CDC Meetup PPT - 龚中强 立即下载
Flink CDC Meetup PPT - 王赫 立即下载
Flink CDC Meetup PPT - 覃立辉 立即下载