开发者社区 > 大数据与机器学习 > 实时计算 Flink > 正文

Flink 水印触发-AscendingTimestampExtractor 为什么 wm-1 ?

场景:测试AscendingTimestampExtractor触发

问题:

源码中 watermark=timestamp-1 如果这样 watermark<window_end 应该不会触发才对啊 实际上是触发 感觉是用的timestamp 事件事件比较window_end 不太理解 。

展开
收起
游客pth5k7lgmogc4 2023-02-17 23:13:22 448 1
1 条回答
写回答
取消 提交回答
  • 我们开启socket,输入第一条数据: 000001,1461756862000 输出的out文件如下: timestamp:000001,1461756862000|2016-04-27 19:34:22.000,1461756862000|2016-04-27 19:34:22.000,Watermark @ -10000

    这里,看下watermark的值,-10000,即0-10000得到的。这就说明程序先执行timestamp,后执行watermark。所以,每条记录打印出的watermark,都应该是上一条的watermark。

    window的触发要符合以下几个条件: 1、watermark时间 >= window_end_time 2、在[window_start_time,window_end_time)中有数据存在 同时满足了以上2个条件,window才会触发。

    而且,这里要强调一点,watermark是一个全局的值,不是某一个key下的值,所以即使不是同一个key的数据,其warmark也会增加

    2023-02-18 08:04:18
    赞同 展开评论 打赏

实时计算Flink版是阿里云提供的全托管Serverless Flink云服务,基于 Apache Flink 构建的企业级、高性能实时大数据处理系统。提供全托管版 Flink 集群和引擎,提高作业开发运维效率。

相关产品

  • 实时计算 Flink版
  • 相关电子书

    更多
    Flink CDC Meetup PPT - 龚中强 立即下载
    Flink CDC Meetup PPT - 王赫 立即下载
    Flink CDC Meetup PPT - 覃立辉 立即下载