开发者社区> 问答> 正文

Flink Sliding Window Join 不输出数据?

123
假设我的Stream1,Stream2 都是从kafka接收过来的,数据也是模拟的。
在join之前,数据都能打印出来,我想根据最后一个字段也就是地点,然后将两个Stream 的数据合并,输出一个流
格式如下:
Stream1:2018-10-24T01:46:43.272Z|5|89.33|xinjiang
Stream2:2018-10-25T06:23:50.594Z|4|8.40|xinjiang
合成:2018-10-24T01:46:43.272Z,89.33,8.40 输出
以上格式不知道是否可行。
运行的时候没有输出。另外,输出的时候有可能要对这些数据进行处理,所以选用的Sliding Window 。
各位大佬看看,有没有知道什么原因的,或者给点儿window join 的操作。我看的官网的,有点儿模糊,也是模仿的去写的。谢谢

展开
收起
王子玉 2018-10-26 10:41:55 3673 0
1 条回答
写回答
取消 提交回答
  • 看你设置了watermark,用的应该是事件时间。触发窗口的条件watermark的时间大于窗口结束的时间。

    1. 在使用kafka作为DataSource的,stream中的watermark是分区中最小的watermark
      2.用的是流join,watermark会选取两条流中最小的watermark作为双流的watermark。

    3.只有当双流的watermark大于窗口结束的时间才会触发窗口。

    2019-07-17 23:10:26
    赞同 展开评论 打赏
问答排行榜
最热
最新

相关电子书

更多
Flink CDC Meetup PPT - 龚中强 立即下载
Flink CDC Meetup PPT - 王赫 立即下载
Flink CDC Meetup PPT - 覃立辉 立即下载