开发者社区> 问答> 正文

Flink 维表延迟join是什么回事呢?

大家好,请教一个问题,流表和维表在JOIN时,如果流表的数据没在维表中时,能否进行延迟join,比如,每10分钟进行match一下,连续match6次都没有match上的话,丢弃该数据。 这个场景怎么通过flink SQL或UDF实现,目前是通过timer来实现的,感觉有些麻烦。

*来自志愿者整理的flink邮件归档

展开
收起
游客sadna6pkvqnz6 2021-12-07 16:49:29 824 0
1 条回答
写回答
取消 提交回答
  • 我们也遇到过类似场景,我们的做法是修改了一下维表Join算子,让它来支持延迟join。

    其实还有个思路,你可以把这种没有join到的数据发送到另外一个topic,然后再消费回来继续join。*来自志愿者整理的flink

    2021-12-07 20:20:53
    赞同 展开评论 打赏
问答排行榜
最热
最新

相关电子书

更多
Flink CDC Meetup PPT - 龚中强 立即下载
Flink CDC Meetup PPT - 王赫 立即下载
Flink CDC Meetup PPT - 覃立辉 立即下载