开发者社区> 问答> 正文

请教Cumulate Windows问题

各位社区大佬: 您好! 在使用Flink SQL中,我有一个需求是:对当天所有的数据进行聚合,然后固定时间输出聚合结果,目前感觉Cumulate Windows这种窗口比较符合要求,但是这种窗口有个问题,每次输出会将窗口中所有的值都重新计算,然后输出,这样会导致下游的输出随着时间推移,每次的输出会越来越多。 是否有方法,在输出的时候,仅输出上一个输出,到本次输出,值有变化的那些数据呢?

目前我这边尝试,使用Cumulate Windows后,先Sink 到Kafka的一个Topic,然后再使用Upsert Kafka Source消费,能达到去重的效果,但是中间输出到Topic这一步,很容易出现性能瓶颈。 我也尝试,将Cumulate Windows,聚合后的输出,定义为Upsert Kafka Sink,貌似没有效果,不知道是BUG还是我使用方式不对。

不知各位有没有遇到过类似的问题,又是如何解决的,恳请不吝赐教,非常感谢~~*来自志愿者整理的flink邮件归档

展开
收起
moonlightdisco 2021-12-02 17:13:30 605 0
1 条回答
写回答
取消 提交回答
  • 你可能想要的是 tumble window,具体见

    https://ci.apache.org/projects/flink/flink-docs-master/docs/dev/table/sql/queries/window-agg/*来自志愿者整理的FLINK邮件归档

    2021-12-02 17:40:13
    赞同 展开评论 打赏
问答排行榜
最热
最新

相关电子书

更多
《云服务器运维之Windows篇》 立即下载
TAKING WINDOWS 10 KERNEL 立即下载
ECS运维指南之Windows系统诊断 立即下载