各位社区大佬: 您好! 在使用Flink SQL中,我有一个需求是:对当天所有的数据进行聚合,然后固定时间输出聚合结果,目前感觉Cumulate Windows这种窗口比较符合要求,但是这种窗口有个问题,每次输出会将窗口中所有的值都重新计算,然后输出,这样会导致下游的输出随着时间推移,每次的输出会越来越多。 是否有方法,在输出的时候,仅输出上一个输出,到本次输出,值有变化的那些数据呢?
目前我这边尝试,使用Cumulate Windows后,先Sink 到Kafka的一个Topic,然后再使用Upsert Kafka Source消费,能达到去重的效果,但是中间输出到Topic这一步,很容易出现性能瓶颈。 我也尝试,将Cumulate Windows,聚合后的输出,定义为Upsert Kafka Sink,貌似没有效果,不知道是BUG还是我使用方式不对。
不知各位有没有遇到过类似的问题,又是如何解决的,恳请不吝赐教,非常感谢~~*来自志愿者整理的flink邮件归档
你可能想要的是 tumble window,具体见
https://ci.apache.org/projects/flink/flink-docs-master/docs/dev/table/sql/queries/window-agg/*来自志愿者整理的FLINK邮件归档
版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。