flinksql读取kafka数据用滑动窗口(窗口长度是7天,滑动时长是1秒)的聚合操作最后输出,然后读取kafka的表设置'connector.startup-mode' = 'earliest-offset',我们kafka日志正好是保存7天,这个topic的量级是2亿,现在启动任务12个任务的背压全是1,过了一会直接就卡在那,好像不消费了,这种情况应该怎么调优? sql是SELECT vid, HOP_END(wm, INTERVAL '1' SECOND, INTERVAL '7' DAY) AS endtime, COLLECT(ALL searchterm) AS listdata FROM gamebox_event_searchshow GROUP BY vid,HOP(wm, INTERVAL '1' SECOND, INTERVAL '7' DAY) #Flink
窗口长度7天,滑动步长1秒,粒度太细了,窗口状态分分钟爆炸,看下下面的文章 https://www.jianshu.com/p/45b03390b258
版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。