开发者社区> 问答> 正文

flinksql读取kafka数据用滑动窗口(窗口长度是7天,滑动时长是1秒)的聚合操作#Flink

flinksql读取kafka数据用滑动窗口(窗口长度是7天,滑动时长是1秒)的聚合操作最后输出,然后读取kafka的表设置'connector.startup-mode' = 'earliest-offset',我们kafka日志正好是保存7天,这个topic的量级是2亿,现在启动任务12个任务的背压全是1,过了一会直接就卡在那,好像不消费了,这种情况应该怎么调优? sql是SELECT vid, HOP_END(wm, INTERVAL '1' SECOND, INTERVAL '7' DAY) AS endtime, COLLECT(ALL searchterm) AS listdata FROM gamebox_event_searchshow GROUP BY vid,HOP(wm, INTERVAL '1' SECOND, INTERVAL '7' DAY) #Flink

展开
收起
黄一刀 2020-07-17 15:00:37 3138 0
1 条回答
写回答
取消 提交回答
  • 窗口长度7天,滑动步长1秒,粒度太细了,窗口状态分分钟爆炸,看下下面的文章 https://www.jianshu.com/p/45b03390b258

    2020-07-17 15:01:41
    赞同 展开评论 打赏
问答排行榜
最热
最新

相关电子书

更多
Flink CDC Meetup PPT - 龚中强 立即下载
Flink CDC Meetup PPT - 王赫 立即下载
Flink CDC Meetup PPT - 覃立辉 立即下载