开发者社区> 问答> 正文

Flink的window计算、级联window计算、window后复杂算子计算等导致CPU尖刺问题怎

附语雀:https://www.yuque.com/sixhours-gid0m/ls9vqu/nhgrpw

如果有人做过类似的,有什么好的方案可以分享下。也可以看看我当前的几个方案是否符合我的预想。*来自志愿者整理的flink邮件归档

展开
收起
EXCEED 2021-12-02 15:26:24 502 0
1 条回答
写回答
取消 提交回答
  • 刚刚看源码发现在1.12.0的时候tumblineEventTimeWindows中貌似引入了一个WindowStagger的东西。

    大概看了下,和我的方案3思想类似。但这个从代码文档来看,貌似仅支持算子的分区级别,也就是单个并行实例仅仅

    支持一个offset值。

    我的方案3时基于key的hash的某种机制,使得某个key固定分散个某个offset值上。可以认为是将key哈希到[0,

    windowSize)范围的一个值作为offset。*来自志愿者整理的FLINK邮件归档

    2021-12-02 15:41:56
    赞同 展开评论 打赏
问答排行榜
最热
最新

相关电子书

更多
实时计算Flink版产品新功能介绍 立即下载
Apache Flink 案例集(2022版) 立即下载
RDS SQL Server CPU高使用率性能优化 立即下载