开发者社区> 问答> 正文

minibatch+状态ttl设置不生效问题如何优化?

hi, all ! flink版本:1.9需求:统计用户每天的订单数据(订单可以修改,导致同一个订单会有条数据,最终根据时间排序取最新的一条来做统计)。 应用:select userId,sum(money) as result,ymd from ( select userId,order_id,money,DATE_FORMAT(trans_time,'yyyyMMdd') as ymd,row_number() over(partition by order_id order by last_modify_time desc) as rk from MyTable where type='1' ) t where t.rk = 1 group by userId,ymd; 配置:tableConfig.setIdleStateRetentionTime(Time.milliseconds(3600000), Time.milliseconds(390000)); --相当于设置了1小时的过期时间 现象:checkpoint的数据大小一直在增加(应该是ttl状态过期未生效) 问题:翻看了jira,发现有人已经提出了这个问题【1】,想问一下这个问题还有什么补救的措施吗?

【1】https://issues.apache.org/jira/browse/FLINK-17096*来自志愿者整理的flink

展开
收起
雪哥哥 2021-12-05 12:51:09 666 0
1 条回答
写回答
取消 提交回答
  • 目前看1.9应该没有补救方案了,可以试试master分支,把这个PR merge进去,编译一下,希望对你有所帮助*来自志愿者整理的flink

    2021-12-05 17:57:09
    赞同 展开评论 打赏
问答地址:
问答排行榜
最热
最新

相关电子书

更多
低代码开发师(初级)实战教程 立即下载
冬季实战营第三期:MySQL数据库进阶实战 立即下载
阿里巴巴DevOps 最佳实践手册 立即下载