开发者社区> 问答> 正文

flinksql ttl不生效怎么办?

版本:1.12.2 sql: SELECT id, name, message,ts SELECT ROW_NUMBER() OVER (PARTITION BY name ORDER BY ts DESC) AS rowNum FROM persons_message_table_kafka WHERE rowNum = 1 过期时间设置:tableEnv.getConfig().setIdleStateRetention(Duration.ofhour(3));

问题:checkpoint数据一直在线上增加,一开始90m,然后每天增长20m,但是源数据并没有太多增长*来自志愿者整理的flink邮件归档

展开
收起
moonlightdisco 2021-12-02 14:09:30 1116 0
1 条回答
写回答
取消 提交回答
  • 你好,

    sql 作业可以尝试设置作业参数 "table.exec.state.ttl" 观察下效果

    另外开启 "state.backend.incremental" 也可以减少 checkpoint 的大小

    参数说明:

    https://ci.apache.org/projects/flink/flink-docs-release-1.12/deployment/config.html#checkpoints-and-state-backends

    lincoln lee*来自志愿者整理的FLINK邮件归档

    2021-12-02 14:34:26
    赞同 展开评论 打赏
问答排行榜
最热
最新

相关电子书

更多
Flink CDC Meetup PPT - 龚中强 立即下载
Flink CDC Meetup PPT - 王赫 立即下载
Flink CDC Meetup PPT - 覃立辉 立即下载