版本:1.12.2 sql: SELECT id, name, message,ts SELECT ROW_NUMBER() OVER (PARTITION BY name ORDER BY ts DESC) AS rowNum FROM persons_message_table_kafka WHERE rowNum = 1 过期时间设置:tableEnv.getConfig().setIdleStateRetention(Duration.ofhour(3));
问题:checkpoint数据一直在线上增加,一开始90m,然后每天增长20m,但是源数据并没有太多增长*来自志愿者整理的flink邮件归档
你好,
sql 作业可以尝试设置作业参数 "table.exec.state.ttl" 观察下效果
另外开启 "state.backend.incremental" 也可以减少 checkpoint 的大小
参数说明:
https://ci.apache.org/projects/flink/flink-docs-release-1.12/deployment/config.html#checkpoints-and-state-backends
lincoln lee*来自志愿者整理的FLINK邮件归档
版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。