大佬下午好！请教个技术难点哈！Flink CDC增量抽取PostgreSQL某表数据，当表里没有增量
大佬下午好！请教个技术难点哈！Flink CDC增量抽取PostgreSQL某表数据，当表里没有增量数据写入的时候，slot的restart_lsn一直不动,这是为什么啊？正常的逻辑应该是会继续消费事务日志递增restart_lsn，只是没有数据需要应用了，不然事务日志文件岂不是都不能删除，最终打爆源库的空间，如果生产上某表没增量写入，这样的结果岂不是很危险嘛，re都推不了，con还能推到哪里去呢，再怎么推也就是等于re
展开
收起
1
条回答
写回答
写回答
-
建议看debezium，pgsql的connectors连接器。里面有讲https://debezium.io/documentation/reference/stable/connectors/postgresql.html#postgresql-wal-disk-space
没事，我也遇到过。看到了就给你分享了。还有就是pgsql那边可以设置slot槽的上限，避免撑爆pgsql的磁盘，特别是使用flink sql开发，一张表一个slot，slot槽最大可以设置上限的，具体网上查查，comfirmed_lsn会推进吧，con不是大于res的么
，此回答整理自钉群“Flink CDC 社区”2023-05-02 08:00:08赞同 展开评论 打赏
相关产品：
版权声明：本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。
相关问答
热门讨论
热门文章
请问Flink 写数据到 ES 有遇到过这个报错的么？
2138
AI生成海报or人工手绘，哪个更戳你？
884
FFA 2024 大会门票免费送！AI时代下大数据技术未来路在何方？
1705
flink1.20.0 部署后发布报错，是怎么回事，各种配置都配置了
307
P人出游，你是否需要一个懂你更懂规划的AI导游呢？来搭建专属文旅问答机器人吧
1856
在建行，数据通常来源于哪些？
542
dataworks里面的stg层、ods层、dwd层、dws层、是怎么分层的呢？
2733
DataWorks我该如何访问A项目安装了项目的package资源？
2022
请教一下DataWorks，doris和starRocks 选型，选哪个？
1515
FlinkCDC MySQL 中 scan.startup.mode 用的是什么模式啊？
3619
展开全部
相关课程
更多
相关文章
相关电子书
更多
