大佬下午好！请教个技术难点哈！Flink CDC增量抽取PostgreSQL某表数据，当表里没有增量
大佬下午好！请教个技术难点哈！Flink CDC增量抽取PostgreSQL某表数据，当表里没有增量数据写入的时候，slot的restart_lsn一直不动,这是为什么啊？正常的逻辑应该是会继续消费事务日志递增restart_lsn，只是没有数据需要应用了，不然事务日志文件岂不是都不能删除，最终打爆源库的空间，如果生产上某表没增量写入，这样的结果岂不是很危险嘛，re都推不了，con还能推到哪里去呢，再怎么推也就是等于re
展开
收起
1
条回答
写回答
写回答
-
建议看debezium，pgsql的connectors连接器。里面有讲https://debezium.io/documentation/reference/stable/connectors/postgresql.html#postgresql-wal-disk-space
没事，我也遇到过。看到了就给你分享了。还有就是pgsql那边可以设置slot槽的上限，避免撑爆pgsql的磁盘，特别是使用flink sql开发，一张表一个slot，slot槽最大可以设置上限的，具体网上查查，comfirmed_lsn会推进吧，con不是大于res的么
，此回答整理自钉群“Flink CDC 社区”2023-05-02 08:00:08赞同 展开评论 打赏
相关产品：
版权声明：本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。
相关问答
热门讨论
热门文章
AI生成海报or人工手绘，哪个更戳你？
385
FFA 2024 大会门票免费送！AI时代下大数据技术未来路在何方？
1649
flink1.20.0 部署后发布报错，是怎么回事，各种配置都配置了
259
在建行，数据通常来源于哪些？
538
dataworks里面的stg层、ods层、dwd层、dws层、是怎么分层的呢？
2714
数据来源：com.alibaba.fastjson.JSONException: syntax er
5644
请教一下DataWorks，doris和starRocks 选型，选哪个？
1488
FlinkCDC MySQL 中 scan.startup.mode 用的是什么模式啊？
3600
请问flink-connector-jdbc在sink时，如何设置批量写入？
3172
Dataphin和 Dataworks 有啥区别呢？
1925
展开全部
Ha3搜索引擎简介
21667
基于Flink的实时日志分析系统实践
10526
【干货合集 视频+资料下载】2019大数据技术公开课第三季 | 阿里巴巴大数据产品最新特性介绍
8055
云端深度学习框架TensorFlow读取数据IO的高效方式
7426
MaxCompute UDF系列之身份证校验及15位身份证号码转换成18位
6392
趣头条基于 Flink 的实时平台建设实践
3696
maxcompute 2.0复杂数据类型之array
4700
Linux上传下载百度网盘文件
1538
如何在Windows和Mac上免费将蓝光转换为MKV？
1495
pokemon
1030
展开全部
