开发者社区 > 大数据与机器学习 > 正文

大佬下午好!请教个技术难点哈!Flink CDC增量抽取PostgreSQL某表数据,当表里没有增量

大佬下午好!请教个技术难点哈!Flink CDC增量抽取PostgreSQL某表数据,当表里没有增量数据写入的时候,slot的restart_lsn一直不动,这是为什么啊?正常的逻辑应该是会继续消费事务日志递增restart_lsn,只是没有数据需要应用了,不然事务日志文件岂不是都不能删除,最终打爆源库的空间,如果生产上某表没增量写入,这样的结果岂不是很危险嘛,re都推不了,con还能推到哪里去呢,再怎么推也就是等于re

展开
收起
真的很搞笑 2023-05-01 16:05:44 171 0
1 条回答
写回答
取消 提交回答
  • 建议看debezium,pgsql的connectors连接器。里面有讲https://debezium.io/documentation/reference/stable/connectors/postgresql.html#postgresql-wal-disk-spaceimage.png 没事,我也遇到过。看到了就给你分享了。还有就是pgsql那边可以设置slot槽的上限,避免撑爆pgsql的磁盘,特别是使用flink sql开发,一张表一个slot,slot槽最大可以设置上限的,具体网上查查,comfirmed_lsn会推进吧,con不是大于res的么image.png image.png ,此回答整理自钉群“Flink CDC 社区”

    2023-05-02 08:00:08
    赞同 展开评论 打赏

大数据领域前沿技术分享与交流,这里不止有技术干货、学习心得、企业实践、社区活动,还有未来。

相关产品

  • 实时计算 Flink版
  • 相关电子书

    更多
    Flink CDC Meetup PPT - 龚中强 立即下载
    Flink CDC Meetup PPT - 王赫 立即下载
    Flink CDC Meetup PPT - 覃立辉 立即下载

    相关镜像