请问flink cdc 中这个问题如何解决？
问题1：请问flink cdc 中使用pgcdc，connector进行flinksql运算，创建的某张表slot的confirmed_flush_lsn不推进，后来加入的checkpoint后开始推进，ck的周期是10min,但是运行一段时间(大概1-2天)后就不在推进了，导致数据库wal日志膨胀删除不了，这个问题如何解决？还有就是根据表创建slot的链接，它的confirmed_flush_lsn和restart_lsn的推进速度远落后于pg_current_wal_lsn导致日志文件越来越多。有能解决的办法么？
问题2：还有我将slot删除掉之后，再自动建立相同的slot，ck即使成功了lsn也不再推进了，这个也是因为ck时间间隔的问题么?
写回答
-
北京阿里云ACE会长在使用 Flink CDC 中，使用 PG CDC Connector 进行 Flink SQL 运算时，遇到 confirmed_flush_lsn 不推进的问题，可能是由于以下原因导致的：
任务异常终止
在 Flink CDC 中，任务异常终止可能导致 confirmed_flush_lsn 不推进。如果任务异常终止，可能会导致一些数据未能被正确地处理，从而导致 confirmed_flush_lsn 不推进。可以查看 Flink 日志和异常信息，找出任务异常终止的原因，并进行相应的处理。
数据丢失
在 Flink CDC 中，数据丢失可能导致 confirmed_flush_lsn 不推进。如果数据丢失，可能会导致 confirmed_flush_lsn 不推进。可以通过检查数据同步日志和目标数据库的数据来确认是否出现数据丢失的情况。
配置不当
在 Flink CDC 中，配置不当可能导致 confirmed_flush_lsn 不推进。例如，可能配置了错误的数据过滤条件、将任务的并行度设置得过高或过低等。可以检查 Flink CDC 的配置文件，确认配置是否正确无误。
针对 confirmed_flush_lsn 不推进的问题，可以尝试以下解决方法：
检查任务状态
可以使用 Flink Web UI 或 Flink Metrics 等工具，检查任务的状态和指标。可以查看任务的运行状态、数据量、处理速度等指标，找出任务的瓶颈和问题，并进行相应的处理。
调整任务配置
可以通过调整任务配置来解决 confirmed_flush_lsn 不推进的问题。例如，可以调整任务的并行度、buffer size、checkpoint 频率等参数，来提高任务的性能和稳定性。
检查数据源和数据2023-07-29 20:00:37赞同 展开评论 打赏 -
版权声明：本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。
实时计算Flink版是阿里云提供的全托管Serverless Flink云服务，基于 Apache Flink 构建的企业级、高性能实时大数据处理系统。提供全托管版 Flink 集群和引擎，提高作业开发运维效率。
热门讨论
热门文章
相关课程
更多
相关文章
相关电子书
更多
