开发者社区 > 大数据与机器学习 > 实时计算 Flink > 正文

Flink CDC使用Flinkcdc同步导致WAL一直生成不删除,然后磁盘爆满的情况啊?

Flink CDC遇到pg13版本开启WAL: logical级别,然后使用Flinkcdc同步导致WAL一直生成不删除,然后磁盘爆满的情况啊?CDC任务停掉,然后将pg中的复制槽删除,WAL就会自动清理了

展开
收起
真的很搞笑 2023-12-01 10:33:18 128 0
3 条回答
写回答
取消 提交回答
  • 从你的描述来看,这个问题可能是由于PostgreSQL的WAL(Write Ahead Log)在Flink CDC任务运行期间一直在生成,而没有及时清除导致的。当Flink CDC任务停止后,WAL开始被清除,所以磁盘空间得到了释放。

    解决这个问题的方法之一是在Flink CDC任务运行期间,确保PostgreSQL能够及时清理WAL。你可以在PostgreSQL的配置文件中设置WAL的保留时间,或者设置WAL的清理策略。

    另一种方法是在Flink CDC任务运行期间,定期手动清理WAL。你可以编写一个脚本,定期检查WAL的生成情况,并在必要时清除WAL。

    2023-12-02 16:22:04
    赞同 展开评论 打赏
  • 面对过去,不要迷离;面对未来,不必彷徨;活在今天,你只要把自己完全展示给别人看。

    Flink CDC在数据同步过程中,如果遇到WAL一直生成不删除,然后导致磁盘爆满的问题,可能的原因有几个。首先,可能是Flink CDC作业未能正常消费删除事件,可能因网络问题或其他错误,Flink CDC没有正确消费对应的删除事件。其次,可能是因为'debezium.skipped.operations'='c,u,t'参数的设置导致删除记录无法写入目标表。

    对于这种情况,你可以尝试以下解决方案:

    1. 检查并确保Flink CDC作业正常运行,特别是确认作业能够正确消费删除事件。
    2. 尝试调整'debezium.skipped.operations'参数的设置,取消对删除操作的过滤,使得删除记录能够正常写入目标表。
    3. 如果上述方法仍无法解决问题,那么可能需要升级到Flink CDC的新版本,如2.0版本,因为新版本可能修复了此类问题。
    2023-12-01 21:22:26
    赞同 展开评论 打赏
  • 在使用Flink CDC同步PostgreSQL(PG)数据时,如果开启了WAL日志的逻辑级别,并且发现WAL文件持续生成并且不被删除,最终导致磁盘空间耗尽的情况,你可以尝试以下方法来解决这个问题:

    1. 停止Flink CDC任务:首先,需要停止正在运行的Flink CDC任务,以防止更多的WAL文件被创建。

    2. 清理复制槽:登录到PostgreSQL数据库,执行如下命令来删除复制槽:

      SELECT pg_drop_replication_slot('your_replication_slot_name');
      
    3. 手动清理WAL日志:如果你已经停掉了Flink CDC任务并删除了复制槽,但是WAL日志仍然没有被自动清理,你可能需要手动清理它们。可以使用pg_archivecleanup工具来清理归档目录中的旧日志。

    4. 检查和调整WAL保留策略:确保你的PostgreSQL服务器配置中设置了适当的WAL保留策略。例如,wal_keep_segments参数控制了应该保留多少个WAL段文件。你需要根据你的实际需求来设置这个值。

    5. 监控和报警:设置适当的监控和报警机制,以便及时发现并处理任何异常的WAL文件增长情况。

    6. 定期备份和清理WAL:为了预防类似问题的发生,可以考虑定期进行数据库备份,并在备份完成后清理WAL日志。

    7. 优化CDC作业:分析你的Flink CDC作业是否能更快地处理和消费来自WAL的日志。优化作业性能可以帮助减少WAL日志在磁盘上的积累时间。

    8. 增加存储容量:如果上述方法都无法解决问题,或者作为临时措施,你可以考虑增加磁盘空间,但这并不是长期的解决方案。

    2023-12-01 15:35:43
    赞同 展开评论 打赏

实时计算Flink版是阿里云提供的全托管Serverless Flink云服务,基于 Apache Flink 构建的企业级、高性能实时大数据处理系统。提供全托管版 Flink 集群和引擎,提高作业开发运维效率。

相关产品

  • 实时计算 Flink版
  • 相关电子书

    更多
    Flink CDC Meetup PPT - 龚中强 立即下载
    Flink CDC Meetup PPT - 王赫 立即下载
    Flink CDC Meetup PPT - 覃立辉 立即下载