开发者社区 > 大数据与机器学习 > 实时计算 Flink > 正文

Flink CDC里pg cdc程序已经停了,但是执行删不掉什么回事?

Flink CDC里pg cdc程序已经停了,但是执行 pg_drop_replication_slot('flink')删不掉是怎么回事?CREATE_REPLICATION_SLOT "flink" LOGICAL pgoutp。ut;

展开
收起
小小鹿鹿鹿 2024-01-18 07:45:02 38 0
3 条回答
写回答
取消 提交回答
  • 面对过去,不要迷离;面对未来,不必彷徨;活在今天,你只要把自己完全展示给别人看。

    这个问题可能是由于Flink CDC程序在执行过程中出现了异常,导致创建的复制槽没有被正确删除。你可以尝试以下方法来解决这个问题:

    1. 检查Flink CDC程序的日志,看是否有错误信息或者异常堆栈。这有助于定位问题的原因。

    2. 尝试手动删除复制槽。你可以使用以下SQL命令来删除复制槽:

      DROP_REPLICATION_SLOT 'flink';
      
    3. 如果上述方法都无法解决问题,你可以考虑重启Flink CDC程序,然后再次尝试删除复制槽。

    2024-01-19 14:45:05
    赞同 展开评论 打赏
  • 复制槽有占用不能删除的。-- 查询PID
    select * from pg_stat_activity where pid = 31423;

    -- 杀死后台PID进程
    SELECT pg_terminate_backend(31423) FROM pg_stat_activity where pid = 31423找到pid按照这个杀死。此回答来自钉群Flink CDC 社区。

    2024-01-18 11:03:51
    赞同 展开评论 打赏
  • 在 PostgreSQL 中,当你尝试删除一个 CDC (Change Data Capture) 复制槽(replication slot)时,如果发现即使该CDC程序已经停止运行,仍然无法通过 pg_drop_replication_slot('flink') 删除复制槽,可能有以下原因:

    1. CDC程序仍在连接:确保负责读取该复制槽的 Flink CDC 进程已完全终止,并且没有其他进程正在使用这个复制槽。即使 Flink CDC 任务被停了,也可能存在残留的连接或者后台线程尚未完全退出。

    2. 保留活动事务(Active Transactions)

      • 如果 Flink CDC 在关闭前有一个未提交或回滚的事务,该复制槽可能会因为仍有活动事务而不能被删除。
      • 需要检查并清理任何与该槽相关的遗留事务,例如通过查看 pg_stat_activity 系统视图来确定是否有任何活动事务关联到该槽。
    3. 复制槽中有未确认的更改

      • 如果Flink CDC在停止之前还有未处理的数据,PostgreSQL会保留复制槽直到所有更改被下游消费者确认。
      • 可以先尝试查询 pg_replication_slots 视图,查看槽的状态和滞后信息,如果看到 confirmed_flush_lsn 小于 restart_lsn 或者 wal_status 显示为 active,那么需要确保所有的数据都已经被正确处理并确认。
    4. 持久化槽(Permanent Slots)

      • 默认情况下创建的是临时逻辑复制槽,当不再使用时可以自动删除。但如果你创建的是持久化的逻辑复制槽,那么必须手动删除它。
      • 若要强制删除持久化槽,你需要在 pg_drop_replication_slot 之后加上 FORCE 参数,即执行:pg_drop_replication_slot('flink' , FORCE);

    请务必谨慎操作,尤其是在生产环境中,避免造成数据丢失或一致性问题。在尝试强制删除槽之前,请确保确实没有进程依赖此槽以及槽内数据已被妥善处理。

    2024-01-18 09:14:17
    赞同 1 展开评论 打赏

实时计算Flink版是阿里云提供的全托管Serverless Flink云服务,基于 Apache Flink 构建的企业级、高性能实时大数据处理系统。提供全托管版 Flink 集群和引擎,提高作业开发运维效率。

相关产品

  • 实时计算 Flink版
  • 相关电子书

    更多
    Flink CDC Meetup PPT - 龚中强 立即下载
    Flink CDC Meetup PPT - 王赫 立即下载
    Flink CDC Meetup PPT - 覃立辉 立即下载