开发者社区 > 大数据与机器学习 > 实时计算 Flink > 正文

Flink CDC中pg主从切换如何删除旧的pg_replication_slots表中数据?

Flink CDC中pg主从切换如何删除旧的pg_replication_slots表中数据?

展开
收起
十一0204 2023-08-09 09:57:59 276 0
2 条回答
写回答
取消 提交回答
  • 北京阿里云ACE会长

    在Flink CDC同步Postgres数据时,postgresql主从切换后,可能会出现pg_replication_slots表中残留旧的复制插槽信息的情况。

    这个时候,可以采取以下操作删除旧的插槽信息:

    1.直接在postgres命令行使用DELETE FROM pg_replication_slots删除指定插槽

    sql
    Copy
    DELETE FROM pg_replication_slots WHERE slot_name = '';
    2.使用PG客户端执行删除命令,如pgbouncer,pgadmin等

    3.在程序中添加清理插槽的逻辑,比如订阅下线时候触发清理命令

    java
    Copy
    slotRepository.dropSlot("");
    4.重启postgres实例后,会自动清理超时(max_slot_age)的未使用插槽

    5.删除整个pg_replication_slots表数据进行完全清理

    一般选择直接通过postgres命令行或者pgadmin等客户端删除指定插槽即可。
    需要在主从切换后及时进行清理。

    2023-08-10 23:22:59
    赞同 展开评论 打赏
  • 意中人就是我呀!

    "pg不支持从库读取数据,删槽pg_drop_replication_slot('slot_name');
    要推进 PostgreSQL 中的 WAL 日志(Write-Ahead Logs)大小,可以执行以下步骤:

    连接到您要进行更改的 PostgreSQL 数据库主机上的数据库服务器。

    找到并编辑 PostgreSQL 配置文件 postgresql.conf。该文件通常位于 PostgreSQL 数据库的数据目录下。

    在 postgresql.conf 文件中,找到并修改以下参数的值:

    wal_level:指定 WAL 级别。可以将其设置为 minimal、replica 或 logical。较低的级别会减小 WAL 日志的大小,但可能会限制某些功能。默认值通常是 replica。请注意,修改此值可能需要重启 PostgreSQL 服务器才能生效。

    max_wal_size:指定 WAL 日志的最大大小。可以将其设置为适当的大小,以控制 WAL 日志的增长。默认值通常是相对较大的。请根据您的需求和存储容量来调整此值。

    min_wal_size:指定 WAL 日志的最小大小。可以将其设置为适当的大小,以确保始终保留足够的 WAL 日志供数据库使用。默认值通常是相对较小的。

    保存并关闭 postgresql.conf 文件。

    如果需要,重新启动 PostgreSQL 服务器以使配置更改生效。

    请注意,在调整 WAL 日志大小时,需要平衡日志保留的时间和磁盘空间的占用。较小的 WAL 大小可能导致频繁的日志切换,而较大的 WAL 大小可能占用更多的磁盘空间。根据您的数据库工作负载和可用存储容量,进行适当的调整。

    此回答整理至钉群“Flink CDC 社区”。

    总结:要调整 PostgreSQL 中的 WAL 日志大小,编辑 postgresql.conf 配置文件,修改 wal_level、max_wal_size 和 min_wal_size 参数的值,并重新启动 PostgreSQL 服务器。请谨慎平衡日志保留时间和磁盘空间的占用。https://help.aliyun.com/document_detail/164023.html?spm=a2c4g.164023.0.0.2b4f6023LPx2u0

    你看下这个
    "

    2023-08-09 12:18:02
    赞同 展开评论 打赏

实时计算Flink版是阿里云提供的全托管Serverless Flink云服务,基于 Apache Flink 构建的企业级、高性能实时大数据处理系统。提供全托管版 Flink 集群和引擎,提高作业开发运维效率。

相关产品

  • 实时计算 Flink版
  • 相关电子书

    更多
    Flink CDC Meetup PPT - 龚中强 立即下载
    Flink CDC Meetup PPT - 王赫 立即下载
    Flink CDC Meetup PPT - 覃立辉 立即下载