求问 Flink CDC 同步 Postgres 多张表的时候必须为每张表建立一个 ？

在使用 Flink CDC 同步 PostgreSQL 数据库中的多张表时，是否需要为每张表单独创建一个 replication slot，取决于具体的配置和使用场景。以下是详细解答：

1. 默认行为：每个表一个 Replication Slot

根据知识库资料，Flink CDC 在读取 PostgreSQL 数据时，默认会为每张表创建一个独立的 replication slot。这是为了确保每张表的数据变更能够被准确捕获，并支持断点续传和 Exactly Once 语义。

• 原因：

  • Replication slot 是 PostgreSQL 的逻辑复制机制中用于保存 WAL（Write-Ahead Logging）日志的关键组件。
  • 每个 slot 独立跟踪表的变更数据，避免数据丢失或重复消费。

• 问题：

  • 如果需要同步几十张表，可能会导致大量的 replication slot 被创建，占用数据库资源（如磁盘空间和内存）。
  • 需要确保 max_wal_senders 和 max_replication_slots 参数值足够大，以支持所有 slot 的创建。

2. 优化方案：复用 Replication Slot

为了避免为每张表单独创建 replication slot，可以通过以下方式优化资源配置：

(1) 使用正则表达式匹配多张表

Flink CDC 支持通过 table-name 参数使用正则表达式匹配多张表。在这种情况下，可以为一组表共享同一个 replication slot。

• 示例配置：

  CREATE TABLE postgres_source (
    ...
  ) WITH (
    'connector' = 'postgres-cdc',
    'hostname' = '<hostname>',
    'port' = '5432',
    'username' = '<username>',
    'password' = '<password>',
    'database-name' = '<database>',
    'schema-name' = '<schema>',
    'table-name' = 'table_.*', -- 使用正则表达式匹配多张表
    'slot.name' = 'shared_slot', -- 共享的 replication slot 名称
    'decoding.plugin.name' = 'pgoutput'
  );
  

• 注意事项：

  • 确保正则表达式匹配的表具有相似的结构，否则可能导致数据解析错误。
  • 共享 slot 可能会增加单个 slot 的负载，需评估性能影响。

(2) 自动清理未使用的 Replication Slot

如果作业停止后未及时清理 replication slot，可能会导致磁盘空间浪费。可以通过以下方式自动清理 slot：

• 配置参数： 在作业的 Postgres Source 配置中添加 'debezium.slot.drop.on.stop' = 'true' 参数。这样，当作业停止时，slot 会被自动删除。

• 警告： 开启此功能会导致 WAL 日志被回收，重新启动作业时可能无法保证 Exactly Once 语义，需谨慎使用。

(3) 手动管理 Replication Slot

如果自动清理不可行，可以手动释放不再使用的 slot：

• 命令：

  SELECT pg_drop_replication_slot('rep_slot');
  

  如果 slot 正在被进程占用，需先终止该进程：

  SELECT pg_terminate_backend(<PID>);
  SELECT pg_drop_replication_slot('rep_slot');
  

3. 其他优化建议

(1) 提高并发读取能力

Flink CDC 支持并发读取全量数据，可以通过调整并行度来提升性能。例如：

SET parallelism.default = 4;

这可以减少单个 slot 的压力，同时提高整体吞吐量。

(2) 减少不必要的表同步

如果并非所有表都需要实时同步，可以通过 INCLUDING TABLE 或 EXCLUDING TABLE 语法指定需要同步的表。例如：

CREATE DATABASE AS hologres_target FROM postgres_source INCLUDING TABLE 'important_.*';

(3) 升级 Flink 版本

确保使用的是实时计算引擎 VVR 8.0.6 及以上版本，这些版本对增量快照框架进行了优化，能够更高效地处理多表同步场景。

4. 总结与建议

• 默认情况下，Flink CDC 会为每张表创建一个独立的 replication slot，但可以通过正则表达式匹配多张表来共享 slot。
• 建议根据实际需求合理配置 slot，并及时清理未使用的 slot，避免资源浪费。
• 如果需要同步大量表，建议结合正则表达式、并发读取和自动清理机制进行优化。

希望以上信息能够帮助您解决资源不足的问题！