DataWorks 成功开启 Postgres 到 Hologres 的实时同步后,?

当使用 DataWorks 成功开启 PostgreSQL 到 Hologres 的实时同步后，如果发现 PostgreSQL 的 WAL（Write-Ahead Logging）堆积量持续增长，可能是由于以下原因导致的。以下是问题的原因分析及解决方法：

1. 检查并清理未删除的 Slot

PostgreSQL 在实时同步任务启动时会自动创建一个逻辑复制 Slot（名称格式为 di_slot_ + 解决方案ID），用于保存 WAL 日志以确保数据能够被正确同步到目标端。然而，当实时同步任务停止或下线后，这些 Slot 并不会自动删除，可能会导致 WAL 日志持续堆积。

解决方法：

• 手动删除不再使用的 Slot：

  SELECT * FROM pg_replication_slots; -- 查看当前存在的 Slot
  SELECT pg_drop_replication_slot('slot_name'); -- 删除指定的 Slot
  

  注意：在删除 Slot 前，请确保对应的同步任务已经停止，否则可能导致数据丢失。

2. 检查 wal_sender 进程状态

PostgreSQL 使用 wal_sender 进程将 WAL 日志发送给订阅者（如 Hologres）。如果 wal_sender 进程异常或未能正常工作，可能会导致 WAL 日志堆积。

检查步骤：

• 查询 max_wal_senders 和 pg_stat_replication 的状态：

  SHOW max_wal_senders; -- 检查最大允许的 wal_sender 数量
  SELECT count(*) FROM pg_stat_replication; -- 检查当前正在运行的 wal_sender 数量
  

  如果 max_wal_senders 值小于或等于 pg_stat_replication 的数量，则说明没有空闲的 wal_sender 进程可用。

解决方法：

• 增加 max_wal_senders 配置值： 修改 PostgreSQL 配置文件（如 postgresql.conf），增加 max_wal_senders 的值，并重启数据库服务。

  max_wal_senders = 10  # 根据实际需求调整
  

3. 检查同步任务是否正常运行

如果 DataWorks 的实时同步任务出现异常（如网络中断、资源不足等），可能会导致 PostgreSQL 的 WAL 日志无法被及时消费，从而引发堆积。

检查步骤：

• 登录 DataWorks 控制台，进入 运维中心 > 实时任务运维 > 实时同步任务 页面，查看任务的运行状态。
• 如果任务状态为失败或停滞，请根据错误日志排查问题并重新启动任务。

解决方法：

• 修复任务异常：根据报错信息调整配置或联系技术支持解决问题。
• 重跑任务：在任务配置页面，选择 更多 > 重跑，重新运行同步任务。

4. 优化 PostgreSQL 的 WAL 配置

如果上述方法仍无法解决问题，可以尝试优化 PostgreSQL 的 WAL 相关配置，减少日志堆积的风险。

优化建议：

• 调整 wal_keep_segments 或 max_replication_slots：

  • wal_keep_segments：控制保留的 WAL 段文件数量，避免过多的日志堆积。
  • max_replication_slots：限制逻辑复制 Slot 的最大数量。

  wal_keep_segments = 128  # 根据实际需求调整
  max_replication_slots = 5  # 根据实际需求调整
  

• 启用 vacuum 和 checkpoint 优化： 定期执行 VACUUM 和 CHECKPOINT 操作，清理无用的日志和数据。

5. 监控与报警设置

为了避免类似问题再次发生，建议为实时同步任务设置监控和报警规则。

设置步骤：

• 在 DataWorks 控制台中，单击 报警设置，配置实时同步子任务的报警规则。
• 可根据任务延迟、失败次数等指标设置报警策略，并通知相关人员及时处理。

总结操作步骤

1. 检查并删除不再使用的逻辑复制 Slot。
2. 确保 wal_sender 进程正常运行，并根据需要调整 max_wal_senders 配置。
3. 检查 DataWorks 实时同步任务的状态，修复异常并重新启动任务。
4. 优化 PostgreSQL 的 WAL 配置，减少日志堆积风险。
5. 设置监控和报警规则，及时发现并处理潜在问题。

通过以上步骤，您可以有效解决 PostgreSQL WAL 堆积的问题，并确保实时同步任务的稳定运行。