从dataworks同步任务中新增postgresql一键实时同步到hologres后，？

在使用DataWorks新增PostgreSQL一键实时同步到Hologres后，如果发现PostgreSQL的WAL日志出现积压问题，可能是由于消费WAL日志的客户端未能及时上传消费位点信息，或者相关参数配置不合理导致的。以下是针对该问题的具体排查和解决方法：

1. 排查WAL日志积压原因

1.1 检查Replication Slot的延迟

通过以下SQL查询pg_replication_slots表，确认是否存在较大的WAL延迟：

SELECT coalesce(max(pg_wal_lsn_diff(pg_current_wal_flush_lsn(), restart_lsn)), 0) AS max_slot_wal_delay 
FROM pg_replication_slots 
WHERE restart_lsn IS NOT NULL;

• 如果查询结果较大（例如超过数百MB或更多），说明可能存在客户端上传消费位点信息延迟的问题。
• restart_lsn是消费WAL日志的客户端上报的位点信息。如果restart_lsn不向前推进，会导致WAL日志堆积。

1.2 检查wal_sender进程是否正常

执行以下SQL检查是否有空闲可用的wal_sender进程：

SHOW max_wal_senders;
SELECT count(*) FROM pg_stat_replication;

• 确保max_wal_senders值大于pg_stat_replication的数量，否则可能需要增加max_wal_senders的配置。

2. 优化消费客户端性能

如果确认是消费客户端上传消费位点信息延迟导致的WAL积压，可以采取以下措施进行优化：

2.1 提高消费位点信息上传频率

• 增加消费客户端上传消费位点信息的频率，确保restart_lsn能够及时向前推进。
• 在DataWorks中，可以通过调整同步任务的运行时配置参数来优化消费性能。

2.2 优化消费客户端性能

• 检查消费客户端的资源使用情况（如CPU、内存、网络等），确保其具备足够的处理能力。
• 如果消费客户端与PostgreSQL实例位于不同地域，建议优化网络连通性，减少延迟。

3. 调整PostgreSQL参数配置

如果WAL日志积压是由于参数配置不合理导致的，可以参考以下推荐值进行调整：

3.1 调整wal_keep_segments或wal_keep_size

• PostgreSQL版本12.0之前：调整wal_keep_segments参数，推荐值为128。
• PostgreSQL版本12.0及之后：调整wal_keep_size参数，推荐值为2048MB。

3.2 调整max_wal_size和min_wal_size

• max_wal_size：控制WAL日志的最大大小，推荐值为{LEAST(GREATEST(DBInstanceClassMemory/2097152, 2048), 16384)}。
• min_wal_size：控制保留WAL日志文件的最小大小，推荐值为{LEAST(GREATEST(DBInstanceClassMemory/8388608, 256), 8192)}。

3.3 修改参数的方法

• 登录RDS PostgreSQL控制台，进入实例参数设置页面，修改上述参数并重启实例以生效。

4. 清理无用的Replication Slot

如果实时同步任务停止或下线后未正确清理Replication Slot，可能会导致WAL日志持续增长。可以通过以下步骤手动清理无用的Slot：

4.1 查看当前的Replication Slot

SELECT slot_name, restart_lsn FROM pg_replication_slots;

• 找到不再使用的Slot名称（通常格式为di_slot_ + 解决方案ID）。

4.2 删除无用的Replication Slot

SELECT pg_drop_replication_slot('slot_name');

• 替换slot_name为实际的Slot名称。

5. 监控与报警

为了避免类似问题再次发生，建议对PostgreSQL实例的WAL日志使用情况进行监控，并设置报警规则： - 监控指标包括WAL日志大小、Replication Slot延迟等。 - 在阿里云控制台中配置告警策略，当WAL日志占用磁盘空间达到一定阈值时触发告警。

6. 其他注意事项

• 独享资源组隔离：确保离线全量同步任务和实时增量同步任务使用不同的独享数据集成资源组，避免资源抢占导致任务延迟或失败。
• DDL消息处理策略：在实时同步任务中，合理配置DDL消息处理策略，避免因表结构变更导致同步异常。

通过以上步骤，您可以有效排查和解决PostgreSQL WAL日志积压问题，同时优化实时同步任务的性能和稳定性。您可以复制页面截图提供更多信息，我可以进一步帮您分析问题原因。