Flink CDC Caused by: 快照过旧: 回退段号 7 过小 有人遇到过这种问题吗？

问题分析

ORA-01555: 快照过旧 是 Oracle 数据库中常见的错误，通常与数据库的回退段（Undo Segment）配置或事务处理时间过长有关。在使用 Flink CDC 进行数据同步时，如果源表是 Oracle 数据库，可能会因为以下原因导致该错误：

1. 回退段空间不足：Oracle 的 Undo 表空间不足以保存长时间运行的查询所需的回退信息。
2. 事务处理时间过长：Flink CDC 在读取全量数据（Snapshot 阶段）时，可能需要较长时间完成扫描，而在此期间，Oracle 数据库的回退段可能被覆盖。
3. 高并发事务：在高并发场景下，其他事务频繁修改数据，导致回退段被快速覆盖。

解决方案

1. 增加 Undo 表空间大小

通过增加 Undo 表空间的大小，可以为长时间运行的查询提供更多的回退信息存储空间。以下是具体操作步骤：

-- 查看当前 Undo 表空间的大小和使用情况
SELECT tablespace_name, file_id, bytes/1024/1024 AS size_mb
FROM dba_data_files
WHERE tablespace_name = (SELECT value FROM v$parameter WHERE name = 'undo_tablespace');

-- 增加 Undo 表空间的大小
ALTER DATABASE DATAFILE '<undo_datafile_path>' RESIZE <new_size>M;

例如，将 Undo 表空间文件 undotbs01.dbf 的大小调整为 10GB：

ALTER DATABASE DATAFILE '/u01/app/oracle/oradata/ORCL/undotbs01.dbf' RESIZE 10240M;

2. 调整 UNDO_RETENTION 参数

UNDO_RETENTION 参数控制回退信息的保留时间。增加该参数值可以延长回退段的保留时间，避免回退信息被过早覆盖。

-- 查看当前 UNDO_RETENTION 设置
SHOW PARAMETER UNDO_RETENTION;

-- 修改 UNDO_RETENTION 参数（单位为秒）
ALTER SYSTEM SET UNDO_RETENTION = 1800 SCOPE=BOTH; -- 设置为 30 分钟

注意：调整 UNDO_RETENTION 后，需确保 Undo 表空间足够大以支持更长的保留时间。

3. 优化 Flink CDC 的 Snapshot 阶段

Flink CDC 在全量阶段会扫描表的所有数据，可能导致事务处理时间过长。可以通过以下方式优化：

• 分批次读取数据：将大表拆分为多个小表，或者通过主键范围分片读取数据，减少单次扫描的数据量。
• 跳过 Snapshot 阶段：如果允许从增量阶段开始读取数据，可以通过设置 scan.startup.mode 参数跳过全量阶段。例如：

  'scan.startup.mode' = 'earliest-offset'
  

  注意：跳过全量阶段可能导致数据不完整，请根据业务需求谨慎选择。

4. 检查并优化高并发事务

高并发事务可能导致回退段被快速覆盖。可以通过以下方式缓解：

• 降低事务并发度：减少对源表的频繁更新操作。
• 定期清理无用事务：确保数据库中没有长时间未提交的事务。

5. 使用 FLASHBACK 查询替代全量扫描

如果业务允许，可以使用 Oracle 的 FLASHBACK 查询功能替代全量扫描。FLASHBACK 查询可以从 Undo 表空间中读取历史数据，避免直接扫描表数据。

SELECT * FROM your_table AS OF TIMESTAMP SYSTIMESTAMP - INTERVAL '1' HOUR;

总结与建议

• 优先调整 Undo 表空间和 UNDO_RETENTION 参数，这是解决 ORA-01555 错误的核心方法。
• 如果问题仍然存在，建议优化 Flink CDC 的全量阶段逻辑，例如分批次读取数据或跳过全量阶段。
• 重要提醒：在调整数据库参数或优化作业逻辑前，请确保已备份相关数据，并在测试环境中验证更改的影响。

如果您仍有疑问或需要进一步的帮助，请提供更多上下文信息，例如 Flink CDC 的版本、Oracle 数据库的配置以及具体的作业逻辑。