Flink CDC里oracle启动，数据丢失的情况，打击碰到过吗？

在使用Flink CDC读取Oracle数据库时，数据丢失的情况确实可能发生。根据知识库中的相关资料，以下是可能导致数据丢失的原因及解决方案：

1. Oracle LogMiner配置问题

• 原因：如果Oracle数据库启用了PDB（Pluggable Database）模式，而未正确配置debezium.database.pdb.name参数，可能会导致LogMiner无法正确解析PDB的补偿日志，从而引发数据丢失。
• 解决方案：
  • 确保在CDB（Container Database）中正确配置debezium.database.pdb.name参数，以支持PDB模式下的日志解析。
  • 检查是否已开启补偿日志（Supplemental Logging），可以通过以下SQL命令确认：

    SELECT * FROM dba_log_groups WHERE table_name = 'PF_ID_NAME_PK';
    

    如果未开启，需执行以下命令启用：

    ALTER DATABASE ADD SUPPLEMENTAL LOG DATA (ALL) COLUMNS;
    

2. 表结构变更或字段名不匹配

• 原因：当Oracle表的字段名大小写与Flink作业中定义的字段名不一致时，可能会导致数据无法正确映射，进而被丢弃。
• 解决方案：
  • 确保Flink作业中字段的大小写与Oracle表的字段完全一致。
  • 如果表结构发生变更（如新增列），需要确保下游系统能够兼容这些变更。

3. Binlog位点设置不当

• 原因：如果Flink CDC作业从指定的Binlog位点启动（例如通过scan.startup.mode参数设置为specific-offset或timestamp），但位点设置不准确，可能会跳过部分数据，导致数据丢失。
• 解决方案：
  • 使用scan.startup.mode参数时，确保位点设置正确。例如：
    • earliest-offset：从最早可用的Binlog位点开始读取。
    • latest-offset：从最新的Binlog位点开始读取。
    • timestamp：从指定时间戳开始读取。
  • 如果不确定位点，建议从earliest-offset开始读取，以避免遗漏数据。

4. 全量阶段到增量阶段切换问题

• 原因：在Flink CDC作业从全量阶段切换到增量阶段时，如果未能正确记录Binlog位点，可能会导致部分数据丢失。
• 解决方案：
  • 监控currentEmitEventTimeLag指标，判断作业是否已完成全量数据同步：
    • 当currentEmitEventTimeLag小于等于0时，表示仍在全量同步阶段。
    • 当currentEmitEventTimeLag大于0时，表示已进入增量同步阶段。
  • 检查MySQL CDC源表所在的TaskManager日志，确认是否存在BinlogSplitReader is created日志，以验证全量数据是否已读取完成。

5. 连接器版本问题

• 原因：不同版本的Oracle CDC连接器可能存在Bug，例如Oracle CDC 2.4版本中存在LOG_MINING_FLUSH表重建问题，可能导致数据丢失。
• 解决方案：
  • 确保使用最新版本的Oracle CDC连接器。例如，Dataphin V3.13版本后使用的是Oracle CDC 2.4版本。
  • 如果遇到特定版本的Bug，可以参考社区或官方文档进行修复。例如，手动在CDB实例中重建LOG_MINING_FLUSH表。

6. 乱序数据处理不当

• 原因：如果Oracle数据库中存在乱序数据，且Flink作业未正确设置Watermark策略，可能会导致部分数据被误认为是迟到数据而被丢弃。
• 解决方案：
  • 使用Print Sink或Log4j方式确认数据源中是否存在乱序数据。
  • 根据乱序程度，合理设置Watermark生成策略。例如：

    WATERMARK FOR event_time AS event_time - INTERVAL '5' SECOND;
    

  • 对于迟到数据，可以通过延迟触发窗口计算的方式进行处理。

7. 其他潜在问题

• 权限不足：如果Flink CDC作业使用的数据库用户权限不足，可能会导致部分数据无法读取。
  • 解决方案：确保用户具有足够的权限，例如SELECT ANY TRANSACTION和LOGMINING权限。
• 表名长度超限：如果表名或列名长度超过30个字符，可能会导致LogMiner无法正确解析。
  • 解决方案：限制表名和列名长度不超过30个字符。

总结

数据丢失问题可能由多种原因引起，包括LogMiner配置、表结构变更、Binlog位点设置、连接器版本等。建议按照上述步骤逐一排查，并结合监控指标（如currentEmitEventTimeLag）和日志信息进行验证。如果问题仍未解决，可以提交工单联系阿里云技术支持团队获取进一步帮助。