Flink CDC里有人遇到读取MySql快照阶段出现 问题吗？

在使用 Flink CDC 读取 MySQL 数据时，如果在快照阶段出现 Unknown split kind: 1616998253 的问题，可能是由于以下原因导致的：

问题原因

1. 版本不兼容：

   • Flink CDC 连接器的版本与 Flink 引擎版本或 MySQL 数据库版本存在不兼容的情况。例如，某些功能或协议可能在特定版本中未被正确支持。
   • 如果使用的是开发分支的 SNAPSHOT 版本（如 flink-sql-connector-mysql-cdc-2.2-SNAPSHOT.jar），可能会因为代码尚未完全稳定而导致异常。

2. 增量快照算法问题：

   • 在快照阶段，Flink CDC 使用增量快照算法将表按照主键分片，并逐个读取分片数据。如果分片信息或分片状态在处理过程中发生异常（如分片信息未正确记录或丢失），可能会导致未知的分片类型错误。

3. Binlog 配置问题：

   • 如果 MySQL 数据库的 Binlog 配置不正确（如未启用 log-bin 或 binlog_format 设置为非 ROW 模式），可能导致 Flink CDC 在读取快照后无法正确切换到增量阶段，从而引发异常。

4. 作业状态恢复问题：

   • 如果作业在运行过程中发生 Failover 并尝试从之前的 Checkpoint 或 Savepoint 恢复，而恢复的状态与当前的分片信息不匹配，也可能导致此类错误。

解决方案

1. 检查版本兼容性

• 确保使用的 Flink CDC 连接器版本与 Flink 引擎版本和 MySQL 数据库版本兼容。建议使用稳定版本的连接器（如 flink-sql-connector-mysql-cdc-2.1.0.jar），而不是开发分支的 SNAPSHOT 版本。
• 如果当前使用的是较旧版本的 Flink CDC 连接器，建议升级到最新稳定版本以修复潜在的 Bug。

2. 验证 MySQL 配置

• 确保 MySQL 数据库的 Binlog 配置正确：

  log-bin=mysql-bin
  binlog_format=ROW
  

• 如果使用的是 MySQL 主从架构，确保从库启用了 log-slave-updates 参数，以便从库能够记录主库同步过来的数据变更。

3. 调整分片参数

• 如果表数据量较大，可能导致分片数据过多或分片信息超出内存限制。可以通过以下方式优化分片参数：
  • 减少 scan.incremental.snapshot.chunk.size 的值，降低每个分片的数据条数。
  • 增加 TaskManager 的内存配置，避免因内存不足导致的 OOM 问题。
  • 对于联合主键表，可以设置 scan.incremental.snapshot.chunk.key-column 指定一个合适的字段进行分片划分。

4. 清理作业状态并重新启动

• 如果问题出现在作业恢复过程中，建议清理现有的 Checkpoint 或 Savepoint，并以无状态的方式重新启动作业：

  SET 'execution.savepoint.path' = '';
  

• 同时，确保在新创建的作业中开启 Source 复用功能，以减少数据库压力并避免拓扑变化带来的问题。

5. 排查日志信息

• 检查 TaskManager 日志，确认是否有关于分片处理的异常信息。例如，查找类似 BinlogSplitReader is created 的日志，判断是否已成功完成全量数据读取。
• 如果日志中存在其他异常信息（如 Replication slot "xxxx" is active），需要根据具体错误采取相应措施（如手动释放 Replication Slot）。

重要提醒

• 版本选择：尽量避免使用开发分支的 SNAPSHOT 版本，优先选择稳定版本的 Flink CDC 连接器。
• 资源分配：确保 TaskManager 和 JobManager 的内存配置足够，特别是在处理大表时，避免因内存不足导致的 OOM 问题。
• 状态管理：在作业恢复时，务必清理旧的状态文件，避免因状态不一致导致的异常。

通过以上步骤，您可以有效排查并解决 Unknown split kind: 1616998253 的问题。如果问题仍然存在，建议联系阿里云技术支持团队获取进一步帮助。