Flink CDC有碰到过这个问题吗？其架构对此连接器未知。一个可能的原因是数据库历史记录不完整？

问题分析

您提到的错误信息为：

Encountered change event for table xxx.xxx whose schema isn't known to this connector. One possible cause is an incomplete database history.

该问题通常出现在使用Flink CDC连接器时，连接器无法识别某个表的Schema。根据知识库中的描述，这种问题可能由以下原因导致：

1. 数据库用户权限不足：连接器使用的数据库用户没有访问目标表的权限。
2. Debezium配置问题：如果配置了debezium.snapshot.mode=never，可能导致连接器未正确加载Schema。
3. Binlog历史记录不完整：MySQL的Binlog文件可能已被清理，导致连接器无法获取完整的Schema变更历史。

解决方案

针对上述可能的原因，您可以按照以下步骤逐一排查和解决问题：

1. 检查数据库用户权限

确保连接器使用的数据库用户具有对目标表的读取权限。可以通过以下SQL语句验证权限：

SHOW GRANTS FOR 'your_user'@'your_host';

如果权限不足，请为用户授予必要的权限：

GRANT SELECT, REPLICATION SLAVE, REPLICATION CLIENT ON *.* TO 'your_user'@'your_host';
FLUSH PRIVILEGES;

2. 避免使用debezium.snapshot.mode=never

如果您在配置中设置了debezium.snapshot.mode=never，建议移除该配置或将其改为默认值（如initial）。这样可以确保连接器在启动时加载完整的Schema信息。

此外，可以通过以下参数避免因Schema不一致导致的报错：

debezium.inconsistent.schema.handling.mode=warn

3. 确保Binlog历史记录完整

如果MySQL的Binlog文件被清理，连接器可能无法获取完整的Schema变更历史。以下是解决方法：

• 延长Binlog保留时间
  默认情况下，RDS MySQL的Binlog保留时间较短（最长18小时或占用存储空间超过30%时会被清理）。您可以通过以下命令将Binlog保留时间设置为7天：

  SHOW VARIABLES LIKE 'expire_logs_days';
  SET GLOBAL expire_logs_days=7;
  

  注意：此操作需要管理员权限，并可能增加存储成本。

• 避免使用只读实例
  RDS MySQL的只读实例不保证Binlog的可用性（本地最短可能仅保留10秒）。建议将CDC源表配置为读取主库数据，而不是只读实例。

4. 全新启动作业

如果上述方法均无效，可能是由于历史Schema信息已丢失。此时，您可以尝试全新启动作业： 1. 停止当前作业。 2. 删除下游同步表。 3. 无状态启动作业。

重要提醒

• Binlog格式要求：确保MySQL的Binlog格式为ROW模式。如果格式为Mixed或Statement，可能会导致连接器无法正确解析事件。您可以通过以下命令检查并修改Binlog格式：

  SHOW VARIABLES LIKE 'binlog_format';
  SET GLOBAL binlog_format=ROW;
  

• 资源分配：如果作业处理Binlog的速度过慢，可能导致反压传递到Source端，进一步影响Schema加载。建议为Flink作业分配更多资源以加快处理速度。

总结

通过以上步骤，您可以有效解决whose schema isn't known to this connector的问题。如果问题仍然存在，建议查看Flink作业日志中的详细错误信息，并结合具体场景进行进一步分析。