Flink CDC 通过savepoint动态加表， mysql-doris，这个大概是什么原因？

根据您描述的情况，Flink CDC任务通过savepoint重新启动后，新增加的表没有写入到Doris中。以下是可能的原因及解决方案：

1. 新增表未正确配置或未启用相关功能

在Flink CDC中，动态添加表需要确保以下配置已正确设置： - scan.newly-added-table.enabled：此参数需要设置为true，以允许Flink CDC动态扫描新增的表。 - tables 配置更新：在作业配置中，tables字段需要包含新增的表名或正则表达式匹配规则。如果未更新tables配置，新增表不会被识别。

检查与解决：

1. 确认作业配置中是否启用了scan.newly-added-table.enabled参数，并将其设置为true。
2. 检查tables字段是否已更新为包含新增表的正则表达式（如holo_test.*）或明确列出新增表名。
3. 如果配置有修改，需从savepoint重新启动作业以应用新的配置。

2. Savepoint未包含新增表的状态

Flink CDC通过savepoint恢复时，仅会恢复savepoint中记录的状态。如果新增表在savepoint生成时并不存在，则savepoint中不会包含这些表的状态信息，导致新增表无法被消费。

检查与解决：

1. 确保新增表在savepoint生成之前已被正确配置并加入到CDC任务中。
2. 如果新增表是在savepoint生成之后才添加的，建议重新生成savepoint，确保新增表的状态被记录。

3. 下游Doris表未正确创建

Flink CDC任务将数据写入Doris时，需要确保下游Doris中已正确创建对应的表结构。如果新增表在Doris中未创建，数据将无法写入。

检查与解决：

1. 检查Doris中是否已为新增表创建了对应的表结构。
2. 如果表结构未创建，可以通过手动创建或使用自动化工具（如CTAS/CDAS）同步表结构。
3. 确保Doris表的字段类型、顺序和大小写与Flink DDL定义一致。

4. Binlog位点问题

Flink CDC任务从savepoint恢复时，默认会从savepoint中记录的Binlog位点开始消费。如果新增表的Binlog位点早于savepoint记录的位点，则可能导致新增表的数据未被消费。

检查与解决：

1. 确认新增表的Binlog位点是否在savepoint记录的位点之后。
2. 如果新增表的Binlog位点较早，可以尝试从更早的Binlog位点重新启动任务（需确保MySQL服务器上的Binlog未被清理）。

5. 其他潜在问题

• 网络连通性：确认Flink任务与Doris之间的网络是否连通，确保数据能够正常写入。
• 白名单配置：如果Doris启用了白名单机制，需确保Flink任务所在的IP地址已添加到白名单中。
• 日志排查：查看Flink TaskManager日志，检查是否有异常信息（如连接失败、权限不足等）。

总结与建议

根据上述分析，您可以按照以下步骤逐步排查问题： 1. 确认scan.newly-added-table.enabled和tables配置是否正确。 2. 检查Doris中是否已为新增表创建了对应的表结构。 3. 确认新增表的Binlog位点是否在savepoint记录的位点之后。 4. 查看Flink TaskManager日志，定位可能的异常信息。

如果问题仍未解决，建议提供以下信息以便进一步分析： - Flink作业的完整配置文件。 - Flink TaskManager日志中的异常信息。 - 新增表的DDL定义及Doris中的表结构。

希望以上内容能帮助您快速定位并解决问题！您可以复制页面截图提供更多信息，我可以进一步帮您分析问题原因。