大佬们 finkcdc mysql连接器，如果想动态加表，加表前后都需要设置成 ？

在使用Flink CDC MySQL连接器时，如果需要动态添加表并确保新增表的数据能够被同步，您需要正确配置相关参数。以下是详细的解答和操作步骤：

1. 动态加表的配置要求

为了支持动态新增表的同步，Flink CDC 提供了两个关键配置项： - scan.newly-added-table.enabled：用于控制是否在全量阶段同步新增表的数据。 - scan.binlog.newly-added-table.enabled：用于控制是否在增量阶段自动同步新增表的数据。

根据您的问题描述，您希望在加表前后都启用动态表同步功能。以下是具体的配置说明：

加表前的配置

在作业启动时，您需要设置以下参数以支持动态新增表的同步：

.scanNewlyAddedTableEnabled(true) // 开启全量阶段新增表的同步
.startupOptions(StartupOptions.initial()) // 设置启动模式为 initial

• scan.newly-added-table.enabled=true：此配置允许在全量阶段同步新增表的数据。
  注意：该配置仅在 scan.startup.mode=initial 模式下生效。如果使用其他启动模式（如 earliest-offset 或 latest-offset），此配置将无效。
• startupOptions(StartupOptions.initial())：表示作业启动时会先进行全量读取，然后切换到增量读取 Binlog。

加表后的配置

在作业运行过程中，如果您新增了表并希望这些表的数据能够被同步，则需要确保以下配置已启用：

.scanBinlogNewlyAddedTableEnabled(true) // 开启增量阶段新增表的同步

• scan.binlog.newly-added-table.enabled=true：此配置允许在增量阶段自动解析新增表的 DDL 并同步数据。
  重要提示：建议在初次启动作业时就开启此配置，否则可能会导致新增表的数据不完整。

2. 注意事项

• 避免重复数据：scan.newly-added-table.enabled 和 scan.binlog.newly-added-table.enabled 不建议同时开启，因为这可能导致数据重复问题。
• DDL 解析限制：在 initial 启动模式下，全量阶段结束前的所有 DDL 操作都无法同步到下游。因此，新增表的数据可能无法完全同步，直到全量阶段完成。
• 无状态启动：如果对已有作业启用上述配置，建议无状态启动作业，以避免因拓扑变化导致的数据丢失或启动失败。

3. 示例代码

以下是一个完整的配置示例，展示如何在 Flink CDC 中启用动态新增表的功能：

// 配置 MySQL CDC 源表
MySqlSource<String> mySqlSource = MySqlSource.<String>builder()
    .hostname("your-mysql-host")
    .port(3306)
    .databaseList("your-database") // 匹配数据库
    .tableList("your-database.your-table") // 匹配表
    .username("your-username")
    .password("your-password")
    .deserializer(new JsonDebeziumDeserializationSchema()) // 数据反序列化
    .scanNewlyAddedTableEnabled(true) // 开启全量阶段新增表同步
    .scanBinlogNewlyAddedTableEnabled(true) // 开启增量阶段新增表同步
    .startupOptions(StartupOptions.initial()) // 设置启动模式为 initial
    .build();

4. 总结与建议

• 如果您希望在全量和增量阶段都能动态同步新增表的数据，请分别启用 scan.newly-added-table.enabled 和 scan.binlog.newly-added-table.enabled。
• 确保作业启动模式为 initial，并在初次启动时就开启相关配置，以避免数据不完整的问题。
• 特别提醒：避免同时开启上述两个配置项，以免导致数据重复。

通过以上配置，您可以实现动态新增表的同步需求，并确保数据的完整性和一致性。