Flink CDC配置文件里是正则匹配的。但新表同步不到sink端。是确什么配置项吗？

在使用Flink CDC进行数据同步时，如果新表无法同步到Sink端，可能与以下配置项有关。以下是可能导致问题的原因及解决方案：

1. 新增表的全量同步配置

Flink CDC 提供了 scan.newly-added-table.enabled 配置项，用于控制是否在从 Checkpoint 重启时同步新增表的全量数据。
- 配置说明：
- 如果该配置项未开启，则 Flink CDC 不会同步在上次启动时未匹配到的新增表。 - 该配置仅在 scan.startup.mode 设置为 initial 模式时生效。

• 解决方法：
  确保在配置文件中添加以下内容：

  scan.newly-added-table.enabled: true
  

  并确认 scan.startup.mode 的值为 initial。

2. 增量阶段新增表的同步配置

在增量阶段，Flink CDC 提供了 scan.binlog.newly-added-table.enabled 配置项，用于控制是否同步增量阶段新增表的数据。
- 配置说明：
- 如果该配置项未开启，则 Flink CDC 不会自动解析新增表的 DDL 并同步数据到下游。 - 建议在初次启动作业时开启此配置，否则可能导致数据不全问题。 - 在全量阶段创建的表，即使开启了该配置，也无法完成自动同步。

• 解决方法：
  确保在配置文件中添加以下内容：

  scan.binlog.newly-added-table.enabled: true
  

3. 避免重复数据问题

需要注意的是，scan.newly-added-table.enabled 和 scan.binlog.newly-added-table.enabled 不建议同时开启，因为这会导致数据重复问题。
- 建议配置：
- 如果需要全量同步新增表，仅开启 scan.newly-added-table.enabled。 - 如果仅需增量同步新增表，仅开启 scan.binlog.newly-added-table.enabled。

4. 重新启动任务以同步新表

如果新表是在任务运行过程中创建的，且上述配置已正确设置，仍需重新启动任务以触发新表的同步。
- 操作步骤：
1. 停止当前任务。 2. 修改配置文件，确保新增表相关的配置项已正确设置。 3. 重新启动任务。

5. 检查路由规则

在 YAML 配置文件中，route 模块定义了源表和目标表之间的映射关系。如果新增表的名称不符合路由规则，则不会被同步到 Sink 端。
- 检查方法：
- 确认 source-table 是否支持正则表达式匹配新增表。例如： yaml route: - source-table: app_db.\.* sink-table: sink_db.<> replace-symbol: <> 上述配置会将 app_db 数据库中的所有表（包括新增表）同步到 sink_db 中，并保持表名一致。

6. 其他注意事项

• Binlog 配置：
  确保 MySQL 的 Binlog 配置正确，未忽略新增表所在的数据库或表。可以通过以下命令检查：

  SHOW MASTER STATUS;
  

  确认 Binlog_Do_DB 和 Binlog_Ignore_DB 的值是否符合预期。

• Checkpoint 配置：
  如果任务依赖 Checkpoint 恢复，请确保 Checkpoint 已正确保存，并在重启任务时从 Checkpoint 恢复。

总结配置示例

以下是一个完整的 YAML 配置示例，包含新增表同步的相关配置：

source:
  type: mysql
  hostname: <hostname>
  port: 3306
  username: ${secret_values.mysqlusername}
  password: ${secret_values.mysqlpassword}
  tables: app_db.\.*
  server-id: 5400-5404
  scan.newly-added-table.enabled: true
  scan.binlog.newly-added-table.enabled: true

sink:
  type: hologres
  name: Hologres Sink
  endpoint: <endpoint>
  dbname: <database-name>
  username: ${secret_values.holousername}
  password: ${secret_values.holopassword}

pipeline:
  name: Sync MySQL Database to Hologres

route:
  - source-table: app_db.\.*
    sink-table: sink_db.<>
    replace-symbol: <>

通过以上配置和操作，可以有效解决新表无法同步到 Sink 端的问题。