Flink CDC 要想重启后只读增量的，snapshot.mode需要配置成什么？

在使用 Flink CDC 时，如果希望作业重启后只读取增量数据而不重新执行快照（Snapshot），需要将 scan.startup.mode 参数配置为 latest-offset。此配置会跳过快照阶段，直接从 Binlog 的末尾（最新的变更日志处）开始读取数据。

配置方法

在创建 MySQL CDC 源表时，通过 WITH 子句设置以下参数：

CREATE TABLE mysql_source (
    ...
) WITH (
    'connector' = 'mysql-cdc',
    'scan.startup.mode' = 'latest-offset'
);

参数说明

• scan.startup.mode：指定消费数据的启动模式。
  • latest-offset：跳过快照阶段，直接从 Binlog 的最新位点开始读取。该模式下，源表只能读取作业启动之后的数据变更。

注意事项

1. 数据完整性：由于跳过了快照阶段，作业无法获取作业启动前的历史数据。因此，请确保此配置符合业务需求。
2. Binlog 可用性：确保 MySQL 数据库的 Binlog 功能已启用，并且 Binlog 格式为 ROW 模式，否则可能导致增量读取失败。
3. Checkpoint 配置：建议合理设置 Checkpoint 间隔时间，以避免因 Checkpoint 超时导致作业 Failover。

通过上述配置，Flink CDC 作业在重启后将只读取增量数据，而不会重新执行快照操作。