Flink CDC没办法正常同步数据了，是我姿势不对吗？

问题分析

您提到在使用 Flink CDC 2.4.2 版本时，scan.startup.mode 设置为 latest-offset 可以正常同步数据，但设置为 timestamp 并指定 scan.startup.timestamp-millis 时无法正常同步数据。这可能与以下几个因素有关：

1. MySQL Binlog 配置：MySQL 的 Binlog 是否启用了时间戳记录功能。
2. Flink CDC 参数配置：scan.startup.timestamp-millis 的值是否正确，以及是否符合 MySQL Binlog 的时间范围。
3. Binlog 数据完整性：指定的时间戳是否超出了 MySQL Binlog 的保留范围。

以下是详细的排查和解决步骤。

解决方案

1. 检查 MySQL Binlog 配置

确保 MySQL 的 Binlog 格式为 ROW，并且启用了时间戳记录功能。可以通过以下命令检查 MySQL 的 Binlog 配置：

SHOW VARIABLES LIKE 'binlog_format';
SHOW VARIABLES LIKE 'binlog_row_image';

• binlog_format 应为 ROW。
• binlog_row_image 应为 FULL。

如果配置不正确，请修改 MySQL 配置文件（如 my.cnf），并重启 MySQL 服务：

[mysqld]
binlog_format=ROW
binlog_row_image=FULL

2. 确认 scan.startup.timestamp-millis 的值

scan.startup.timestamp-millis 的值必须是一个有效的 Unix 时间戳（毫秒级），并且该时间点的数据必须存在于 MySQL 的 Binlog 中。可以通过以下步骤确认：

1. 获取当前 Binlog 文件的时间范围： 使用以下命令查看当前 Binlog 文件的起始时间：

   SHOW BINARY LOGS;
   SHOW BINLOG EVENTS IN 'binlog_file_name' LIMIT 1;
   

   • 如果指定的时间戳早于最早的 Binlog 文件时间，则会导致同步失败。

2. 验证时间戳是否正确： 将 1703127600000 转换为可读时间格式（例如使用在线工具或编程语言），确保其对应的时间点在 Binlog 的有效范围内。

3. 检查 Flink CDC 参数配置

确保 Flink CDC 的参数配置正确，特别是 scan.startup.mode 和 scan.startup.timestamp-millis。以下是一个示例配置：

CREATE TABLE mysql_source (
    id INT,
    name STRING,
    PRIMARY KEY (id) NOT ENFORCED
) WITH (
    'connector' = 'mysql-cdc',
    'hostname' = 'localhost',
    'port' = '3306',
    'username' = 'root',
    'password' = 'password',
    'database-name' = 'test_db',
    'table-name' = 'test_table',
    'scan.startup.mode' = 'timestamp',
    'scan.startup.timestamp-millis' = '1703127600000'
);

• 重要：scan.startup.timestamp-millis 的值必须是毫秒级时间戳，并且不能超出 MySQL Binlog 的保留范围。

4. 检查 MySQL Binlog 保留策略

MySQL 的 Binlog 默认会定期清理，可能导致指定时间戳的数据已被删除。可以通过以下命令检查 Binlog 的保留时间：

SHOW VARIABLES LIKE 'expire_logs_days';

• 如果 expire_logs_days 值过小（例如默认值为 7 天），可能会导致 Binlog 数据被清理。
• 建议将 expire_logs_days 设置为更大的值（例如 30 天），并重启 MySQL 服务。

5. 调试日志排查问题

如果上述步骤均未解决问题，可以通过启用 Flink 的调试日志来排查具体错误。在 Flink 配置文件中添加以下内容：

logger.level=DEBUG

然后重新运行作业，查看日志中是否有与 scan.startup.timestamp-millis 相关的错误信息。

总结与建议

1. 确认 MySQL Binlog 配置：确保 Binlog 格式为 ROW，并且启用了时间戳记录功能。
2. 验证时间戳范围：确保 scan.startup.timestamp-millis 的值在 MySQL Binlog 的有效范围内。
3. 调整 Binlog 保留策略：避免因 Binlog 清理导致数据丢失。
4. 启用调试日志：通过日志排查具体问题。

如果问题仍未解决，请提供以下信息以便进一步分析： - MySQL 的 Binlog 配置和保留策略。 - Flink CDC 的完整配置。 - Flink 作业的日志输出。

希望以上内容能帮助您解决问题！