Flink CDC 里这是什么问题？

在 Flink CDC 中遇到问题时，通常需要结合具体的错误信息、使用场景和配置来分析原因并提供解决方案。以下是针对常见问题的详细解答，基于提供的知识库资料：

1. MySQL CDC 全量数据读取后不读增量数据

问题描述：

• MySQL CDC 在完成全量数据读取后，无法继续读取增量数据。

可能原因及解决方案：

1. RDS MySQL 备库或只读实例：

   • 原因：备库或只读实例未向日志文件写入数据。
   • 解决方案：建议使用可写实例，或将 RDS MySQL 升级至更高版本。

2. 全量阶段耗时过长导致 OOM：

   • 原因：全量阶段读取时间过长，最后一个分片数据量过大，导致内存溢出。
   • 解决方案：增加 MySQL Source 端的并发度，加快全量读取速度。

3. Checkpoint 配置不合理：

   • 原因：进入增量阶段前需等待一个 Checkpoint，若 Checkpoint 间隔时间较大，会导致作业卡住。
   • 解决方案：根据业务需求设置合理的 Checkpoint 间隔时间。

2. Flink CDC 消耗大量带宽

问题描述：

• MySQL 源表数据更新量不大，但 Flink 在读取数据时消耗了大量带宽。

问题原因：

• Binlog 是实例级别的，记录所有数据库和表的变更。即使 Flink 作业只涉及部分表，Binlog 仍包含所有表的变更记录。过滤过程在 Debezium 或 Flink CDC 连接器层面完成，而非 MySQL 层面。

解决方案：

• 启用 Source 复用：通过复用 Source 避免重复读取 Binlog 数据，从而减少带宽消耗。

3. 增量阶段读取的 timestamp 字段时区相差 8 小时

问题描述：

• 在增量阶段读取的 timestamp 字段与实际时间相差 8 小时。

问题原因：

• CDC 作业中配置的 server-time-zone 参数未与 MySQL 服务器时区一致。

解决方案：

• 确保 server-time-zone 参数与 MySQL 服务器时区一致。例如，如果 MySQL 服务器时区为 UTC+8，则配置如下：

  server-time-zone=Asia/Shanghai
  

• 如果使用自定义序列化器（如 MyDeserializer），确保在解析 timestamp 类型数据时给定正确的时区信息。

4. 多个 CDC 作业导致数据库压力过大

问题描述：

• 多个 CDC 作业同时运行，导致数据库压力过大。

解决方案：

1. 通过 Kafka 解耦：

   • 将表同步到 Kafka 消息队列中，再通过消费 Kafka 数据进行解耦，从而减轻数据库压力。

2. 合并 CTAS 作业：

   • 将多个 CTAS 作业合并为一个作业运行，并为每个 MySQL CDC 源表配置相同的 Server ID，实现数据源的复用。

5. 报错：Replication slot "xxxx" is active

问题描述：

• Postgres CDC 报错提示 Replication slot 已被占用。

解决方案：

1. 手动释放 slot：

   SELECT pg_drop_replication_slot('rep_slot');
   

2. 自动清理 slot：

   • 在 Postgres Source 配置中添加以下参数：

     debezium.slot.drop.on.stop=true
     

6. 无法下载 flink-sql-connector-mysql-cdc-2.2-SNAPSHOT.jar

问题描述：

• Maven 仓库中找不到 flink-sql-connector-mysql-cdc-2.2-SNAPSHOT.jar。

问题原因：

• xxx-SNAPSHOT 版本对应开发分支的代码，未发布到 Maven 中央仓库。

解决方案：

• 使用稳定版本，例如 flink-sql-connector-mysql-cdc-2.1.0.jar，可直接从 Maven 中央仓库获取。

7. DataStream API 构建 MySQL CDC Source 时如何配置 tableList 选项

配置方法：

• tableList 要求表名包含数据库名，格式如下：

  tableList("yourDatabaseName.yourTableName")
  

8. Postgres CDC 是否支持从 Checkpoint 恢复

支持情况：

• 支持：Postgres CDC 支持从 Checkpoint 恢复。
• 原理：通过保存的 Checkpoint 信息定位到上次消费的 Binlog 位点，从而继续读取增量数据。

9. MongoDB CDC 是否支持多并发读取

支持情况：

• 支持：MongoDB CDC 支持设置多并发度读取。

10. 如何跳过 Snapshot 阶段，只从变更数据开始读取

解决方案：

• 通过 scan.startup.mode 参数控制：
  • earliest-offset：从最早可用的 Binlog 位点消费。
  • latest-offset：从最新的 Binlog 位点消费。
  • timestamp：从指定时间戳消费。
  • specific-offset：从指定的 Binlog 位点消费。

以上是针对 Flink CDC 常见问题的详细解答。如果您有更具体的问题或错误信息，请提供进一步的上下文以便更精准地分析和解决。