Flink CDC里这是什么原因？

在 Flink CDC 中，您提到的问题可能涉及多个方面的原因。以下是根据知识库资料整理的详细分析和解答：

1. MySQL CDC 全量读取后不读增量数据

如果 MySQL CDC 在全量读取完成后无法正常进入增量阶段，可能是以下原因导致的： - 问题原因：
- 如果配置的是 RDS MySQL 5.6 的备库或只读实例，这些实例可能未将变更写入 Binlog 文件，导致下游同步工具无法读取增量数据。 - 全量阶段读取时间过长，可能导致最后一个分片数据量过大，出现 OOM（内存溢出）问题，作业 Failover 后卡住。 - Checkpoint 配置不合理，例如间隔时间过长（如 20 分钟），会导致作业在切换到增量阶段时延迟。

• 解决方案：
  • 建议使用可写实例或升级 RDS MySQL 至更高版本，以确保 Binlog 数据完整记录。
  • 增加 MySQL Source 端的并发度，加快全量读取速度。
  • 根据业务需求调整 Checkpoint 间隔时间，确保全量数据写入下游后再读取增量数据。

2. Binlog 数据量大导致带宽消耗过高

即使 MySQL 源表的数据更新量不大，Flink 在读取时仍可能消耗大量带宽，原因如下： - 问题原因：
- MySQL 的 Binlog 是实例级别的，会记录所有数据库和表的变更。即使 Flink 作业仅涉及一张表，Binlog 仍包含其他表的所有变更记录。

• 解决方案：
  • 虽然无法改变 Binlog 的存储机制，但可以通过复用 CDC Source 来减少带宽使用。具体方法请参考开启 CDC Source 复用的相关文档。

3. 增量阶段读取的 timestamp 字段时区相差 8 小时

在解析 Binlog 数据中的 timestamp 字段时，可能会出现时区不一致的问题： - 问题原因：
- Flink CDC 使用作业中配置的 server-time-zone 参数解析 timestamp 字段。如果该参数与 MySQL 服务器的时区不一致，就会导致时区偏差。

• 解决方案：
  • 确保在 Flink CDC 配置中正确设置 server-time-zone 参数，使其与 MySQL 服务器的时区一致。例如，如果 MySQL 服务器使用 UTC+8，则应配置为 server-time-zone=Asia/Shanghai。

4. Postgres CDC 同步 DECIMAL 类型数据精度超限时返回 NULL

当 Postgres CDC 同步的 DECIMAL 类型数据精度超过声明的最大精度时，会出现以下情况： - 问题原因：
- 如果接收到的 DECIMAL 数据精度大于声明的类型精度，CDC 会将数据处理为 NULL。

• 解决方案：
  • 配置 'debezium.decimal.handling.mode' = 'string' 参数，将读取的数据以字符串形式处理，避免精度丢失。

5. Postgres CDC 提示未传输 TOAST 数据

TOAST 数据是 PostgreSQL 中用于存储大字段的一种机制，可能出现未传输的情况： - 问题原因：
- 如果 TOAST 数据未发生变化，并且配置了 'debezium.schema.refresh.mode'='columns_diff_exclude_unchanged_toast' 参数，wal2json 插件不会将 TOAST 数据带到更新后的数据中。

• 解决方案：
  • 确保副本身份完整，并检查是否需要调整 debezium.schema.refresh.mode 参数，以包含未变化的 TOAST 数据。

6. Postgres 服务器磁盘使用率高，WAL 日志不释放

如果发现 Postgres 服务器磁盘使用率高，且 WAL 日志未释放，可能是以下原因： - 问题原因：
- Postgres CDC 只会在 Checkpoint 完成时更新 Postgres slot 中的 LSN（Log Sequence Number）。如果 Checkpoint 未开启或存在其他未使用的 slot，可能导致 WAL 日志堆积。

• 解决方案：
  • 检查并确认 Postgres 的 Checkpoint 是否已开启。
  • 清理未使用或同步延迟的 slot，释放磁盘空间。

7. MySQL CDC 表结构变更未同步到下游

如果 MySQL 表结构发生变更，但下游表结构未同步，可能是以下原因： - 问题原因：
- 表结构变更同步并不识别具体的 DDL，而是捕获前后两条数据之间的 Schema 变化。如果上游无新增数据或数据变更，则不会触发下游的同步。

• 解决方案：
  • 确保上游表有新增数据或数据变更，以触发下游的同步。
  • 如果需要强制同步，可以停止作业、删除下游表，并重新启动作业。

8. Source 出现 finish split response timeout 异常

如果 Source 出现 finish split response timeout 异常，可能是以下原因： - 问题原因：
- Task 的 CPU 使用率过高，导致无法及时响应 Coordinator 的 RPC 请求。

• 解决方案：
  • 增加 Task Manager 的 CPU 资源，确保任务能够及时响应请求。

总结

以上是针对 Flink CDC 中常见问题的详细分析和解决方案。如果您遇到的具体问题未涵盖在上述内容中，请提供更多上下文信息，以便进一步为您解答。您可以复制页面截图提供更多信息，我可以进一步帮您分析问题原因。