FlinkCDC2.2.0依赖的flink-shaded-guava不是30.1.1-jre-14.

问题描述

用户在使用Flink CDC 2.2.0进行MySQL到StarRocks的数据同步时，遇到以下问题： 1. 尽管了解到Flink CDC 2.2.0应依赖flink-shaded-guava-30.1.1-jre-14.0，但发现项目中同时存在对guava 18的依赖，导致混淆。 2. 数据同步过程中，初次全量数据拉取成功，但后续无法接收到MySQL的binlog更新，因此无法继续增量同步，即使MySQL数据发生变化，StarRocks中的数据也保持不变。

背景信息

• Flink CDC与Guava依赖：Flink CDC为避免版本冲突，通常会使用特定版本的flink-shaded-guava来替代原生Guava库。确保项目中不存在其他直接或间接引入的Guava依赖是必要的，以防止类路径冲突。
• MySQL CDC增量同步问题：可能原因包括但不限于Checkpoint设置不当、MySQL实例配置限制、Binlog配置问题等。

解决方案

排查与解决依赖冲突

1. 检查Maven/Gradle依赖树：使用mvn dependency:tree（Maven）或./gradlew dependencies（Gradle）命令查看所有依赖，定位到guava 18的来源，并在构建文件中排除该依赖。

2. 强制使用shaded Guava：确保项目的依赖管理部分明确指定使用flink-shaded-guava而非原始Guava库。

增量同步问题排查

1. 检查Checkpoint间隔：确认Checkpoint设置是否合理，避免因长时间间隔导致延迟接收增量数据。

2. 验证MySQL Binlog配置：

   • 确认MySQL实例（尤其是RDS MySQL 5.6只读实例）是否支持完整的Binlog记录，必要时升级至更高版本或切换到可写实例。
   • 使用show master status;命令检查Binlog过滤器设置，确保目标数据库未被忽略。

3. 检查Flink作业配置：

   • 确保tableList配置正确，格式应包含数据库名和表名。
   • 若作业失败重启，确认是否已启用'scan.incremental.snapshot.enabled'= 'true'以便从checkpoint恢复读取数据。

4. 监控与日志分析：利用Flink提供的监控工具和日志，查找是否有错误信息指示为何未能正确消费MySQL的binlog。

注意事项

• 依赖管理：彻底清理并管理好项目依赖，避免不兼容的库共存。
• 环境一致性：确保MySQL、Flink集群以及StarRocks实例版本满足兼容性要求。
• 网络连通性：确认MySQL与Flink集群、StarRocks之间的网络畅通无阻。

总结

解决此问题需分两步走：首先，通过构建工具排查并消除Guava版本冲突；其次，细致检查并调整Flink CDC作业的配置，特别是Checkpoint、Binlog设置及作业参数，同时关注系统日志以获取更详细的故障信息。您可以复制页面截图提供更多信息，我可以进一步帮您分析问题原因。