Flink CDC里哪位大佬，知晓这个是什么依赖冲突了？

在Flink CDC中，依赖冲突问题通常是由于作业JAR包中包含了不必要的依赖（例如基本配置、Flink、Hadoop和log4j依赖），或者作业需要的Connector对应的依赖未被打入JAR包中导致的。以下是关于依赖冲突的具体分析和解决方法：

1. 依赖冲突的表现

依赖冲突可能会引发以下问题： - 明显报错：例如java.lang.AbstractMethodError、java.lang.ClassNotFoundException、java.lang.NoClassDefFoundError等。 - 不符合预期的现象： - 日志不输出或log4j配置不生效，通常是因为依赖中携带了log4j相关配置。 - RPC调用异常，例如InvocationTargetException，可能导致TaskManager Slot分配失败，状态不一致等问题。

2. 依赖冲突的原因

根据知识库资料，依赖冲突的主要原因包括： 1. 作业JAR包中包含不必要的依赖： - 例如，Flink、Hadoop和log4j相关的依赖被错误地打包到作业JAR中。 - 这些依赖可能与运行时环境中的版本不一致，从而引发冲突。 2. 作业需要的Connector依赖未被打入JAR包中： - 如果Connector依赖缺失，可能导致运行时无法找到相关类或方法。

3. 排查方法

为了定位依赖冲突问题，可以采取以下步骤： 1. 检查pom.xml文件： - 确认是否存在不必要的依赖，尤其是Flink、Hadoop和log4j相关的依赖。 2. 查看JAR包内容： - 使用命令jar tf foo.jar检查作业JAR包中是否包含引发冲突的内容。 3. 分析依赖树： - 使用mvn dependency:tree命令查看作业的依赖关系，判断是否存在冲突的依赖。

4. 解决方案

针对依赖冲突问题，可以采取以下措施：

4.1 基本配置依赖

• 将Flink和Hadoop的基本配置依赖的scope设置为provided，确保这些依赖不会被打包到作业JAR中。

  <dependency>
    <groupId>org.apache.flink</groupId>
    <artifactId>flink-streaming-java_2.11</artifactId>
    <version>${flink.version}</version>
    <scope>provided</scope>
  </dependency>
  

4.2 Connector依赖

• 添加作业需要的Connector依赖，并将scope设置为compile（默认值），确保这些依赖被打包到作业JAR中。

  <dependency>
    <groupId>org.apache.flink</groupId>
    <artifactId>flink-connector-kafka_2.11</artifactId>
    <version>${flink.version}</version>
  </dependency>
  

4.3 排除冲突依赖

• 如果作业存在间接依赖冲突，可以通过exclusions排除冲突的依赖。

  <dependency>
    <groupId>foo</groupId>
    <artifactId>bar</artifactId>
    <exclusions>
        <exclusion>
            <groupId>org.apache.hadoop</groupId>
            <artifactId>hadoop-common</artifactId>
        </exclusion>
    </exclusions>
  </dependency>
  

4.4 处理log4j冲突

• 如果必须使用不同版本的log4j，建议使用maven-shade-plugin对log4j相关的类进行relocation，以避免冲突。

5. 特别提醒

• Flink CDC连接器的命名规则：
  • flink-sql-connector-xxx是FAT JAR，包含所有第三方依赖，适合SQL作业使用。
  • flink-connector-xxx仅包含连接器代码，适合DataStream作业使用，但需要自行管理第三方依赖。
• Maven仓库路径变更：
  • Flink CDC项目从2.0.0版本开始，group id从com.alibaba.ververica改为com.ververica，因此在查找2.x版本时，路径应为/com/ververica。

通过以上方法，您可以有效排查和解决Flink CDC中的依赖冲突问题。如果问题仍然存在，建议结合具体的错误日志进一步分析。