Flink CDC 里这个是冲突了吗？

在使用 Flink CDC 时，依赖包冲突是一个常见问题，尤其是在引入多个连接器或第三方库时。根据知识库中的信息，以下是关于依赖包冲突的详细分析和解决方案：

1. 问题现象

依赖包冲突可能表现为以下几种情况： - 明显的报错：例如 java.lang.AbstractMethodError、java.lang.ClassNotFoundException、java.lang.NoSuchMethodError 等。 - 不符合预期的现象： - 日志不输出或 log4j 配置不生效（通常是由于依赖中携带了 log4j 相关配置）。 - RPC 调用异常（如 Akka RPC 调用失败，可能导致资源分配失败或状态不一致）。

2. 问题原因

依赖包冲突的主要原因包括： - 作业 JAR 包中包含了不必要的依赖：例如基本配置、Flink、Hadoop 或 log4j 的依赖被重复引入。 - Connector 所需的依赖未正确打入 JAR 包：导致运行时缺少必要的类或方法。 - 不同版本的依赖冲突：例如 log4j 或其他第三方库的版本不一致。

3. 排查方法

为了确认是否存在依赖冲突，可以按照以下步骤进行排查： 1. 检查 pom.xml 文件： - 查看是否引入了不必要的依赖。 - 确保 Connector 所需的依赖已正确添加。 2. 查看 JAR 包内容： - 使用命令 jar tf foo.jar 检查 JAR 包中是否包含引发冲突的内容。 3. 分析依赖树： - 使用命令 mvn dependency:tree 查看项目的依赖关系，判断是否存在冲突的依赖。

4. 解决方案

针对依赖冲突问题，可以采取以下措施：

4.1 基本配置建议

将基本配置的依赖范围设置为 provided，以避免将其打包到作业 JAR 中。例如：

<dependency>
    <groupId>org.apache.flink</groupId>
    <artifactId>flink-streaming-java_2.11</artifactId>
    <version>${flink.version}</version>
    <scope>provided</scope>
</dependency>

说明：provided 表示这些依赖由运行环境提供，不会被打入作业 JAR 包中。

4.2 添加 Connector 依赖

对于需要的 Connector，确保其依赖范围为 compile（默认范围），以便将其打包到作业 JAR 中。例如：

<dependency>
    <groupId>org.apache.flink</groupId>
    <artifactId>flink-connector-kafka_2.11</artifactId>
    <version>${flink.version}</version>
</dependency>

4.3 处理间接依赖

如果某些依赖是通过其他库间接引入的，可以通过 exclusions 将其排除。例如：

<dependency>
    <groupId>foo</groupId>
    <artifactId>bar</artifactId>
    <exclusions>
        <exclusion>
            <groupId>org.apache.hadoop</groupId>
            <artifactId>hadoop-common</artifactId>
        </exclusion>
    </exclusions>
</dependency>

4.4 特殊处理 log4j 冲突

如果必须使用不同版本的 log4j，可以通过 maven-shade-plugin 对 log4j 相关类进行重定位（relocation）。例如：

<plugin>
    <groupId>org.apache.maven.plugins</groupId>
    <artifactId>maven-shade-plugin</artifactId>
    <version>3.2.4</version>
    <executions>
        <execution>
            <phase>package</phase>
            <goals>
                <goal>shade</goal>
            </goals>
            <configuration>
                <relocations>
                    <relocation>
                        <pattern>org.apache.log4j</pattern>
                        <shadedPattern>com.shaded.log4j</shadedPattern>
                    </relocation>
                </relocations>
            </configuration>
        </execution>
    </executions>
</plugin>

5. 注意事项

• FAT JAR 和普通 JAR 的区别：
  • flink-sql-connector-xx 是 FAT JAR，包含所有依赖，适合 SQL 作业使用。
  • flink-connector-xx 只包含连接器代码，需要手动管理依赖，适合 DataStream 作业使用。
• Maven 仓库路径变更：
  • Flink CDC 从 2.0.0 版本开始，group id 从 com.alibaba.ververica 改为 com.ververica，请确保在 Maven 仓库中查找正确的路径。

6. 总结

通过上述方法，您可以有效解决 Flink CDC 中的依赖包冲突问题。如果问题仍然存在，建议进一步检查具体的错误日志，并结合 mvn dependency:tree 输出的依赖树进行深入分析。