开发者社区大数据与机器学习实时计算 Flink 正文

想问下Flink 这种方式引入外部依赖不生效是什么原因啊?

展开

收起

真的很搞笑 2024-04-14 18:58:38 109 版权

阿里云 AI 助理回答

在使用Flink引入外部依赖时，如果发现依赖不生效，可能是由于以下原因导致的。以下是详细的原因分析及解决方法：

1. 依赖作用域（Scope）配置错误

Flink作业中，部分依赖需要根据其用途正确设置<scope>，否则可能导致依赖未被打包或未被加载。

问题描述：
- 如果依赖的作用域设置为provided，则该依赖不会被打包到最终的JAR文件中，而是由运行环境提供。如果运行环境中缺少该依赖，则会导致依赖不生效。
- 如果依赖的作用域设置为compile（默认值），但运行环境已经提供了相同依赖的不同版本，则可能引发依赖冲突。

解决方法：

对于Flink核心依赖（如flink-java、flink-streaming-java等），建议将作用域设置为provided，因为这些依赖通常由Flink运行环境提供。
对于Connector或其他外部依赖（如Kafka Connector），应确保作用域为compile，以确保它们被打包到作业JAR中。

示例代码：

<!-- Flink核心依赖 -->
<dependency>
  <groupId>org.apache.flink</groupId>
  <artifactId>flink-streaming-java_2.11</artifactId>
  <version>${flink.version}</version>
  <scope>provided</scope>
</dependency>

<!-- Kafka Connector依赖 -->
<dependency>
  <groupId>org.apache.flink</groupId>
  <artifactId>flink-connector-kafka_2.11</artifactId>
  <version>${flink.version}</version>
</dependency>

2. 依赖冲突

当多个依赖引入了相同类库的不同版本时，可能会导致依赖冲突，从而使得某些类无法正确加载。

问题描述：
- 例如，log4j或hadoop-common等依赖可能被多个库间接引入，且版本不一致，导致运行时出现ClassNotFoundException或NoSuchMethodError等问题。

解决方法：

使用mvn dependency:tree命令检查依赖树，定位冲突的依赖。
通过<exclusions>排除不必要的依赖，或者使用maven-shade-plugin对冲突的类进行重定位（relocation）。

示例代码：

<dependency>
  <groupId>foo</groupId>
  <artifactId>bar</artifactId>
  <exclusions>
      <exclusion>
          <groupId>org.apache.hadoop</groupId>
          <artifactId>hadoop-common</artifactId>
      </exclusion>
  </exclusions>
</dependency>

3. 未正确使用Uber JAR

在开发和调试过程中，如果使用了阿里云实时计算Flink版的商业版连接器（如Hologres连接器），但未正确使用Uber JAR，可能会导致依赖不生效。

问题描述：
- Uber JAR是一个包含所有必要依赖的“胖JAR”，如果未正确使用，可能会导致运行时找不到连接器相关类。
解决方法：
- 确保在开发和调试时正确引用Uber JAR，并将其上传到Flink控制台的“资源管理”页面。
- 在IntelliJ IDEA中运行和调试时，勾选“Add dependencies with provided scope to classpath”选项，以确保provided作用域的依赖也能被加载。

4. ClassLoader 配置问题

Flink作业的类加载机制可能导致某些依赖无法正确加载。

问题描述：
- 如果运行时抛出Incompatible magic value或ClassFormatError等异常，可能是由于ClassLoader配置不当或使用的JDK版本不兼容。
解决方法：
- 确保使用的JDK版本与Flink版本兼容（推荐使用JDK 8或JDK 11）。
- 检查是否需要重新设置ClassLoader，或者选择对应版本的Connector和Uber JAR。

5. 依赖未正确打包

在构建作业JAR时，如果未正确打包外部依赖，也可能导致依赖不生效。

问题描述：
- 如果使用Maven构建项目，但未正确配置maven-shade-plugin或maven-assembly-plugin，可能导致外部依赖未被打包到最终的JAR文件中。

解决方法：

使用以下命令构建并打包作业：

mvn clean package -DskipTests

确保pom.xml中正确配置了打包插件，例如maven-shade-plugin：

<build>
    <plugins>
        <plugin>
            <groupId>org.apache.maven.plugins</groupId>
            <artifactId>maven-shade-plugin</artifactId>
            <version>3.2.4</version>
            <executions>
                <execution>
                    <phase>package</phase>
                    <goals>
                        <goal>shade</goal>
                    </goals>
                </execution>
            </executions>
        </plugin>
    </plugins>
</build>

6. 运行环境未加载依赖

在某些情况下，即使依赖已正确打包，运行环境可能未正确加载这些依赖。

问题描述：
- 如果运行时抛出ClassNotFoundException或NoClassDefFoundError，可能是由于运行环境未正确加载依赖。
解决方法：
- 确保作业JAR包及其依赖已正确上传到Flink控制台的“资源管理”页面。
- 如果使用Session集群，注意Session集群不支持附加依赖文件，需切换到Per-Job集群模式。