Flink On Yarn部署模式下，提交Flink作业 是否可以不打fat jar

在Flink on Yarn的部署模式下，解决第三方依赖包加载问题，尤其是避免因依赖冲突而无法打包fatjar的情况，可以通过以下步骤进行：

1. 上传依赖到远程存储： 将您的第三方依赖JAR包上传至一个可供Flink集群访问的位置，如HDFS、Amazon S3或任何其他与集群配置兼容的分布式文件系统。这确保了作业提交时，这些依赖能够被所有参与执行的节点访问。

2. 使用--classpath参数： 在通过Flink命令行客户端提交作业时，利用--classpath参数指定已上传的依赖路径。例如，如果您的依赖包位于HDFS上，命令可能如下所示：

   flink run --classpath hdfs://<your_hdfs_path>/dependency.jar <your_job_jar>
   

   这样，Flink会将指定路径下的依赖加入到作业的类路径中，而无需将它们直接包含在作业的JAR文件里。

3. YARN配置中的Ship Files： 如果您是通过YARN的ApplicationMaster方式提交作业，可以在提交命令中使用-ys或-yD选项来指定额外的文件（包括依赖）随作业一起分发到YARN集群的每个任务管理器节点上。例如：

   flink run -ys hdfs://<your_hdfs_path>/dependency.jar <your_job_jar>
   

4. 使用Flink的类路径配置： 在Flink配置文件（如flink-conf.yaml）中，可以设置classpaths来指定全局的类路径条目，这样所有作业都会自动包含这些路径下的依赖。但请注意，这种方式对特定于作业的依赖不太灵活。

   classpaths: hdfs://<your_hdfs_path>/*
   

5. 依赖管理最佳实践：

   • 确保所有Flink相关的依赖使用provided作用域，以避免与Flink运行时环境中的依赖发生冲突。
   • 对于自定义连接器或其他扩展，考虑将其作为Uber JAR上传，并在作业提交时通过附加依赖文件的方式引用，而非直接编入主作业JAR。

通过上述方法，您可以有效解决Flink作业在YARN模式下第三方依赖的加载问题，同时规避由于依赖冲突导致的fatjar打包难题。