《企业级云原生白皮书项目实战》——第五章 大数据——5.3 实时计算Flink版——5.3.2 Flink任务开发相关（2） https://developer.aliyun.com/article/1228385?groupCode=supportservice
5.3.2.2 DataStream任务打包
Datastream作业开发时往往会遇到一些jar包冲突等问题，本文主要讲解作业开发时需要引入哪些依赖以及哪些需要被打包进作业的jar中，从而避免不必要的依赖被打入了作业jar中以及可能产生的依赖冲突。
一个Datastream作业主要涉及下述依赖：
Flink的核心依赖以及应用程序自身的依赖
每一个Flink应用程序都依赖于一系列相关的库，其中至少应该包括Flink的API. 许多应用程序还依赖于连接器相关的库(如 Kafka, Cassandra等).在运行Flink应用程序时，无论是在运行在分布式的环境下还是在本地IDE进行测试，Flink的运行时相关依赖都是必须的。
与大多数运行用户自定义应用程序的系统一样，Flink 中有两大类依赖项：
•Flink核心依赖:Flink 本身由一组运行系统所必需的类和依赖项组成，例如协调器、网络、检查点、容错、API、算子（例如窗口）、资源管理等。 所有这些类和依赖项的集合构成了 Flink 运行时的核心，在 Flink 应用程序启动时必须存在。这些核心类和依赖项都被打包在 flflink-dist jar 中。 它们是 Flink 的 lib 文件夹的一部分，也是Flink基础容器镜像的一部分。这些依赖之于Flink就像Java 运行所需的包含 String 和 List 等类的核心库（rt.jar、charsets.jar 等）之于Java。Flink的核心依赖不包含任何连接器或扩展库（CEP、SQL、ML等），这使得Flink的核心依赖尽可能小，以避免默认情况下类路径中有过多的依赖项，同时减少依赖冲突。
•用户应用程序依赖项：指特定用户应用程序所需的所有连接器、Format或扩展库。用户应用程序通常被打包成一个 jar文件，其中包含应用程序代码以及所需的连接器和库依赖项。用户应用程序依赖项不应包括 Flink DataStream API 和运行时依赖项，因为这些已经被包含在了Flink 的核心依赖中。依赖配置步骤
1.添加基础依赖
每一个Flink应用程序的开发至少需要添加对相关API的基础依赖。
手动配置项目时，需要添加对Java/Scala API的依赖(这里以Maven为例，在其他构建工具(Gradle，SBT等)中可以使用同样的依赖)。
<dependency> <groupId>org.apache.flflink</groupId> <artifactId>flflink-streaming-java_2.11</artifactId> <version>1.12.3</version> <scope>provided</scope> </dependency>
重要提示：请注意，所有这些依赖项都将其范围设置为"provided"。这意味着需要对它们进行编译，但不应将它们打包到项目生成的应用程序jar文件中——这些依赖项是Flink核心依赖项，在实际运行时已经被加载。
强烈建议将依赖项设置成"provided"的范围,如果未将它们设置为"provided"，最好的情况下会导致生成的jar变得臃肿，因为它还包含所有Flink核心依赖项。而最怀的情况下，添加到应用程序jar文件中的Flink核心依赖项与您自己的一些依赖项会发生版本冲突（通常通过Flink的反向类加载机制来避免）。
关于IntelliJ的注意事项：为了使应用程序在IntelliJ IDEA中运行，有必要在运行配置中勾选"Include dependencies with "Provided" scope"选项框。如果没有该选项（可能是由于使用较旧的IntelliJ IDEA版本），那么一个简单的解决方法是创建一个调用应用程序 main() 方法的测试用例。
《企业级云原生白皮书项目实战》——第五章 大数据——5.3 实时计算Flink版——5.3.2 Flink任务开发相关（4） https://developer.aliyun.com/article/1228382?groupCode=supportservice
