Flink 这个值是空的配置没生效。是什么原因？

当你说“Flink 这个值是空的，配置没生效”，我猜测你可能遇到了Flink配置参数没有按预期生效，或者某个期望的值在Flink作业或应用程序中是空的。这种情况可能由多种原因引起：

配置文件错误：首先检查你的Flink配置文件（如flink-conf.yaml）。确保配置参数的名称和值都是正确的，并且没有拼写错误。此外，确认配置文件的位置正确，Flink集群的每个节点都能访问到它。

配置未更新：如果你修改了配置文件，但是没有重启Flink集群或作业，那么新的配置可能不会立即生效。确保在修改配置后重启了相关的Flink服务。

配置覆盖：在Flink中，配置可以在多个层级进行（如默认配置、环境变量、命令行参数等）。较高层级的配置会覆盖较低层级的配置。确保没有其他地方的配置覆盖了你所设置的值。

动态配置问题：如果你在使用Flink的动态配置功能（如通过REST API动态修改配置），确保你的Flink版本支持此功能，并且你遵循了正确的步骤进行配置更新。

代码中的配置问题：如果你在代码中设置了Flink配置（如通过StreamExecutionEnvironment.setParallelism(int)设置并行度），确保这些代码在作业提交之前被执行，并且没有逻辑错误导致配置值被意外地重置或覆盖。

环境问题：确保Flink集群的运行环境没有问题，比如网络连通性、资源限制（CPU、内存）等，这些问题有时也会导致配置不生效或作业行为异常。

版本不兼容：如果你最近升级了Flink版本，确保新的配置选项与你当前的Flink版本兼容。

日志诊断：查看Flink的日志文件，通常可以在日志中找到关于配置加载、解析或应用过程中的错误或警告信息。

执行Flink作业。

./bin/flink run-application -t yarn-application ./examples/streaming/TopSpeedWindowing.jar
------------------------------------------------------------------------------------------
2023-06-26 05:07:18,033 INFO  org.apache.flink.yarn.YarnClusterDescriptor                  [] - Deployment took more than 721 seconds. Please check if the requested resources are available in the YARN cluster
2023-06-26 05:07:39,625 INFO  org.apache.flink.yarn.YarnClusterDescriptor                  [] - YARN application has been deployed successfully.
2023-06-26 05:07:39,630 INFO  org.apache.flink.yarn.YarnClusterDescriptor                  [] - Found Web Interface test2.local:45209 of application 'application_1686161665378_0036'.

其中pipeline.classpaths不生效，可以尝试更换为pipeline.jars参数。

——参考链接。

您在flink-conf.yaml或其他自定义配置文件中设置的参数可能没有被正确地传递给提交至YARN的应用程序。
在命令行中指定 -Dkey=value 的方式覆盖配置项时，确保键名和值都填写正确。

当您使用 -Dpipeline.classpaths 参数并遇到 pipeline.classpaths 值未生效或为空的情况时，有几个可能的原因需要考虑：

配置文件格式和位置：

确保 pipeline.classpaths 的值被正确设置在一个 Flink 的配置文件中（例如 flink-conf.yaml），并且这个配置文件被包含在您的 TopSpeedWindowing.jar 的 classpath 中。
如果你使用了不同的配置文件（例如通过 -C 参数），确保这个值在正确的位置和格式下。
配置文件的优先级：

如果在多个地方定义了 pipeline.classpaths，Flink 会使用优先级最高的那个。检查是否有其他配置文件或命令行参数覆盖了该值。
YARN 应用程序的配置：

YARN 应用程序的配置可能不同，有时它不会采用 Flink 提交命令中的所有参数。在这种情况下，可能需要调整提交命令或直接在 YARN 的 yarn-site.xml 文件中设置该属性。
类路径（Classpaths）的上下文：

在不同的上下文中，pipeline.classpaths 可能表示不同的东西。例如，在 Flink 的上下文中，它可能用于指定额外的类路径；而在 YARN 的上下文中，它可能表示资源目录的路径。确保你理解了它的具体含义和用途。
检查日志和错误信息：

查看 Flink 和 YARN 的日志，看是否有任何与 pipeline.classpaths 相关的错误或警告。这可能会给你一些线索，指出问题出在哪里。
环境变量和JVM参数：

确保没有环境变量或 JVM 参数与 pipeline.classpaths 冲突或覆盖了它的值。
版本和兼容性问题：

如果你使用的是一个旧版本的 Flink 或 YARN，或者两者之间的版本不兼容，可能会出现一些未知的问题。考虑升级到最新版本，并检查相关的兼容性信息。
确保 -D 前缀正确使用：

确保在使用 -D 参数时没有错误地指定属性名或属性值。例如，正确的使用方式应该是 -Dpipeline.classpaths=/data，而不是 -D classpaths=/data。
检查资源目录是否存在：

如果 pipeline.classpaths 是一个资源目录的路径，确保 /data 这个目录实际存在，并且包含所需的资源文件。
在进行上述检查后，应该能够确定问题所在，并采取适当的措施来解决 pipeline.classpaths 为空或未生效的问题。

./bin/flink run-application -t yarn-application ./examples/streaming/TopSpeedWindowing.jar -Dpipeline.classpaths=/data

这条命令设置的是环境变量 pipeline.classpaths, 要想让 Flink 使用这些路径, 需要在启动的时候传入 -Dpipeline.classpath=xxx

所以应该这样执行:

$ ./bin/flink run-application -t yarn-application --pyramid-classpath /data flink/examples/streaming/TopSpeedWindowing.pyramid

注意这里有一个小细节, 当我们设置了 pipeline.classpath 的时候, 我们还需要给 pyramids 设置一个 classpath, 否则它会找不到对应的 jar 包.

可能是因为你在提交到 YARN 上面的时候, 并没有把 data 添加进去, 所以你需要确保你的 HDFS 中有相应的数据存在.
最后, 注意一下这里的路径, 是不是少了一个斜杠?

根据你所提供的截图，可以看到pipeline.classpath:这一部分的确为空字符串("")。这通常意味着你并未明确指定要加载哪些JAR文件作为Pipeline的类路径。

要使pipeline.classpaths生效，你需要将其改为指向存放JAR文件的位置。例如，如果你想加载位于"data/flink-jars/"下的所有JAR文件，你可以这样配置：

pipeline.classpaths:
    data/flink-jars/

当然，你也完全可以只引用个别JAR文件，而不是整个目录。只要确保所列出的路径都能找到所需的JAR文件即可。

最后，关于为什么pipeline.classpaths会被设为空串，可能有几个原因：

• 你可能忘记了在这里声明pipeline.classpaths。

• 你可能故意选择了不加载任何外部JAR文件。

• 也有可能是你之前在此处做了某种清理操作，删除了原本存在的配置。

无论如何，一旦你明确了期望的行为，就可以相应地调整pipeline.classpaths的配置，让它指向你要加载的JAR文件所在的目录。

从您提供的命令行参数来看，-Dpipeline.classpaths="/data" 这个参数设置是正确的。如果这个配置在运行Flink任务时没有生效，可能有以下几个原因：

1. 参数设置的环境问题：请确保您在运行Flink任务时使用了正确的参数环境。在Linux或者macOS系统中，可以使用export命令设置环境变量。例如，在运行Flink任务之前，您可以执行以下命令设置pipeline.classpaths环境变量：

export pipeline.classpaths="/data"

然后，再运行Flink任务。

1. 参数设置的位置问题：如果您在运行Flink任务时使用了多个参数，请确保-Dpipeline.classpaths="/data" 这个参数位于正确的位置。它应该位于所有其他参数之前，例如：

./bin/flink run-application -t yarn-application ./examples/streaming/TopSpeedWindowing.jar -Dpipeline.classpaths="/data" -Dparallelism.default=1 -Dtaskmanager.numberOfTaskSlots=1 -Dtaskmanager.memory.process.size=1728m -Djobmanager.memory.process.size=1600m -Dhistoryserver.archive.fs.dir=hdfs://yxy-ga-204:8020/user/flink/completed-jobs -Dtaskmanager.bind-host=0.0.0.0 -Dexecution.savepoint.ignore-unclaimed-state=false -Dexecution.target=yarn-application -Djobmanager.rpc.address=yxy-qa-204 -Djobmanager.bind-host=0.0.0.0 -Dexecution.savepoint-restore-mode=NO CLAIM -Dexecution.shutdown-on-attached-exit=false -Dpipeline.jars=file:/data/flink-1.16.2/./examples/streaming/TopSpeedWindowing.jar

1. 配置文件问题：请确保Flink的配置文件（如flink-conf.yaml或flink-conf.properties）中没有定义与pipeline.classpaths冲突的配置。如果有冲突，请根据需要调整配置文件中的相关参数。