Flink CDC里有办法yarn-session提交吗？提交的命令要怎么写啊？

Flink CDC 支持通过 Yarn-Session 提交作业。要使用 Yarn-Session 提交 Flink CDC 作业，你需要在命令行中指定 --deployment-mode 参数为 yarn-session。

以下是一个示例命令：

flink run -m yarn-session -yn <number_of_taskmanagers> -yjm <jobmanager_memory> -ytm <taskmanager_memory> -c <main_class> <jar_file> --deployment-mode yarn-session --flink-home /data/bigdata/flink-1.17.1 mysql-to-doris.yaml

其中：

• <number_of_taskmanagers> 是 TaskManager 的数量。
• <jobmanager_memory> 是 JobManager 的内存大小。
• <taskmanager_memory> 是 TaskManager 的内存大小。
• <main_class> 是包含主函数的类名。
• <jar_file> 是包含你的程序的 JAR 文件。

请根据你的实际情况替换这些占位符。

Flink CDC 提交任务至 YARN 环境时，您需要确保 Flink 集群已经通过 yarn-session 模式启动，并且 JobManager 正在监听正确的端口。根据您的错误信息，看起来 JobManager 的默认端口（8081）可能没有正确配置或对外开放。

要解决这个问题，请按照以下步骤操作：

1. 启动YARN会话：
   在命令行中，首先使用适合您环境的配置参数启动一个YARN会话。例如：

   hadoop jar /path/to/flink-yarn-session-{{flink_version}}.jar \
     -ynm your_session_name \
     -ys <yarn_slots_per_TM> \
     -t yarn-session \
     -Dyarn.application.id=<your_app_id_if_needed> \
     -Dyarn.container.start-command-template="%java% %jvmmem% %classpath% %jvmopts% %sysprops% %args%" \
     -Djobmanager.rpc.address=<jobmanager_host> \
     -Djobmanager.rpc.port=<your_jobmanager_port>
   

   这里请替换为实际的Flink版本、会话名称、每个TaskManager的slot数、JobManager主机名和端口号等。

2. 检查并配置JobManager端口：
   如果您想让JobManager监听非默认的8081端口，可以在启动YARN会话时通过 -Djobmanager.rpc.port 参数指定新端口。

3. 提交CDC作业：
   一旦YARN会话成功启动并且JobManager可访问，您可以尝试提交Flink CDC作业。由于Flink CDC通常以Flink作业的形式运行，您可以使用类似于以下命令提交到已存在的YARN会话：

   /data/bigdata/flink-1.17.1/bin/flink run -m yarn-cluster -yn <number_of_taskmanagers> -ys <slots_per_taskmanager> /path/to/your/cdc/job.jar --config-file mysql-to-doris.yaml
   

   其中：

   • -m yarn-cluster 表示提交到YARN集群模式。
   • -yn 和 -ys 分别指定TaskManager的数量和每个TaskManager的slot数量。
   • /path/to/your/cdc/job.jar 是你的Flink CDC应用的JAR包路径。
   • --config-file 指定的是CDC作业所需的配置文件。

确保在提交时，连接到的JobManager地址和端口与您在YARN会话中设置的一致。

如果YARN集群内部署了防火墙或者网络策略，也需要确认该端口在网络层面是开放的。此外，请检查Hadoop和YARN的相关日志，以获取更详细的错误信息和诊断线索。