老哥们好,jar包提交到yarn,报了这个错,idea运行没问题,standalone的sessio

老哥们好,jar包提交到yarn,报了这个错,idea运行没问题,standalone的session模式提交没问题,但是提交到yarn上报这个错,原因是提交到yarn上执行不能有两个excute的动作,如果分开写正常运行,但是独立部署提交也可以正常运行,现在还是想不动代码,不想把这他们分开写,这个问题是否无解呢?678问.png 678问问.png

展开
收起
游客3oewgrzrf6o5c 2022-06-30 15:15:03 514 分享 版权
1 条回答
写回答
取消 提交回答
  • 十分耕耘,一定会有一分收获!

    楼主你好,根据您的描述,您的应用程序似乎没有处理YARN的会话状态管理,这可能导致在提交到YARN集群时出现问题。如果您的应用程序没有适当处理会话状态管理,可能会导致在YARN上运行时多个Execute的冲突。

    为了解决这个问题,您可以尝试一些步骤:

    1. 确保您的应用程序已正确地实现了会话状态管理。例如,使用Flink的状态后端来管理分布式状态,以确保在YARN上运行时只有一个Excute。

    2. 您可以尝试将应用程序的并行度设置为1。这将确保应用程序只有一个Execute,并避免在YARN上运行时出现冲突。

    3. 您还可以尝试调整应用程序的配置文件,以确保应用程序在YARN上运行时仅有一个Execute。

    总之,您的应用程序需要正确处理会话状态管理,以确保在YARN上正确运行。

    2023-07-31 09:21:05
    赞同 展开评论

实时计算Flink版是阿里云提供的全托管Serverless Flink云服务,基于 Apache Flink 构建的企业级、高性能实时大数据处理系统。提供全托管版 Flink 集群和引擎,提高作业开发运维效率。

收录在圈子:
实时计算 Flink 版(Alibaba Cloud Realtime Compute for Apache Flink,Powered by Ververica)是阿里云基于 Apache Flink 构建的企业级、高性能实时大数据处理系统,由 Apache Flink 创始团队官方出品,拥有全球统一商业化品牌,完全兼容开源 Flink API,提供丰富的企业级增值功能。
还有其他疑问?
咨询AI助理