开发者社区 > 大数据与机器学习 > 实时计算 Flink > 正文

老哥们好,jar包提交到yarn,报了这个错,idea运行没问题,standalone的sessio

老哥们好,jar包提交到yarn,报了这个错,idea运行没问题,standalone的session模式提交没问题,但是提交到yarn上报这个错,原因是提交到yarn上执行不能有两个excute的动作,如果分开写正常运行,但是独立部署提交也可以正常运行,现在还是想不动代码,不想把这他们分开写,这个问题是否无解呢?678问.png 678问问.png

展开
收起
游客3oewgrzrf6o5c 2022-06-30 15:15:03 485 0
1 条回答
写回答
取消 提交回答
  • 十分耕耘,一定会有一分收获!

    楼主你好,根据您的描述,您的应用程序似乎没有处理YARN的会话状态管理,这可能导致在提交到YARN集群时出现问题。如果您的应用程序没有适当处理会话状态管理,可能会导致在YARN上运行时多个Execute的冲突。

    为了解决这个问题,您可以尝试一些步骤:

    1. 确保您的应用程序已正确地实现了会话状态管理。例如,使用Flink的状态后端来管理分布式状态,以确保在YARN上运行时只有一个Excute。

    2. 您可以尝试将应用程序的并行度设置为1。这将确保应用程序只有一个Execute,并避免在YARN上运行时出现冲突。

    3. 您还可以尝试调整应用程序的配置文件,以确保应用程序在YARN上运行时仅有一个Execute。

    总之,您的应用程序需要正确处理会话状态管理,以确保在YARN上正确运行。

    2023-07-31 09:21:05
    赞同 展开评论 打赏

实时计算Flink版是阿里云提供的全托管Serverless Flink云服务,基于 Apache Flink 构建的企业级、高性能实时大数据处理系统。提供全托管版 Flink 集群和引擎,提高作业开发运维效率。

相关电子书

更多
蚂蚁金服高级开发工程师萧恺:IDEA 插件开发入门教程 立即下载
Docker on Yarn 微服务实践 立即下载
深度学习+大数据-TensorFlow on Yarn 立即下载