开发者社区 > 大数据与机器学习 > 实时计算 Flink > 正文

请问我在web端,构造了一个yarn client ,但是yarn client 构建的时候是直接加

请问我在web端,构造了一个yarn client ,但是yarn client 构建的时候是直接加载了 yarn-site.xml,然后里面有2个resourceManager地址,我现在发现一段时间后会报错这个,看起来是yarn resourceManager主备切换了 然后就连不上了,这个是为什么? 我看配置是加载了2个地址的,为啥创建的YarnClient不会自动连接正常的?864问.png

展开
收起
游客3oewgrzrf6o5c 2022-07-04 16:32:17 245 0
1 条回答
写回答
取消 提交回答
  • 十分耕耘,一定会有一分收获!

    楼主你好,可能是因为构建YarnClient时只加载了一组ResourceManager地址,没有实现ResourceManager主备切换。建议在代码中添加ResourceManager主备切换的逻辑,例如使用Zookeeper实现ResourceManager的选举和切换。这样即使ResourceManager主备切换了,YarnClient也能够自动连接正常的ResourceManager。另外还可以考虑使用YARN HA(High Availability)特性,将ResourceManager配置为高可用模式,这样也能够实现主备切换。

    2023-08-22 16:56:00
    赞同 展开评论 打赏

实时计算Flink版是阿里云提供的全托管Serverless Flink云服务,基于 Apache Flink 构建的企业级、高性能实时大数据处理系统。提供全托管版 Flink 集群和引擎,提高作业开发运维效率。

相关电子书

更多
Web应用系统性能优化 立即下载
Docker on Yarn 微服务实践 立即下载
深度学习+大数据-TensorFlow on Yarn 立即下载