flink yarn-per-job提交这个是什么问题吗,主机端口都是正常的,就报了拒绝连接?
一提交到yarn就报这个错,然后失败,提交命令 flink run -t yarn-per-job -c app.dwm.UVFilterDetail /root/gmall_flink/flink_app/gmall-start-try-self-do-1.0-SNAPSHOT-jar-with-dependencies.jar,yarn-session提交是正常的,就per-job有问题?
Apache Flink 在 YARN 上使用 per-job 模式提交作业时,出现“Connection to http://cnym:35796 refused”这样的错误通常意味着客户端尝试连接到 YARN ResourceManager 或 NodeManager (在这个例子中是 cnym 主机上的 35796 端口)失败,原因可能是以下几点:
网络问题:Flink 客户端无法通过网络连接到指定的 YARN ResourceManager 或 NodeManager。检查两台机器之间是否可以正常通信,包括防火墙设置、安全组规则以及网络连通性。
YARN ResourceManager 不可达:确认 cnym 主机上 YARN ResourceManager 是否正在运行并且监听在 35796 端口。默认情况下,ResourceManager 的端口号不是 35796,而是 8088(对于HTTP接口),或者是 8032(对于RPC接口)。请核实实际配置。
配置错误:检查 Flink 配置中关于 YARN 端点的设置是否正确。如果您手动指定了非标准端口,确保这些端口在 YARN 集群配置中也相应地被更新了。
YARN 服务异常:确保 YARN 集群本身处于健康状态且无任何节点故障或资源不足的情况。
版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。
实时计算Flink版是阿里云提供的全托管Serverless Flink云服务,基于 Apache Flink 构建的企业级、高性能实时大数据处理系统。提供全托管版 Flink 集群和引擎,提高作业开发运维效率。