开发者社区> 问答> 正文

flink on yarn session模式与yarn通信失败是什么问题? (job模式可以成功)

大佬们请教一下: 之前一直使用job模式来提交任务,可以顺利提交计算任务。最近有需求比较适合session模式来提交,按照论坛里的教程进行提交的时候,一直报错连接不上resource manage。观察启动log发现两种任务连接的resource manage不同,一个是正确的端口,一个一直请求本机端口。

session 模式启动log:

job 模式启动log:

想请教一下: 1.如何配置session 模式下的 resource manage 端口?

2.job 模式下假如我有一个8核taskmanage服务器A配置了16个slot。job 模式提交了一个并行度为5的任务分配到了服务器A,再通过job模式提交任务的话,就不能有任务分配到服务器A了。我有办法将剩下空闲的slot利用起来吗?或者是设计上就是对小规模的任务,减少信息传递来提升计算完成的时间?

来自志愿者整理的flink邮件归档

展开
收起
moonlightdisco 2021-12-01 10:30:52 1018 0
1 条回答
写回答
取消 提交回答
  • 第一个问题可以尝试在flink.conf 中配上jobmanager.rpc.address 和jobmanager.rpc.port

    2021-12-01 10:55:05
    赞同 展开评论 打赏
问答排行榜
最热
最新

相关电子书

更多
深度学习+大数据 TensorFlow on Yarn 立即下载
Docker on Yarn 微服务实践 立即下载
深度学习+大数据-TensorFlow on Yarn 立即下载