hi,请教一下: 场景:本地使用YarnClusterDescriptor的deployJobCluster方法,提交JobGraph以yarnPer的模式运行到yarn集群。
问题:通过YarnClusterDescriptor的构造器,传入flinkConfiguration配置(在flinkConfiguration中设置dynamicProperties),并不能生效。
之前,使用flink-1.8.1,通过AbstractYarnClusterDescriptor的deployJobCluster进行作业部署提交。而AbstractYarnClusterDescriptor有setDynamicPropertiesEncoded方法,可以传入通过@@拼接后的动态参数。
那么1.11.2版本的,应该如何传入?
来自志愿者整理的flink邮件归档
看FlinkYarnSessionCli代码: final Configuration configuration = applyCommandLineOptionsToConfiguration(cmd); final ClusterClientFactory yarnClusterClientFactory = clusterClientServiceLoader.getClusterClientFactory(configuration); configuration.set(DeploymentOptions.TARGET, YarnDeploymentTarget.SESSION.getName());
final YarnClusterDescriptor yarnClusterDescriptor = (YarnClusterDescriptor) yarnClusterClientFactory.createClusterDescriptor(configuration);
动态参数也是解析成key、value,传给configuration,最后在YarnClusterClientFactory工厂类里面创建YarnClusterDescriptor对象。
所以,当前动态参数设置不生效是bug,还是哪里使用姿势不对。有大佬能解答一下吗
版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。