Blink Planner如何构建远程集群呢？
过去在ide中想连接远程flink集群可以 ExecutionEnvironment.createRemoteEnvironment()
官网Blink构建方式是:
val bbSettings = EnvironmentSettings.newInstance().useBlinkPlanner().inBatchMode().build() val bbTableEnv = TableEnvironment.create(bbSettings)
请问如何连接远程集群呢？
来自志愿者整理的flink邮件归档来自志愿者整理的FLINK邮件归档
写回答
-
第一点，限制最大slot的申请数量，千呼万唤终于在1.11有了这个feature.[1] 配置ResourceManagerOptions.MAX_SLOT_NUM(slotmanager.number-of-slots.max). 1.11即将发布。
第二点， 2.1 Batch作业默认是全blocking的边，所以Slot share是不生效的，在1.11会有更灵活的边配置：[2] 2.2 关于slotsharingGroup，两个source 在batch的配置下，是无法slotsharing的，这是由于table的batch主动配置的。[3]
[1]https://issues.apache.org/jira/browse/FLINK-16605 [2] https://ci.apache.org/projects/flink/flink-docs-master/dev/table/config.html#table-exec-shuffle-mode [3] https://github.com/apache/flink/blob/1276fa655ba46808807dd7ffef169ae1ff51a41d/flink-streaming-java/src/main/java/org/apache/flink/streaming/api/graph/StreamGraph.java#L226
来自志愿者整理的flink邮件归档来自志愿者整理的FLINK邮件归档
2021-12-05 11:09:40赞同 展开评论 打赏
版权声明：本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。
相关电子书
更多
