在Flink中,可以通过设置ExecutionConfig
的parallelism
属性来控制Join操作的并行度。具体步骤如下:
StreamExecutionEnvironment
对象。StreamExecutionEnvironment
对象的getConfig()
方法返回的ExecutionConfig
对象。ExecutionConfig
对象的setParallelism()
方法来设置Join操作的并行度。ExecutionConfig
对象应用到Join操作上。示例代码如下:
// 创建StreamExecutionEnvironment对象
StreamExecutionEnvironment env = StreamExecutionEnvironment.getExecutionEnvironment();
// 获取ExecutionConfig对象
ExecutionConfig executionConfig = env.getConfig();
// 设置Join操作的并行度为10
executionConfig.setParallelism(10);
// 将配置好的ExecutionConfig对象应用到Join操作上
DataStream<Tuple2<String, Integer>> stream1 = ...; // 第一个数据流
DataStream<Tuple2<String, Integer>> stream2 = ...; // 第二个数据流
DataStream<Tuple2<String, Integer>> joinedStream = stream1.join(stream2)...; // Join操作
一:如果想通过DataStream对象,需要在提交job时通过StreamExecutionEnvironment#setParallelism(int parallelism)来设置整个job的并行度。
二:如果想针对一个join操作设置并行度,可以在join操作之前和之后分别设置,但是这种有可能失效,需要实时的观察一下。
可以通过设置 DataStream 的 parallelism 来为 join 操作设置并行度。并行度决定了 Flink 如何分配任务以及使用多少资源来执行这些任务。
在 Apache Flink 中,你可以通过以下步骤给 join 操作设置 parallelism:
StreamExecutionEnvironment
,这是 Flink 作业的执行环境。StreamExecutionEnvironment env = StreamExecutionEnvironment.getExecutionEnvironment();
setParallelism
方法:env.setParallelism(parallelism);
其中 parallelism
是你想要设置的并行度值。
setParallelism
方法来设置并行度:DataStream<T> joinedStream = stream1.join(stream2)
.where(new KeySelector<T, K> {...})
.equalTo(new KeySelector<T, K> {...})
.window(...)
.apply(new JoinFunction<T, T, R> {...})
.setParallelism(joinParallelism);
在这个例子中,joinParallelism
是你为 join 算子设置的并行度。
ExecutionConfig
并在其上设置并行度:ExecutionConfig executionConfig = env.getConfig();
executionConfig.setParallelism(parallelism);
这将设置所有未显式设置并行度的算子的并行度。
在Flink中,你可以通过以下方法为join操作设置并行度:
ExecutionEnvironment env = ExecutionEnvironment.getExecutionEnvironment();
env.setParallelism(parallelism);
StreamExecutionEnvironment env = StreamExecutionEnvironment.getExecutionEnvironment();
env.createInputFormat(MyInputFormat.class, MyPOJO.class).setParallelism(parallelism);
DataStream<MyPOJO> dataStream = env.fromElements(...);
dataStream.assignTimestampsAndWatermarks(new MyTimestampAssigner()).setParallelism(parallelism);
dataStream.transform("Join", TypeInformation.of(MyPOJO.class), new MyJoinFunction()).setParallelism(parallelism);
注意:这些方法设置的并行度只对当前操作有效,不会影响到其他操作。如果你希望在整个Flink作业中使用相同的并行度,可以在创建ExecutionEnvironment时设置全局并行度。
并行度的设置
在 Flink 中,可以用不同的方法来设置并行度,它们的有效范围和优先级别也是不同的。
(1)代码中设置,我们在代码中,可以很简单地在算子后跟着调用 setParallelism()方法,来设置当前算子的并行度:
stream.map((_,1)).setParallelism(2)
这种方式设置的并行度,只针对当前算子有效。另外,我们也可以直接调用执行环境的 setParallelism()方法,全局设定并行度:
env.setParallelism(2)
这样代码中所有算子,默认的并行度就都为 2 了。我们一般不会在程序中设置全局并行度,因为如果在程序中对全局并行度进行硬编码,会导致无法动态扩容。这里要注意的是,由于 keyBy()方法返回的不是算子,所以无法对 keyBy()设置并行度。
(2)提交作业时设置
在使用 flink run 命令提交作业时,可以增加-p 参数来指定当前应用程序执行的并行度,它的作用类似于执行环境的全局设置:
bin/flink run –p 2 –c com.atguigu.wc.StreamWordCount
./FlinkTutorial-1.0-SNAPSHOT.jar
如果我们直接在 Web UI 上提交作业,也可以在对应输入框中直接添加并行度。
(3)配置文件中设置
我们还可以直接在集群的配置文件 flink-conf.yaml 中直接更改默认并行度:
parallelism.default: 2
这个设置对于整个集群上提交的所有作业有效,初始值为 1。无论在代码中设置、还是提交时的-p 参数,都不是必须的。所以,在没有指定并行度的时候,就会采用配置文件中的集群默认并行度
参考:Apache Flink 并行度 Parallelismhttps://blog.csdn.net/lucklilili/article/details/128421426
版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。
实时计算Flink版是阿里云提供的全托管Serverless Flink云服务,基于 Apache Flink 构建的企业级、高性能实时大数据处理系统。提供全托管版 Flink 集群和引擎,提高作业开发运维效率。