Flink CDC中flinksql 中没找到对应的并行度配置, datastream 中倒是有?
在Flink SQL中,并行度可以通过调用setParallelism()函数来配置。例如,如果你想要将流的并行度设置为4,可以在创建表源或者表 sink时调用如下函数:
CREATE TABLE MyTable (
...
) WITH (
'connector' = ...,
'format' = ...,
'update-mode' = 'append',
...
)
.setParallelism(4)
如果你想要更改整个流的并行度,可以在流的开始处添加如下语句:
SET parallelism=4;
需要注意的是,如果在 Flink SQL中同时指定了并行度和执行环境的并行度,则最终的并行度将会是两者之间的最小值。
而在DataStream API中,并行度可以通过DataStream.setParallelism()函数来配置。如果未显式指定并行度,则默认为1。
是的,Flink SQL和DataStream API在处理并行度问题时方式是不同的。
在Flink SQL中,并行度是由Flink任务自动管理的,你不需要显式地设置。Flink会根据你的数据源和目标表的分区信息,以及Flink任务的并行度,自动地将数据分发到不同的并行执行线程进行处理。
而在DataStream API中,你需要显式地设置并行度。你可以通过调用setParallelism()
方法来设置Flink任务的并行度。
版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。
实时计算Flink版是阿里云提供的全托管Serverless Flink云服务,基于 Apache Flink 构建的企业级、高性能实时大数据处理系统。提供全托管版 Flink 集群和引擎,提高作业开发运维效率。