Flink-SQL 同步MySQL 数据 怎么设置并行度?

Flink-SQL 同步MySQL 数据 怎么设置并行度?

展开
收起
十一0204 2023-04-10 20:45:14 478 分享 版权
2 条回答
写回答
取消 提交回答
  • 意中人就是我呀!

    "建议在最外面设置,不要在sql里面设置。 此答案整理自钉群“Flink CDC 社区”"

    2023-04-12 08:48:51
    赞同 展开评论
  • 坚持这件事孤独又漫长。

    可以通过以下两种方式设置并行度:

    • 在创建 DataStreamSource 时,通过 setParallelism(int parallelism) 方法设置并行度。例如:
    DataStreamSource<Tuple2<Integer, String>> source = env.addSource(new JdbcReader())
        .setParallelism(3); // 设置并行度为3
    
    • 在 SQL 语句中使用 WITH 关键字设置并行度。例如:
    WITH (
      'connector' = 'jdbc',
      'url' = 'jdbc:mysql://localhost:3306/db',
      'table-name' = 'table',
      'username' = 'user',
      'password' = 'password',
      'parallelism' = '3'  -- 设置并行度为3
    ) 
    SELECT * FROM table
    

    注意,并行度的设置需要根据具体的场景和硬件环境进行调整。一般来说,并行度越大,处理性能越高,但同时也会增加资源消耗和调度复杂度。

    2023-04-11 09:02:13
    赞同 展开评论

实时计算Flink版是阿里云提供的全托管Serverless Flink云服务,基于 Apache Flink 构建的企业级、高性能实时大数据处理系统。提供全托管版 Flink 集群和引擎,提高作业开发运维效率。

收录在圈子:
实时计算 Flink 版(Alibaba Cloud Realtime Compute for Apache Flink,Powered by Ververica)是阿里云基于 Apache Flink 构建的企业级、高性能实时大数据处理系统,由 Apache Flink 创始团队官方出品,拥有全球统一商业化品牌,完全兼容开源 Flink API,提供丰富的企业级增值功能。
还有其他疑问?
咨询AI助理