开发者社区 > 大数据与机器学习 > 实时计算 Flink > 正文

Flink-SQL 同步MySQL 数据 怎么设置并行度?

Flink-SQL 同步MySQL 数据 怎么设置并行度?

展开
收起
十一0204 2023-04-10 20:45:14 301 0
2 条回答
写回答
取消 提交回答
  • 意中人就是我呀!

    "建议在最外面设置,不要在sql里面设置。 此答案整理自钉群“Flink CDC 社区”"

    2023-04-12 08:48:51
    赞同 展开评论 打赏
  • 坚持这件事孤独又漫长。

    可以通过以下两种方式设置并行度:

    • 在创建 DataStreamSource 时,通过 setParallelism(int parallelism) 方法设置并行度。例如:
    DataStreamSource<Tuple2<Integer, String>> source = env.addSource(new JdbcReader())
        .setParallelism(3); // 设置并行度为3
    
    • 在 SQL 语句中使用 WITH 关键字设置并行度。例如:
    WITH (
      'connector' = 'jdbc',
      'url' = 'jdbc:mysql://localhost:3306/db',
      'table-name' = 'table',
      'username' = 'user',
      'password' = 'password',
      'parallelism' = '3'  -- 设置并行度为3
    ) 
    SELECT * FROM table
    

    注意,并行度的设置需要根据具体的场景和硬件环境进行调整。一般来说,并行度越大,处理性能越高,但同时也会增加资源消耗和调度复杂度。

    2023-04-11 09:02:13
    赞同 展开评论 打赏

实时计算Flink版是阿里云提供的全托管Serverless Flink云服务,基于 Apache Flink 构建的企业级、高性能实时大数据处理系统。提供全托管版 Flink 集群和引擎,提高作业开发运维效率。

相关产品

  • 实时计算 Flink版
  • 相关电子书

    更多
    Flink CDC Meetup PPT - 龚中强 立即下载
    Flink CDC Meetup PPT - 王赫 立即下载
    Flink CDC Meetup PPT - 覃立辉 立即下载

    相关镜像