开发者社区 > 大数据与机器学习 > 实时计算 Flink > 正文

Flink CDC中并行度设置为1可以正常跑但设置并行度大于1时就不能获取数据,什么原因?

问题1:Flink CDC中并行度设置为1可以正常跑 但是设置并行度大于1的时候 就不能获取数据了 各位大佬遇到过吗 版本是2.4.1的。
0222d1e7ac4d2837cf139cd2dceb7622.png
问题2:设置并行度了怎么给soure指定id呢 ?

展开
收起
十一0204 2023-08-09 08:12:15 485 0
3 条回答
写回答
取消 提交回答
  • 麻烦请问一下 解决了吗 我是第一次全量数据同步完了 增量和修改就没同步了 并行度改为1就没问题

    2023-11-29 10:45:15
    赞同 展开评论 打赏
  • 北京阿里云ACE会长

    可能是由于以下原因之一引起的:

    数据源限制:某些数据源可能对并行读取数据有限制。例如,某些数据库或消息队列可能限制每个连接的并发数。当并行度增加时,Flink CDC 使用更多的连接来读取数据,如果超过了数据源的限制,可能导致无法获取数据。

    资源限制:并行度增加会增加系统的负载和资源消耗。如果你的 Flink 集群或计算资源不足以支持所设置的并行度,可能会导致无法获取数据。确保你的集群具有足够的计算资源(CPU、内存等)来处理所设置的并行度。

    网络问题:并行度增加可能会增加网络通信的负载。如果你的网络带宽或延迟有限制,可能会导致无法获取数据。确保网络连接稳定,并具有足够的带宽来支持所设置的并行度。

    解决这个问题的方法包括:

    降低并行度:如果设置并行度大于 1 时无法获取数据,可以尝试将并行度降低到 1,以确保能够正常获取数据。逐渐增加并行度,直到达到一个可接受的并行度。

    调整数据源配置:检查数据源的配置,确保它允许足够的并发连接数。例如,对于数据库,可以增加连接池的大小来支持更多的并发连接。

    增加资源:如果你的集群资源有限,可以考虑增加资源来支持更高的并行度。可以增加计算节点的数量,或者调整每个节点的计算资源分配。

    优化网络:如果网络带宽或延迟是问题所在,可以考虑优化网络连接。这可能包括增加带宽、减少网络延迟或优化网络拓扑结构。

    2023-08-13 17:33:54
    赞同 展开评论 打赏
  • 意中人就是我呀!

    "回答1:多并行度跑任务,需要和并行度相同的server-id数量,每个server-id唯一。
    回答2:sql可以with参数里面加,也可以hints语法,ds代码在sourcebuild里面去.serverid(""xxxx-xxxx"")
    此回答整理至钉群“Flink CDC 社区”。"

    2023-08-09 11:56:24
    赞同 展开评论 打赏

实时计算Flink版是阿里云提供的全托管Serverless Flink云服务,基于 Apache Flink 构建的企业级、高性能实时大数据处理系统。提供全托管版 Flink 集群和引擎,提高作业开发运维效率。

相关产品

  • 实时计算 Flink版
  • 相关电子书

    更多
    Flink CDC Meetup PPT - 龚中强 立即下载
    Flink CDC Meetup PPT - 王赫 立即下载
    Flink CDC Meetup PPT - 覃立辉 立即下载