flinkcdc 设置并行度4的时候老出现不能跑，换成1现在才正常，有知道这个并行度和什么有关系吗?
mysql to doris ，flinkcdc 设置并行度4的时候老出现不能跑，换成1现在才正常，有知道这个并行度和什么有关系吗?
版权声明：本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。
-
面对过去，不要迷离；面对未来，不必彷徨；活在今天，你只要把自己完全展示给别人看。
Flink CDC的并行度是指同时处理多个数据源的能力。设置较高的并行度可以提高数据处理的效率，但也会增加系统资源的消耗和潜在的竞争条件。
当设置并行度为4时出现问题，可能与以下因素有关：
资源限制：较高的并行度需要更多的计算资源（如CPU、内存等）。如果系统资源不足，可能会导致任务无法正常执行或出现错误。
数据源的特性：不同的数据源有不同的并发性能和吞吐量。如果数据源本身不支持高并发访问或者有其他限制，那么设置较高的并行度可能会导致问题。
反压机制：当数据源处理不过来请求时，可能会触发反压机制，即向消费者发送暂停信号以控制数据的流动。如果并行度过高，反压机制可能无法及时生效，导致任务无法正常运行。
因此，在设置并行度时，需要综合考虑系统资源、数据源特性以及实际需求。如果遇到问题，可以尝试逐步增加并行度，观察任务的执行情况，并根据具体情况进行调整。
2024-01-09 15:21:50赞同 展开评论 -
binlog只能单线程消费，你可以根据情况调整source之后的map和sink的并行度，把它们拆开 ，此回答整理自钉群“Flink CDC 社区”
2024-01-09 12:09:36赞同 展开评论
实时计算Flink版是阿里云提供的全托管Serverless Flink云服务，基于 Apache Flink 构建的企业级、高性能实时大数据处理系统。提供全托管版 Flink 集群和引擎，提高作业开发运维效率。