问题1:Flink CDC中并行度设置为1可以正常跑 但是设置并行度大于1的时候 就不能获取数据了 各位大佬遇到过吗 版本是2.4.1的。
问题2:设置并行度了怎么给soure指定id呢 ?
可能是由于以下原因之一引起的:
数据源限制:某些数据源可能对并行读取数据有限制。例如,某些数据库或消息队列可能限制每个连接的并发数。当并行度增加时,Flink CDC 使用更多的连接来读取数据,如果超过了数据源的限制,可能导致无法获取数据。
资源限制:并行度增加会增加系统的负载和资源消耗。如果你的 Flink 集群或计算资源不足以支持所设置的并行度,可能会导致无法获取数据。确保你的集群具有足够的计算资源(CPU、内存等)来处理所设置的并行度。
网络问题:并行度增加可能会增加网络通信的负载。如果你的网络带宽或延迟有限制,可能会导致无法获取数据。确保网络连接稳定,并具有足够的带宽来支持所设置的并行度。
解决这个问题的方法包括:
降低并行度:如果设置并行度大于 1 时无法获取数据,可以尝试将并行度降低到 1,以确保能够正常获取数据。逐渐增加并行度,直到达到一个可接受的并行度。
调整数据源配置:检查数据源的配置,确保它允许足够的并发连接数。例如,对于数据库,可以增加连接池的大小来支持更多的并发连接。
增加资源:如果你的集群资源有限,可以考虑增加资源来支持更高的并行度。可以增加计算节点的数量,或者调整每个节点的计算资源分配。
优化网络:如果网络带宽或延迟是问题所在,可以考虑优化网络连接。这可能包括增加带宽、减少网络延迟或优化网络拓扑结构。
"回答1:多并行度跑任务,需要和并行度相同的server-id数量,每个server-id唯一。
回答2:sql可以with参数里面加,也可以hints语法,ds代码在sourcebuild里面去.serverid(""xxxx-xxxx"")
此回答整理至钉群“Flink CDC 社区”。"
版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。
实时计算Flink版是阿里云提供的全托管Serverless Flink云服务,基于 Apache Flink 构建的企业级、高性能实时大数据处理系统。提供全托管版 Flink 集群和引擎,提高作业开发运维效率。