目前CDC有类似于source合并的功能吗
版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。
是的,实时计算Flink版本支持MySQL CDC Source复用功能,这相当于一种Source合并机制。当同一个作业中配置了多个MySQL CDC源表,并且这些源表位于同一个数据库实例中时,可以开启Source复用以减少对数据库的压力。
启用方法: 在SQL作业中使用以下命令开启Source复用功能:
SET 'table.optimizer.source-merge.enabled' = 'true';
注意事项: - 适用条件:此功能仅适用于VVR 8.0.7及以上版本,并且要求不同的CDC源表配置项除了数据库、表名和server-id外的其他配置项均相同。 - 重启要求:对已有作业启用Source复用后,需要无状态启动,因为Source复用会导致作业拓扑改变,从原有作业状态启动可能会失败或丢失数据。 - 特定版本设置:在VVR 8.0.8及8.0.9版本中,还需额外设置SET 'sql-gateway.exec-plan.enabled' = 'false';
。 - 优化建议:避免将作业配置项pipeline.operator-chaining
设为false,以免增加序列化和反序列化的开销,尤其是在合并多个Source的情况下。
通过上述设置,系统会尽可能地将能够合并的MySQL CDC源表进行合并处理,从而优化资源使用并减轻数据库负担。
实时计算Flink版是阿里云提供的全托管Serverless Flink云服务,基于 Apache Flink 构建的企业级、高性能实时大数据处理系统。提供全托管版 Flink 集群和引擎,提高作业开发运维效率。