CDC是直接连接数据库的,那要是数据同步使用CDC建立了很多连接,那会对数据库造成很大的压力吗?

目前CDC有类似于source合并的功能吗

展开
收起
游客6vdkhpqtie2h2 2022-09-02 11:27:51 417 分享 版权
阿里云 AI 助理回答

是的,实时计算Flink版本支持MySQL CDC Source复用功能,这相当于一种Source合并机制。当同一个作业中配置了多个MySQL CDC源表,并且这些源表位于同一个数据库实例中时,可以开启Source复用以减少对数据库的压力。

启用方法: 在SQL作业中使用以下命令开启Source复用功能:

SET 'table.optimizer.source-merge.enabled' = 'true';

注意事项: - 适用条件:此功能仅适用于VVR 8.0.7及以上版本,并且要求不同的CDC源表配置项除了数据库、表名和server-id外的其他配置项均相同。 - 重启要求:对已有作业启用Source复用后,需要无状态启动,因为Source复用会导致作业拓扑改变,从原有作业状态启动可能会失败或丢失数据。 - 特定版本设置:在VVR 8.0.8及8.0.9版本中,还需额外设置SET 'sql-gateway.exec-plan.enabled' = 'false';。 - 优化建议:避免将作业配置项pipeline.operator-chaining设为false,以免增加序列化和反序列化的开销,尤其是在合并多个Source的情况下。

通过上述设置,系统会尽可能地将能够合并的MySQL CDC源表进行合并处理,从而优化资源使用并减轻数据库负担。

有帮助
无帮助
AI 助理回答生成答案可能存在不准确,仅供参考
0 条回答
写回答
取消 提交回答

实时计算Flink版是阿里云提供的全托管Serverless Flink云服务,基于 Apache Flink 构建的企业级、高性能实时大数据处理系统。提供全托管版 Flink 集群和引擎,提高作业开发运维效率。

收录在圈子:
实时计算 Flink 版(Alibaba Cloud Realtime Compute for Apache Flink,Powered by Ververica)是阿里云基于 Apache Flink 构建的企业级、高性能实时大数据处理系统,由 Apache Flink 创始团队官方出品,拥有全球统一商业化品牌,完全兼容开源 Flink API,提供丰富的企业级增值功能。
还有其他疑问?
咨询AI助理