Flink CDC有谁做过sqlserver端的cdc读取速度的优化吗?每分钟现在150wan条,提升不上去了
Flink CDC SQLServer 端的 CDC读取速度可以通过以下方式进行优化:
使用 cdc_enabled 表来限制 CDC 的启动范围
在 SQL Server 中使用列存储表
使用 Flink CDC 的批处理模式
使用 Flink CDC 的批处理模式,限制并行度
以下是具体说明:
使用 cdc_enabled 表来限制 CDC 的启动范围
可以使用 cdc_enabled 表来限制 CDC 的启动范围,这可以减少 CDC 的扫描范围,从而提高 CDC 的读取速度。
在 SQL Server 中使用列存储表
在 SQL Server 中使用列存储表可以提高 CDC 的读取速度,因为列存储表可以减少 CDC 扫描的记录数。
使用 Flink CDC 的批处理模式
Flink CDC 提供了批处理模式,可以提高 CDC 的读取速度。在批处理模式下,Flink CDC 会以批处理的方式处理 CDC 日志,这可以减少 CDC 的扫描次数。
使用 Flink CDC 的批处理模式,限制并行度
在使用 Flink CDC 的批处理模式时,可以限制并行度,这可以提高 CDC 的读取速度。限制并行度可以减少 CDC 处理的记录数,从而提高 CDC 的读取速度。
版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。
实时计算Flink版是阿里云提供的全托管Serverless Flink云服务,基于 Apache Flink 构建的企业级、高性能实时大数据处理系统。提供全托管版 Flink 集群和引擎,提高作业开发运维效率。