Flink CDC 3.0 中的CDC Pipeline Connectors只有MySQL吗?目前仅支持MySQL CDC 到 Doris / StarRocks 吗?
Flink CDC 3.0中的CDC Pipeline Connectors并不仅仅支持MySQL。Flink CDC支持多种数据库的变更数据捕获(CDC),包括但不限于MySQL、PostgreSQL、Oracle、MongoDB等。
在Flink CDC 3.0中,CDC Pipeline Connectors不仅仅是支持MySQL,它支持多种数据库的CDC采集。除了MySQL CDC Pipeline Connector以外,Flink还提供了Doris和StarRocks的Pipeline Connector。
MySQL CDC Pipeline Connector允许从MySQL数据库读取快照数据和增量数据,并提供端到端的整库数据同步能力。基于Flink CDC 3.0,我们可以构建MySQL到Doris的Streaming ELT作业,包含整库同步、表结构变更同步和分库分表同步的功能。同时,Flink CDC 3.0也支持将数据从MySQL流式传输到StarRocks。
具体来说,Flink CDC是基于数据库日志CDC(Change Data Capture)技术的实时数据集成框架,支持了全增量一体化、无锁读取、并行读取、表结构变更自动同步、分布式架构等高级特性。配合Flink优秀的管道能力和丰富的上下游生态,Flink CDC可以高效实现海量数据的实时集成。
版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。
实时计算Flink版是阿里云提供的全托管Serverless Flink云服务,基于 Apache Flink 构建的企业级、高性能实时大数据处理系统。提供全托管版 Flink 集群和引擎,提高作业开发运维效率。