开发者社区> 问答> 正文

对比常见的开源 CDC 方案,Flink CDC的优势有哪些?

已解决

对比常见的开源 CDC 方案,Flink CDC的优势有哪些?

展开
收起
詹姆斯邦德00 2022-10-17 11:08:55 1452 0
1 条回答
写回答
取消 提交回答
  • 推荐回答

    image.png

    对比增量同步能力,基于日志的方式,可以很好的做到增量同步;而基于查询的方式是很难做到增量同步的。

    对比全量同步能力,基于查询或者日志的 CDC 方案基本都支持,除了 Canal。

    而对比全量 + 增量同步的能力,只有 Flink CDC、Debezium、Oracle Goldengate支持较好。

    从架构角度去看,该表将架构分为单机和分布式,这里的分布式架构不单纯体现在数据读取能力的水平扩展上,更重要的是在大数据场景下分布式系统接入能力。例如 Flink CDC 的数据入湖或者入仓的时候,下游通常是分布式的系统,如 Hive、HDFS、Iceberg、Hudi 等,那么从对接入分布式系统能力上看,Flink CDC 的架构能够很好地接入此类系统。

    在数据转换 / 数据清洗能力上,当数据进入到 CDC 工具的时候是否能较方便的对数据做一些过滤或者清洗,甚至聚合?在 Flink CDC 上操作相当简单,可以通过Flink SQL 去操作这些数据;但是像 DataX、Debezium 等则需要通过脚本或者模板 去做,所以用户的使用门槛会比较高。

    另外,在生态方面,这里指的是下游的一些数据库或者数据源的支持。FlinkCDC 下游有丰富的 Connector,例如写入到 TiDB、MySQL、Pg、HBase、Kafka、ClickHouse 等常见的一些系统,也支持各种自定义 connector。

    以上内容摘自《企业级云原生白皮书项目实战》电子书,点击https://developer.aliyun.com/ebook/download/7774可下载完整版

    2022-10-17 19:13:24
    赞同 展开评论 打赏
来源圈子
更多
收录在圈子:
阿里云开发者社区官方技术圈,用户产品功能发布、用户反馈收集等。
问答排行榜
最热
最新

相关电子书

更多
Flink CDC Meetup PPT - 龚中强 立即下载
Flink CDC Meetup PPT - 王赫 立即下载
Flink CDC Meetup PPT - 覃立辉 立即下载