基于FlinkCDC实现海量数据的实时同步和转换徐榜江(雪尽)FlinkCDCMaintainer&ApacheFlinkCommitter2022-5-21CONTENTFlinkCDC技术0102传统数据集成方案的痛点03基于FlinkCDC实现海量数据的实时同步和转换04FlinkCDC社区发展目录>>#1FlinkCDC技术CDC技术业界CDC的技术方案非常多,从原理上可以分为两大类:Ø基于查询的CDC离线调度查询作业,批处理无法保障数据一致性不保障实时性Ø基于日志的CDC实时消费日志,流式处理保障数据一致性提供实时数据FlinkCDCDebeziumDataXCanalSqoopkettleOracle GoldengateCDC机制日志日志查询日志查询查询日志增量同步断点续传全量同步全量+增量架构分布式单机单机单机分布式分布式分布式Transformation生态常⻅开源CDC方案对比FlinkCDC技术)OLQN&'&山䗁䪤寸⤷扨㘉㐇ⰷ㚏ẙ劍ダや䈀∁扨㘉㐇FlinkCDC技术)OLQN&'&山䗁䪤寸⤷扨㘉㐇ⰷ㚏ẙ劍ダや䈀∁扨㘉㐇FlinkCDC技术)OLQN&'&山䗁䪤寸
收起右侧 展开右侧
Flink CDC Meetup PPT - 徐榜江 > 基于 Flink CDC 实现海量数据的实时同步和转换|徐榜江
  • 提到的云产品
    实时计算Flink版

      实时计算Flink版(Alibaba Cloud Realtime Compute for Apache Flink,Powered by Ververica)是阿里云基于 Apache Flink 构建的企业级、高性能实时大数据处理系统,由 Apache Flink 创始团队官方出品,拥有全球统一商业化品牌,完全兼容开源 Flink API,提供丰富的企业级增值功能。

      https://www.aliyun.com/product/bigdata/sc

  • 读书笔记
    我的笔记
    暂无相关笔记,快来写一篇吧!
点击浏览下一章>>