开发者社区 > 大数据与机器学习 > 开源大数据平台 E-MapReduce > 正文

非侵入式的CDC方案是什么?

非侵入式的CDC方案是什么?

展开
收起
Lee_tianbai 2021-01-07 16:21:20 1445 0
1 条回答
写回答
取消 提交回答
  • 非侵入性一般通过日志的方式记录数据源的数据变化(如数据库的 binlog),源库需要开 启 binlog 的功能。数据源的每次操作都会被记录到 binlog 中(如 insert/update/delete 等), 能够实时跟踪数据插入/删除/数据多次更新/DDL 操作等。 示例:

    insert into table testdb.test values("hangzhou",1);
    update testdb.test set b=2 where a="hangzhou";
    update testdb.test set b=3 where a="hangzhou";
    delete from testdb.test where a="hangzhou";
    

    image.png

    通过将 binlog 日志有序的回放到目标存储中,从而实现对数据源的数据导出同步功能。

    2021-01-07 16:21:57
    赞同 展开评论 打赏

阿里云EMR是云原生开源大数据平台,为客户提供简单易集成的Hadoop、Hive、Spark、Flink、Presto、ClickHouse、StarRocks、Delta、Hudi等开源大数据计算和存储引擎,计算资源可以根据业务的需要调整。EMR可以部署在阿里云公有云的ECS和ACK平台。

相关电子书

更多
PostgresChina2018_汪洋_PG之高可用特性、工具及架构设计 立即下载
分布式流处理框架——功能对比和性能评估 立即下载
基于HLO的全自动分布式系统—TePDist 立即下载