常见的 CDC 方案实现之binlog 实时同步是什么?-问答-阿里云开发者社区-阿里云

开发者社区> Lee_tianbai> 正文

常见的 CDC 方案实现之binlog 实时同步是什么?

来自:阿里云EMR 2021-01-07 16:25:07 723 1

常见的 CDC 方案实现之binlog 实时同步是什么?

取消 提交回答
全部回答(1)
  • Lee_tianbai
    2021-01-07 16:25:39

    binlog 日志可以通过一些工具实时同步到 kafka 等消息中间件中,然后通过 Spark/Flink 等流引擎实时的回放 binlog 到目标存储(如 Kudu/HBase 等)。

    image.png

    缺点:

     Kudu/HBase 运维成本高

     Kudu 在数据量大的有稳定性问题, HBase 不支持高吞吐的分析

     Spark Streaming 实现回放 binlog 逻辑复杂,使用 java/scala 代码具有一定门槛

    0 0
相关问答

3

回答

怎样进钉钉2个群

游客6bdmn27yntop2 2020-03-12 13:30:20 3463浏览量 回答数 3

2

回答

阿里云云原生数据库是什么,有什么作用?

Lee_tianbai 2021-01-07 15:15:47 821浏览量 回答数 2

1

回答

如果开传奇,同时在线4-5个版本需要什么配置云服务器多少带宽

木茶 2020-10-09 20:01:18 996浏览量 回答数 1

2

回答

什么是数据湖?

Lee_tianbai 2021-01-07 15:17:49 709浏览量 回答数 2

1

回答

数据湖要解决的三大问题是什么?

Lee_tianbai 2021-01-07 16:35:06 793浏览量 回答数 1

1

回答

阿里云DataWorks是如何解决元数据管理问题的?

Lee_tianbai 2021-01-07 16:36:21 1186浏览量 回答数 1

1

回答

阿里云DataWorks是如何解决数据集成问题的?

Lee_tianbai 2021-01-07 16:37:07 821浏览量 回答数 1

1

回答

阿里云DataWorks是如何解决数据开发问题的?

Lee_tianbai 2021-01-07 16:38:51 875浏览量 回答数 1

2

回答

Delta Lake是什么?

Lee_tianbai 2021-01-07 16:31:19 675浏览量 回答数 2

1

回答

为什么说数据湖是大数据和 AI 时代融合存储和计算的全新体系?

Lee_tianbai 2021-01-07 15:09:16 784浏览量 回答数 1
+关注
0
文章
1008
问答
来源圈子
更多
E-MapReduce是构建于阿里云ECS弹性虚拟机之上,利用开源大数据生态系统,包括Hadoop和Spark,为用户提供集群、作业、数据等管理的一站式大数据处理分析服务。加入钉钉群聊阿里云E-MapReduce交流2群,点击进入查看详情 https://qr.dingtalk.com/action/joingroup?code=v1,k1,cNBcqHn4TvG0iHpN3cSc1B86D1831SGMdvGu7PW+sm4=&_dt_no_comment=1&origin=11
+ 订阅
相关电子书
更多
文娱运维技术
立即下载
《SaaS模式云原生数据仓库应用场景实践》
立即下载
《看见新力量:二》电子书
立即下载