常见的 CDC 方案实现之binlog 实时同步是什么?-问答-阿里云开发者社区-阿里云

开发者社区> 问答> 正文

常见的 CDC 方案实现之binlog 实时同步是什么?

Lee_tianbai 2021-01-07 16:25:07 688

常见的 CDC 方案实现之binlog 实时同步是什么?

ast实时 实时是什么 cdc常见是什么 什么是实时 cdc同步
分享到
取消 提交回答
全部回答(1)
  • Lee_tianbai
    2021-01-07 16:25:39

    binlog 日志可以通过一些工具实时同步到 kafka 等消息中间件中,然后通过 Spark/Flink 等流引擎实时的回放 binlog 到目标存储(如 Kudu/HBase 等)。

    image.png

    缺点:

     Kudu/HBase 运维成本高

     Kudu 在数据量大的有稳定性问题, HBase 不支持高吞吐的分析

     Spark Streaming 实现回放 binlog 逻辑复杂,使用 java/scala 代码具有一定门槛

    0 0
+ 订阅

阿里巴巴开源大数据技术团队成立阿里云EMR技术圈, 每周推送前沿技术文章,直播分享经典案例、在线答疑,营造纯粹的开源大数据氛围,欢迎加入!加入钉钉群聊阿里云E-MapReduce交流2群,点击进入查看详情 https://qr.dingtalk.com/action/joingroup?code=v1,k1,cNBcqHn4TvG0iHpN3cSc1B86D1831SGMdvGu7PW+sm4=&_dt_no_comment=1&origin=11

推荐文章
相似问题
最新问题
官网链接