AI 助理
备案控制台
开发者社区 问答 正文

小米在实时数据集成中，对DB的Binlog数据收集做了哪些改进？

小米在实时数据集成中，对DB的Binlog数据收集做了哪些改进？

展开
收起
不吃核桃 2024-08-19 14:45:00 64 分享 版权

版权声明：本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。

1 条回答
写回答
取消 提交回答
  • 格格的阿里云

    小米在实时数据集成中，对DB的Binlog数据收集进行了改进。原先使用自研的LCS Binlog服务收集Binlog数据到消息队列中，再由Spark Streaming任务转储到其他系统。现在，小米使用Flink CDC直接收集Binlog数据并写入消息队列中，同时通过Flink将消息队列中的数据转储到Kudu、Doris、Iceberg等其他系统，实现了全链路的实时数据处理。
    image.png

    2024-08-19 19:55:21
    赞同 3 展开评论
问答分类：
数据集成 Data Integration
问答标签：
数据集成binlog
问答地址：
开发者社区 > 云计算 > 问答
相关问答
在流批混合的数据集成中，为什么选择按库级别而非表级别收集Binlog数据？
82
1
0
DataWorks数据集成的实时同步，binlog抽取每次1000条是固定的嘛？
97
1
0
dataworks 数据集成实时抽取可以读分库分表的binlog吗？
334
1
0
flink-cdc 在抽取mysql binlog，运行一段时间 source 就报java.uti
1179
3
0
请问 flinkcdc的时候 checkpoints里的mysql binlog pos不变吗？
746
10
0
大佬们，cdc mysql 可以获取binlog，binlog模式必须是row吗？
944
1
0
我的mysql的binlog已经开启了 但是flink cdc的打印显示没有读取到binlog文件，
989
0
0
有没有遇到同步MySQL一直卡在某个binlog文件？数据库已经确认后续的binlog都生成了 io
852
0
0
请问下Flink CDC datastream 采集mysql binlog数据，如何每次重启的时候
692
0
0
使用flink cdc官方案例，读取mysql binlog日志 到 flink，为何没有输出？
2063
1
0