AI 助理
备案控制台
开发者社区 问答 正文

在 MySQL 中监控多表并使用 SQL 写入 Hudi 表时，如何简化为单 job 同步整库？

在 MySQL 中监控多表并使用 SQL 写入 Hudi 表时，会生成多个 job，如何简化为单 job 同步整库？

展开
收起
花开富贵111 2024-08-19 14:45:00 45 分享 版权

版权声明：本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。

1 条回答
写回答
取消 提交回答
  • 冲冲冲c

    我们基于 GTID（Global Transaction Identifier）的方式对 Flink CDC 进行了扩展，支持在任务中动态新增表，且不会影响其他已存在表的采集进度。这样，你可以使用单个 Flink CDC job 来同步整个 MySQL 数据库，而无需为每个表单独设置 job。

    2024-08-19 16:15:52
    赞同 2 展开评论
问答分类：
监控 关系型数据库 MySQL SQL 云数据库 RDS MySQL 版
问答标签：
云数据库 RDS MySQL 版sql SQL库 云数据库 RDS MySQL 版同步 云数据库 RDS MySQL 版库 监控SQL
问答地址：
开发者社区 > 数据库 > 问答
相关问答
在Flink CDC中flink job mysql->kafka为啥管理界面看不到记录处理条数？
70
1
0
优炫数据库，数据集sql定义 执行时，druid 库报错
248
0
0
在selectDB中，同一个sql查询中可以有多个库吗？
69
1
0
PolarDB两个测试库，在执行同一个sql其中一个命中了索引，为什么另一个不能？
63
0
0
nacos数据库mysql帮忙给一份建库sql？
309
1
0
如何设置MySQL的performance_schema以监控MDL锁的获取情况？
67
1
0
云数据仓库ADB Spark SQL访问MaxCompute数据源-支持的库表操作
93
1
0
Flink现在是直接通过sql作业里的同步模版就能实现两个库之间的实时数据同步么？
54
1
0
Flink CDC从mysql到doris，Flink Job提交后，数据会立即同步这个会是啥原因？
60
0
0
PolarDB业务有这样的sql，关了读请求，还会一直发主库是吗？
61
1
0