AI 助理
备案控制台
开发者社区 大数据与机器学习 实时计算 Flink 正文

mysql cdc 动态加表，数据量千万级的表，全量完事之后不增量了？

mysql cdc 动态加表，数据量千万级的表，全量完事之后不增量了？

展开
收起
真的很搞笑 2023-08-23 16:59:36 111 分享 版权

版权声明：本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。

1 条回答
写回答
取消 提交回答
  • 芯在这

    可以先确认下checkpoint开启了么，然后看下JM日志里面有BinlogSplit分配的相关日志吗，分配到BInlogSplit的TM thread dump看下，在忙什么呢，还有就是show master status，看下mysql 的binlog位点正常更新呢吗，此回答整理自钉群“Flink CDC 社区”

    2023-08-23 17:09:51
    赞同 展开评论
问答分类：
关系型数据库 MySQL 云数据库 RDS MySQL 版
问答标签：
云数据库 RDS MySQL 版数据量 云数据库 RDS MySQL 版全量 云数据库 RDS MySQL 版增量 云数据库 RDS MySQL 版cdc 云数据库 RDS MySQL 版表
问答地址：
开发者社区 > 大数据与机器学习 > 实时计算 Flink > 问答
相关问答
实时计算 Flink版
DBS MySQL逻辑备份的数据量与数据库中显示的数据量不一致
118
1
0
RDS数据全量恢复时为什么显示比数据备份大很多
53
1
0
DTS MySQL全量迁移对源库影响
55
1
0
DTS支持mysql mixed模式做全量与增量吗
69
1
0
在dataworks上需要判断mysql数据量来决定下游节点是否运行？
73
1
0
可不可以启动flinkcdc 读 mysql时，只读取启动时刻该表的全量数据快照进行同步？
76
0
0
在Flink CDC中，mysql有个150g的数据，全量同步的话，有啥优化点吗？
67
1
0
在MySQL之间的全量同步和全量迁移过程中，数据复制源端内容是如何实现的？
25
0
0
在Flink CDC中MySQL 整库同步 Kafka，不支持动态加表功能吗？
109
1
0
部署在阿里云上的 MySQL 数据库如何增量或者全量同步到阿里云托管的 paimon ？
99
2
0
大数据与机器学习

实时计算 Flink

实时计算Flink版是阿里云提供的全托管Serverless Flink云服务，基于 Apache Flink 构建的企业级、高性能实时大数据处理系统。提供全托管版 Flink 集群和引擎，提高作业开发运维效率。

我要提问

相关文章

  • 【免费动手教程上线】阿里云RDS MySQL推出大容量高性能存储：高性能本地盘（最高16TB存储空间）、高性能云盘（最高64TB存储空间）
  • 客户说｜保险极客引入阿里云AnalyticDB，多业务场景效率大幅提升
  • Flink CDC 3.4 发布, 优化高频 DDL 处理，支持 Batch 模式，新增 Iceberg 支持
  • MySQL日志分析：binlog、redolog、undolog三大日志的深度探讨。
  • PolarDB for AI：客户案例与最佳实践分享

    • 热门讨论

    热门文章

  • Flink CDC任务从savepoint/checkpoints状态中恢复作业错误问题
  • 如何用实时数据同步打破企业数据孤岛？
  • 请问下大家有没有遇到过这个错:Caused by: java.lang.ClassNotFoundE
  • Apache Flink未授权访问上传导致的RCE漏洞，这个漏洞目前方案解决吗？
  • PyFlink有什么优势吗？
  • FlinkCDC MySQL 中 scan.startup.mode 用的是什么模式啊？
  • Flink默认先全量再增量同步，全量时会对checkpoint上锁，导致请求检查点时失败，任务重启
  • flink web dashboard未授权访问漏洞，怎么处理呢？
  • 请问flink-connector-jdbc在sink时，如何设置批量写入？
  • Slot request bulk is not fulfillable，20以上job同时部署失败
    • 展开全部
  • 数据仓库介绍与实时数仓案例
  • 权威详解 | 阿里新一代实时计算引擎 Blink，每秒支持数十亿次计算
  • Flink SQL 功能解密系列 —— 维表 JOIN 与异步优化
  • 通过Flink实时构建搜索引擎的索引
  • 流计算精品翻译: The Dataflow Model
  • 广告场景下的实时计算
  • 基于Flink的实时日志分析系统实践
  • 使用 Kafka 和 Flink 构建实时数据处理系统
  • Flink: 实时规则引擎助力新零售发展
  • 基于实时计算（Flink）与高斯模型构建实时异常检测系统
    • 展开全部
    还有其他疑问?
    咨询AI助理