AI 助理
备案控制台
开发者社区 大数据与机器学习 实时计算 Flink 正文

在Flink CDC中取tidb 数据有数据丢失情况，这种问题有什么好的解决方法？

在Flink CDC中取tidb 数据有数据丢失情况，这种问题有什么好的解决方法？ tidb count: 62873640（千万级），同步到doris库就只有2719377（百万级），flink、tidb连接器版本如下：


com.ververica
flink-connector-tidb-cdc
2.2.1

1.13.0

展开
收起
花开富贵111 2024-06-05 11:42:01 122 分享 版权

版权声明：本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。

1 条回答
写回答
取消 提交回答
  • 冲冲冲c

    请参考链接：https://github.com/apache/flink-cdc/pull/1196 。修复了这个问题，不过是在 2.3 版本中才发布。2.3 版本也是支持 Flink 1.13 的，您可以尝试升级一下。此回答整理来自钉群“Flink CDC 社区 ① 群”。

    2024-06-05 15:34:41
    赞同 展开评论
问答分类：
流计算 实时计算 Flink版
问答标签：
实时计算 Flink版数据 实时计算 Flink版CDC 实时计算 Flink版cdc数据 实时计算 Flink版数据丢失 实时计算 Flink版数据数据丢失
问答地址：
开发者社区 > 大数据与机器学习 > 实时计算 Flink > 问答
相关问答
Flink CDC里tidb 支持exactly once 这个bug啥时修复？
82
0
0
Flink CDC里chatglm 怎么通过langchain调用tidb的啊 ？
73
0
0
对于Flink CDC，这个有人用过tidb 7.1.1版本？
118
0
0
flink cdc 3.1 有没有支持 tidb 作为source的？
92
0
0
在Flink CDC中如何能够将tidb的表同步到paimon？
114
0
0
flink报错 给的解决方法是 这个，但是rds又不支持 设置这几个参数 该怎么办啊？
103
0
0
Flink CDC中 sql server 部分最近发现一个问题，还有别的解决方法么？
99
0
0
对于Flink CDC，是否可以贡献tidb的source代码？
100
1
0
在Flink CDC中想利用FlinkCDC 做tidb 到doris 的全库同步,只能建立一个吗？
210
1
0
在Flink CDC中oracleCDC LogMiner同步慢有什么解决方法吗？
77
1
0
大数据与机器学习

实时计算 Flink

实时计算Flink版是阿里云提供的全托管Serverless Flink云服务，基于 Apache Flink 构建的企业级、高性能实时大数据处理系统。提供全托管版 Flink 集群和引擎，提高作业开发运维效率。

我要提问

相关文章

  • 抖音基于Flink的DataOps能力实践
  • 【无人机控制】基于TS模糊模型的非线性系统四旋翼无人机跟踪控制研究（Matlab代码实现）
  • 《数据中台隐性故障的排查逻辑与工程化避坑策略》
  • 数据当“安全带”：金融市场如何用大数据玩转风险控制？
  • 使用Koopman理论识别机器人动力学的非线性系统（Matlab代码实现）

    • 热门讨论

    热门文章

  • Flink CDC任务从savepoint/checkpoints状态中恢复作业错误问题
  • flink的1cu是指1cpu还是1cpu+4g存储？
  • flink sql 可不可以实现 过滤某种操作事件
  • 2018spark技术问答集锦，希望能给喜欢spark的同学一些帮助
  • 在斗鱼，实时计算发展的历程如何？
  • flink怎么能够快速消费kafka数据，需要设置什么参数呢？
  • Flink1.17为什么需要JDK 11呢？JDK8我试了也能运行
  • Flink-CDC 文档网站地址是什么？
  • Flink CDC中，有哪位大佬有flink 版本和cdc版本的适配统计啊？
  • Flink这个未授权访问漏洞有什么解决方案吗？
    • 展开全部
  • Flume+Kafka+Flink+Redis构建大数据实时处理系统：实时统计网站PV、UV展示
  • 接着！！Apache Flink 全领域干货合集（持续更新）
  • Flink SQL 功能解密系列 —— 流式 TopN 挑战与实现
  • 使用 Kafka 和 Flink 构建实时数据处理系统
  • Flink: 实时规则引擎助力新零售发展
  • 基于Flink和规则引擎的实时风控解决方案
  • Apache Flink 漫谈系列(09) - JOIN 算子
  • Apache Flink 漫谈系列(06) - 流表对偶(duality)性
  • Flink 在人工智能领域的应用实践
  • Flink on YARN（下）：常见问题与排查思路
    • 展开全部
    还有其他疑问?
    咨询AI助理