AI 助理
备案控制台
开发者社区 大数据与机器学习 实时计算 Flink 正文

Flink CDC 里新加的表，从sp重启后，全量同步一会，就不同步了，数据条数一直不变为什么？

Flink CDC 里新加的表，从sp重启后，全量同步一会，就不同步了，数据条数一直不变为什么？7e127c9f2e6ea6f7f3a98819a8773792.pngscanNewlyAddedTableEnabled(true)

展开
收起
小小鹿鹿鹿 2024-03-19 22:49:09 101 分享 版权

版权声明：本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。

1 条回答
写回答
取消 提交回答
  • 小小杳杳杳

    建议你新起一个任务调整一下scan.incremental.snapshot.chunk.size，scan.snapshot.fetch.size这两个参数试试，因为实际应用中，这两个参数调整完重启是不起效的，以首次为准。默认8092，你调到1000以下试试。此回答来自钉群Flink CDC 社区。

    2024-03-20 11:07:15
    赞同 展开评论
问答分类：
流计算 实时计算 Flink版
问答标签：
实时计算 Flink版CDC 实时计算 Flink版cdc数据 实时计算 Flink版数据 实时计算 Flink版同步 实时计算 Flink版重启
问答地址：
开发者社区 > 大数据与机器学习 > 实时计算 Flink > 问答
相关问答
实时计算 Flink版
flink16.2，perjob提交给yarn，一会成功一会不成功的为啥子？
94
2
0
flink CDC3.0 第一次全量同步Oracle 数据， split chunks 一会就中断
314
1
0
Flink CDC想starRocks的物化视图中更新或者新加的数据实时推到kafka这些消息队列？
194
2
0
Flink CDC新加的表是个维度表，偶尔会有更新操作？
71
1
0
Flink CDC这个类明明有，为啥会报错啊？而且是正常运行一会才报错？
40
0
0
请问有人用 NAS 挂载 Flink CP | SP 吗？效果怎么样？
80
6
0
Flink CDC 同步MySQL的时候，整库同步完成后，新加的表不同步是怎么解决的？
63
1
0
实时计算 Flink版1.18提交到k8s 任务过一会自动cancel 有人遇到同样的问题嘛？
182
8
0
Flink cdc 1.18提交到k8s 任务过一会自动cancel 有人遇到同样的问题嘛？
44
0
0
Flink有遇到输入流合并后输出到一个sink 里面去，过一会sink 里面就收不到数据的情况吗？
56
0
0
大数据与机器学习

实时计算 Flink

实时计算Flink版是阿里云提供的全托管Serverless Flink云服务，基于 Apache Flink 构建的企业级、高性能实时大数据处理系统。提供全托管版 Flink 集群和引擎，提高作业开发运维效率。

我要提问

相关文章

  • 基于Flink CDC 开发，支持Web-UI的实时KingBase 连接器，三大模式无缝切换，效率翻倍！
  • 官宣 | Fluss 0.6 发布公告
  • Dataphin功能Tips系列（42）-实时研发-基于Flink on k8s
  • Dataphin功能Tips系列（44）-实时任务调优
  • Dataphin功能Tips系列（46）-实时研发任务在session调试和运行 时资源分配上的区别

    • 热门讨论

    热门文章

  • Flink CDC任务从savepoint/checkpoints状态中恢复作业错误问题
  • flink cdc 有没得官方介绍文档？
  • 请问下大家有没有遇到过这个错:Caused by: java.lang.ClassNotFoundE
  • FlinkCDC MySQL 中 scan.startup.mode 用的是什么模式啊？
  • Flink1.17为什么需要JDK 11呢？JDK8我试了也能运行
  • flink大作业启动频繁报akka.pattern.AskTimeoutException 大家有
  • Flink-CDC 文档网站地址是什么？
  • 在Flink为什么遇到这个报错后，作业虽然RUNNING，但是却HANG死了？会有什么隐形的坑吗？
  • Flink获取消费kafka的时候始终获取不到topic列表是啥原因啊？
  • FlinkKafkaConsumer 1.11的clientId什么的看不到这个怎么解决吗？
    • 展开全部
  • 数据仓库介绍与实时数仓案例
  • 权威详解 | 阿里新一代实时计算引擎 Blink，每秒支持数十亿次计算
  • OPPO数据中台之基石：基于Flink SQL构建实数据仓库
  • 独家专访阿里集团副总裁贾扬清：我为什么选择加入阿里巴巴？
  • 流计算StreamCompute
  • Flume+Kafka+Flink+Redis构建大数据实时处理系统：实时统计网站PV、UV展示
  • 阿里云实时计算产品案例&解决方案汇总
  • Flink SQL 功能解密系列 —— 流式 TopN 挑战与实现
  • 为什么说流处理即未来？
  • Apache Flink 的迁移之路，2 年处理效果提升 5 倍
    • 展开全部
    还有其他疑问?
    咨询AI助理