AI 助理
备案控制台
开发者社区 大数据与机器学习 实时计算 Flink 正文

Flink CDC中flink sql 全量抽取数据的时候 不能走checkpoint嘛？

Flink CDC中flink sql 全量抽取数据的时候 不能走checkpoint嘛？

展开
收起
真的很搞笑 2023-11-01 14:53:19 225 分享 版权

版权声明：本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。

2 条回答
写回答
取消 提交回答
  • sunrr

    在Flink CDC中，全量抽取数据时是不支持checkpoint的。目前全量读取阶段是不支持checkpoint的，因此会存在一个问题：当我们同步全量数据时，假设需要5个小时，当我们同步了4小时的时候作业失败，这时候就需要重新开始，再读取5个小时。

    Flink cdc 2.x 中定期为源执行检查点，在故障转移的情况下，作业将从上次成功的检查点状态重新启动并恢复，并保证恰好一次语义。

    2023-11-02 14:32:58
    赞同 1 展开评论
  • 小周sir
    面对过去，不要迷离；面对未来，不必彷徨；活在今天，你只要把自己完全展示给别人看。

    您好！在Flink CDC中，SQL任务可以根据需求选择全量抽取数据或者增量抽取数据。在全量抽取过程中是不会触发checkp

    2023-11-02 14:32:56
    赞同 展开评论
问答分类：
流计算 SQL 实时计算 Flink版
问答标签：
SQL数据 实时计算 Flink版数据 实时计算 Flink版CDC 实时计算 Flink版checkpoint 实时计算 Flink版cdc数据
问答地址：
开发者社区 > 大数据与机器学习 > 实时计算 Flink > 问答
相关问答
实时计算 Flink版
Flink CDC里最近遇到一些表无法先全量再增量同步，具体表现就是启动任务后，一直没数据怎么办？
199
0
0
flink cdc sql将一个source，sink到pg和kafka，这种场景支持吗?
140
0
0
Flink CDC里我这边6个并行度抽全量，source倾斜了怎么办？
104
1
0
有没有方法只通过flink sql 获取到 row 的changlog event type么？
110
0
0
flink cdc里 Oracle to kafka sql的提交方式 咋还有序列化错误？
99
0
0
在Flink CDC中,是还在做全量没做完还是已经在增量了没数据？
92
1
0
在Flink CDC中 读取全量和增量数据能不能安装数据的生成顺序输出？
65
0
0
对于Flink CDC，CDC运行过程中，新增一张需要同步的表，重新提交job后，新增的表会全量？
108
1
0
在Flink CDC中oceanbase oracle initial模式全量转增量读取报错怎么办？
300
7
0
Flink cdc模式同步mysql数据时怎么在全量阶段消费的数据有序
96
1
0
大数据与机器学习

实时计算 Flink

实时计算Flink版是阿里云提供的全托管Serverless Flink云服务，基于 Apache Flink 构建的企业级、高性能实时大数据处理系统。提供全托管版 Flink 集群和引擎，提高作业开发运维效率。

我要提问

相关文章

  • InnoDB深度剖析：MySQL默认存储引擎的奥秘
  • MySQL内存引擎：Memory存储引擎的适用场景
  • 看到了 SQL 中 order by 3 desc,1 直接愣了一下。知道原因后，直接想骂人！
  • MySQL视图：虚拟表的创建与使用
  • 存储过程与函数：MySQL中的程序化编程

    • 热门讨论

    热门文章

  • Flink CDC任务从savepoint/checkpoints状态中恢复作业错误问题
  • flink的1cu是指1cpu还是1cpu+4g存储？
  • flink sql 可不可以实现 过滤某种操作事件
  • 2018spark技术问答集锦，希望能给喜欢spark的同学一些帮助
  • 在斗鱼，实时计算发展的历程如何？
  • flink怎么能够快速消费kafka数据，需要设置什么参数呢？
  • Flink1.17为什么需要JDK 11呢？JDK8我试了也能运行
  • Flink-CDC 文档网站地址是什么？
  • Flink CDC中，有哪位大佬有flink 版本和cdc版本的适配统计啊？
  • Flink这个未授权访问漏洞有什么解决方案吗？
    • 展开全部
  • Flume+Kafka+Flink+Redis构建大数据实时处理系统：实时统计网站PV、UV展示
  • 接着！！Apache Flink 全领域干货合集（持续更新）
  • Flink SQL 功能解密系列 —— 流式 TopN 挑战与实现
  • 使用 Kafka 和 Flink 构建实时数据处理系统
  • Flink: 实时规则引擎助力新零售发展
  • 实时计算在天猫双十一大屏中的应用
  • 基于Flink和规则引擎的实时风控解决方案
  • Apache Flink 漫谈系列(09) - JOIN 算子
  • Apache Flink 漫谈系列(06) - 流表对偶(duality)性
  • Flink 在人工智能领域的应用实践
    • 展开全部
    还有其他疑问?
    咨询AI助理