AI 助理
文档备案控制台
开发者社区 大数据与机器学习 实时计算 Flink 正文

Flink CDC这种并行度跟全量和增量有什么坑吗？

Flink CDC这种并行度跟全量和增量有什么坑吗？image.png
快照和增量并行度是通过那个来设置的？

展开
收起
真的很搞笑 2023-10-10 19:16:02 146 分享 版权

版权声明：本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。

1 条回答
写回答
取消 提交回答
  • 芯在这

    为了保顺序，你最好还是用全局并行度来统一处理，此回答整理自钉群“Flink CDC 社区”

    2023-10-11 10:25:35
    赞同 展开评论
问答分类：
流计算 实时计算 Flink版
问答标签：
实时计算 Flink版CDC 实时计算 Flink版增量 实时计算 Flink版全量 实时计算 Flink版并行度 实时计算 Flink版全量增量
问答地址：
开发者社区 > 大数据与机器学习 > 实时计算 Flink > 问答
相关问答
实时计算 Flink版
Flink默认先全量再增量同步，全量时会对checkpoint上锁，导致请求检查点时失败，任务重启
398
1
0
Flink CDC OceanBase Connector 如何处理全量数据和增量数据？
168
1
0
为什么选择Flink和Hudi作为增量化方案的核心组件？
152
1
0
Flink 1.15 如何通过原生增量 Savepoint 解决 Savepoint 性能较差的问题
148
1
0
在Flink CDC中，mysql-cdc一次添加多张表进行全量初始化，有没有表级别的全量同步完成？
190
1
0
使用Flink cdc 任务的检查点设置为增量的，看checkpoint确实是一增量的方式在保存吗？
124
0
0
在Flink CDC中数据量太大 第一次全量同步咋整 ？
153
1
0
在Flink CDC中flink版本1.15，写入kafka报错，如何解决？
147
1
0
请教下，flink cdc采集oracle 的adg备份库报错，这种情况如何解决？
434
7
0
flinkcdc1.1.6 hadoop版本3.0.0 ，但是跑cdc作业时出现这个报错 怎么解决？
184
0
0
大数据与机器学习

实时计算 Flink

实时计算Flink版是阿里云提供的全托管Serverless Flink云服务，基于 Apache Flink 构建的企业级、高性能实时大数据处理系统。提供全托管版 Flink 集群和引擎，提高作业开发运维效率。

我要提问

相关文章

  • 文本字符数统计 在线工具核心JS实现
  • 什么是批处理？一文搞清批处理和流处理的区别
  • 个人所得税计算器 在线工具分享
  • Spark / Flink 跑在 Kubernetes 上真的更香吗？聊聊那些没人提前告诉你的性能坑
  • Dataphin功能Tips系列（95）如何自定义Dataphin告警消息

    • 热门讨论

    热门文章

  • 哪位有编译好的cdc 2.2.0版本能能试用flink 1.14.2的包呀？
  • Flink CDC任务从savepoint/checkpoints状态中恢复作业错误问题
  • flink1.19和hive3.1.3，cdc从mysql同步数据到hive，插入时报错？
  • Flink有2023 Flink Forward Asia 资料下载地址吗?
  • 有用flink cdc同步mysql到hive这样搞过的源码吗?
  • flinkcdc在IDEA运行正常，打包就报错
  • 大佬们，请教下，Flink CDC2.4.0版本的mysql cdc，怎么设置时区"？
  • Flink1.10 python API 对流式处理的支持度如何，能直接用于生产吗？
  • 在Flink CDC中，直接将我生成的application会话kill掉了,有人遇到过吗？
  • 提交flink命令后 运行时会优先加载 lib下面的jar包吗？严重怀疑平台提供的cdc不是2.1
    • 展开全部
  • 数据仓库介绍与实时数仓案例
  • 流计算StreamCompute
  • 通过Flink实时构建搜索引擎的索引
  • Flume+Kafka+Flink+Redis构建大数据实时处理系统：实时统计网站PV、UV展示
  • 阿里云实时计算产品案例&解决方案汇总
  • 流计算精品翻译: The Dataflow Model
  • Flink SQL 功能解密系列 —— 流式 TopN 挑战与实现
  • 基于实时计算（Flink）打造一个简单的实时推荐系统
  • Flink Checkpoint 问题排查实用指南
  • 史上超强阵容！大数据及人工智能领域顶级盛会，Flink Forward Asia 2019 不容错过！
    • 展开全部
    还有其他疑问?
    咨询AI助理