备案控制台

开发者社区大数据与机器学习正文

flink cdc中，我现在想全量阶段并行度设置为100，然后增量阶段20，这个需要怎么设置和处理？

flink cdc中，我现在想全量阶段并行度设置为100，然后增量阶段20，这个需要怎么设置和处理？有案列吗？

展开

收起

提个问题 2023-07-10 14:10:45 120 版权

版权声明：本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。

1 条回答

写回答

取消提交回答

游客uj6xec5prhogy

Flink目前应该没有自动调节并行度的方法，只能自己手动操作了，全量读完之后，触发savepoint，然后修改并行度重新提交任务，如果没来得及执行savepoint就宕机了要重启，可以配置保留checkpoint，从最后一次checkpoint开始执行。，此回答整理自钉群“Flink CDC 社区”

2023-07-10 14:13:46

赞同展开评论

问答分类：

流计算实时计算 Flink版

问答标签：

实时计算 Flink版CDC 实时计算 Flink版增量实时计算 Flink版全量实时计算 Flink版设置实时计算 Flink版cdc设置

问答地址：

开发者社区 > 大数据与机器学习 > 问答

相关问答

Flink增量快照有什么优势

86

1

0

在Flink CDC中增量快照阶段checkpoint失败有啥排查方式吗？

83

1

0

Flink CDC里Oracle 增量同步延迟很大，怎么优化一下？

209

1

0

flink cdc读SqlServer数据，无法读取增量有没有碰到过？

112

1

0

Flink的binlog文件太多,导致全量后的增量阶段追赶很慢,这个有办法解决吗？

90

1

0

Flink cdc在同步过程中新增同步表后选择全量初始化历史数据，会阻塞原先其余表的增量同步吗？

235

2

0

flink cdc SqlServer cdc 增量同步的时候同步到别的库中文乱码，如何解决？

150

2

0

Flink CDC里问下增量数据可以不写进kafka，直接写进下游数据库吗？

126

3

0

Flink CDC 要想重启后只读增量的，snapshot.mode需要配置成什么？

143

0

0

Flink CDC中datax增量同步，是不是用jdbc连接，然后用select语句去查？

153

1

0

大数据与机器学习

大数据领域前沿技术分享与交流，这里不止有技术干货、学习心得、企业实践、社区活动，还有未来。

我要提问

相关文章

抖音基于Flink的DataOps能力实践

【无人机控制】基于TS模糊模型的非线性系统四旋翼无人机跟踪控制研究（Matlab代码实现）

《数据中台隐性故障的排查逻辑与工程化避坑策略》

数据当“安全带”：金融市场如何用大数据玩转风险控制？

使用Koopman理论识别机器人动力学的非线性系统（Matlab代码实现）

热门讨论

热门文章

Flink CDC任务从savepoint/checkpoints状态中恢复作业错误问题

数据来源：com.alibaba.fastjson.JSONException: syntax er

通义千问和通义千问开源系列有什么区别？

虚拟机占用内存特别大，90多个G,网上各种方法都试过了，怎么解决这个问题

阿里云和腾讯云服务器哪个好！

Dataphin和 Dataworks 有啥区别呢？

阿里云磁盘大小是多少？

flink的1cu是指1cpu还是1cpu+4g存储？

数据服务报429请求次数过多咋办呀

在api调用夸克搜索时，遇到权限不足问题

展开全部

DataV首次实战分享：教你30分钟创建汽车大屏

数据库开放权限太危险，又不想写API。DataV给你另外一个选择。

阿里封神谈hadoop生态学习之路

你刚吃的兰州牛肉面，背后就藏着大数据

odps是什么?

【技术实验】mysql准实时同步数据到Elasticsearch

数据仓库介绍与实时数仓案例

DataV接入ECharts图表库可视化利器强强联手

优酷背后的大数据秘密

吴刚专访--大数据和 MaxCompute 技术和故事

展开全部

还有其他疑问?