AI 助理
备案控制台
开发者社区 问答 正文

随着我数据量变大 checkpoint时间在变长 这个问题可以这么解决啊

随着我数据量变大 checkpoint时间在变长 这个问题可以这么解决啊
image

展开
收起
赵慧@ApacheFlink中文社区 2018-11-16 11:47:45 2218 分享 版权

版权声明：本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。

3 条回答
写回答
取消 提交回答
  • smdfj

    state量这么小，是反压导致的？

    2019-07-17 23:14:57
    赞同 展开评论
  • lansui

    嗯嗯 好的 谢谢啊 我试试

    2019-07-17 23:14:57
    赞同 展开评论
  • 倪完

    用RocksDBStateBackend的话使用增量checkpoint，设置配置项 state.backend.incremental 为 true。

    2019-07-17 23:14:57
    赞同 展开评论
问答地址：
开发者社区 > 云计算 > 问答
相关问答
一个单表 ，几万数据，select一次30多s,主要时间这块是啥说数据传输时间吗
502
1
0
我这两个taskmanager 处理的数据量相差100倍了，有知道这种数据倾斜的怎么解决吗
379
0
0
请问我设置两个检查点间隔为2分钟, cdc读完历史数据两分钟后才开始读取新增数据, 是什么原因呢?
227
0
0
1亿的数据量级 并行度 和chunk怎么设置合理
217
0
0
处理比较大的数据量的时候会报这个错，数据量较小时不会，问下是什么原因
313
1
0
我这里写入存储的时间和产生数据的时间不一定一致 这里可以使用数据产生的时间么？
384
1
0
如果今天凌晨应用运行异常，白天处理时候就丢失一部分数据，怎么将时间节点从昨天任意时刻获取增量数据呢？
312
2
0
请教一个问题 如果有个表 某个时间点有大批量的更新操作 flinkcdc如何提高吞吐量
386
0
0
请教下： 算子处理任务时间有点长（超过2分钟）， 检查点2分钟一次， 算子任务完成后，就不读kafk
220
1
0
重新指定分区列的过程是动态的吗？数据量大会锁吗？
398
1
0