新的 Generic Log-Based Incremental Checkpointing 设计如何避免现有机制的限制并加速 Checkpoint 完成时间？
版权声明：本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。
在新的设计中，通过持续上传增量 Changelog 的方法，避免了现有机制中 Task 必须在收到 Checkpoint Barrier 后才开始上传快照的限制。这种方法可以更早地开始上传数据，从而加速 Checkpoint 的完成时间。同时，由于持续上传的是增量数据，也减少了每次 Checkpoint 需要持久化的数据量。
评论
全部评论 (0)