问题一:Buffer Debloating 如何帮助 Unaligned Checkpoint?
Buffer Debloating 如何帮助 Unaligned Checkpoint?
参考回答:
Buffer Debloating 通过减少中间流动的数据量,使得 Unaligned Checkpoint 在做快照时需要额外存储的中间数据也变少,从而加快 Checkpoint 的完成速度。
关于本问题的更多回答可点击原文查看:
https://developer.aliyun.com/ask/671169
问题二:在 Buffer Debloating 中,Debloat Target 指的是什么?
在 Buffer Debloating 中,Debloat Target 指的是什么?
参考回答:
在 Buffer Debloating 中,Debloat Target 是指上游缓存“预期时间”内下游能处理的数据量。这个设置帮助动态调整缓存大小。
关于本问题的更多回答可点击原文查看:
https://developer.aliyun.com/ask/671170
问题三:Generalized Log-Based Incremental Checkpoint 的主要目的是什么?
Generalized Log-Based Incremental Checkpoint 的主要目的是什么?
参考回答:
Generalized Log-Based Incremental Checkpoint 的主要目的是控制每次快照时需要上传的数据量,通过将 Checkpointing 过程和 State Backend 存储 Compaction 剥离开来,使得 Checkpoint 变得更加稳定和高频,从而缩短端到端的延迟。
关于本问题的更多回答可点击原文查看:
https://developer.aliyun.com/ask/671171
问题四:在有状态的算子中,状态更新是如何记录的?
在有状态的算子中,状态更新是如何记录的?
参考回答:
在有状态的算子中,状态更新会记录在 State Table 里。当 Checkpointing 发生时,这个 State Table 会被刷到磁盘上,并异步上传到远端存储。
关于本问题的更多回答可点击原文查看:
https://developer.aliyun.com/ask/671172
问题五:为什么 RocksDB 的增量 Checkpoint 有时并不比完整 Checkpoint 更高效?
为什么 RocksDB 的增量 Checkpoint 有时并不比完整 Checkpoint 更高效?
参考回答:
虽然 RocksDB 支持增量 Checkpoint,但一旦触发多层 Compaction,就会生成很多新的文件,这可能导致增量的部分甚至比一个完整的 Checkpoint 更大,因此上传时间依然不可控。
关于本问题的更多回答可点击原文查看: