问题一:Flink 哪个版本开始支持 Unaligned Checkpoint?
Flink 哪个版本开始支持 Unaligned Checkpoint?
参考回答:
Flink 从 1.11 版本开始支持 Unaligned Checkpoint。
关于本问题的更多回答可点击原文查看:
https://developer.aliyun.com/ask/671164
问题二:Buffer Debloating 是如何工作的?
Buffer Debloating 是如何工作的?
参考回答:
Buffer Debloating 通过减少上下游缓存的数据量来工作,这些缓存数据在不影响吞吐和延迟的前提下被缩减,以避免作业在数据流动缓慢时填满整个 pipeline 导致内存超用。
关于本问题的更多回答可点击原文查看:
https://developer.aliyun.com/ask/671165
问题三:如何估算 Flink 作业的 local buffer pool 的 size?
如何估算 Flink 作业的 local buffer pool 的 size?
参考回答:
可以估算每个 task 的总 buffer 数目,即每个 channel 对应的 exclusive buffer 数乘以 channel 的个数加上公用的 floating buffer 数,然后乘以每个 buffer 的 size,得到的结果即为总的 local buffer pool 的 size。
关于本问题的更多回答可点击原文查看:
https://developer.aliyun.com/ask/671166
问题四:为什么算子并不需要很大的 input/output buffer?
为什么算子并不需要很大的 input/output buffer?
参考回答:
算子并不需要很大的 input/output buffer,因为缓存太多数据除了可能填满整个 pipeline 导致内存超用外,对作业的吞吐和延迟并没有太大的帮助。
关于本问题的更多回答可点击原文查看:
https://developer.aliyun.com/ask/671167
问题五:Buffer Debloating 的主要目的是什么?
Buffer Debloating 的主要目的是什么?
参考回答:
Buffer Debloating 的主要目的是在不影响性能的情况下,动态调整上下游总 buffer 的大小,以最小化作业所需的 buffer size,确保算子不会因缓存过多数据而空转。
关于本问题的更多回答可点击原文查看: