问题一:Flink容错架构的核心是什么?
Flink容错架构的核心是什么?
参考回答:
Flink容错架构的核心是Checkpointing机制,即定期给所有的算子状态做快照检查点(Checkpoint)。如果Flink作业失败,作业会从上一个完整的Checkpoint恢复。
关于本问题的更多回答可点击原文查看:
https://developer.aliyun.com/ask/671988
问题二:造成Flink Checkpoint失败(超时)的主要原因有哪些?
造成Flink Checkpoint失败(超时)的主要原因有哪些?
参考回答:
造成Flink Checkpoint失败(超时)的主要原因有两个:一是中间数据流动缓慢造成Checkpoint Barrier流动缓慢;二是算子状态过大造成状态数据上传超时。
关于本问题的更多回答可点击原文查看:
https://developer.aliyun.com/ask/671989
问题三:Flink如何解决Checkpoint Barrier流动缓慢的问题?
Flink如何解决Checkpoint Barrier流动缓慢的问题?
参考回答:
Flink通过Buffer Debloating项目来解决Checkpoint Barrier流动缓慢的问题。该技术在不影响吞吐和延迟的前提下,缩减上下游需要缓存的数据到刚好算子不空转,目前已在Flink-1.14版本发布。
关于本问题的更多回答可点击原文查看:
https://developer.aliyun.com/ask/671990
问题四:Generalized Log-Based Checkpoint是什么,它有什么优势?
Generalized Log-Based Checkpoint是什么,它有什么优势?
参考回答:
Generalized Log-Based Checkpoint是一种基于log打点的方式来做Checkpoint的方法,类似传统DB的write ahead log。它的好处是能快速、高频且稳定地做Checkpoint,但代价是需要额外多写/存一份log。该方法将Checkpointing过程与耗时的异步上传文件过程剥离开,同时与底层状态存储的物化过程解耦。
关于本问题的更多回答可点击原文查看:
https://developer.aliyun.com/ask/671991
问题五:Flink流批一体的理念是如何在API层面演进的?
Flink流批一体的理念是如何在API层面演进的?
参考回答:
在API层面,Flink流批一体的理念经历了从流批统一的SQL/Table API(Declarative API)到整合Imperative API,形成流批统一的DataStream API的演进过程。陈旧的DataSet API将逐步被淘汰。
关于本问题的更多回答可点击原文查看: