故乡的茶干
故乡的茶干_个人页
故乡的茶干
文章
0
问答
1
视频
0
个人介绍
https://github.com/Myasuka
擅长的技术
暂无更多信息
暂无更多信息
-
回答了问题
2019-07-17
flink checkpoint 在 window 操作下 全局配置失效的问题。
你好，其实你是误解了 checkpoint 配置与checkpointStorage之间的关系。
FsStateBackend <--> 使用 FsCheckpointStorage，每个FsStateBackend的state数据会写到DFS里面，返回的handle不包含实际数据，只是一个路径地址（除非实际数据的size小于state.backend.fs.memory-threshold，会存储在返回的hanlde里面）。
MemoryStateBackend <--> 使用 MemoryBackendCheckpointStorage，每个MemoryStateBackend的state数据都会直接存储在返回的handle里面。
如果你只配置了checkpoint path相关的配置，由于没有声明是FsStateBackend，导致会使用默认的MemoryStateBackend，从而所有的state都会直接返回给JM，当state数据量大的时候，就会因为超过阈值而报错（默认值5MB）赞1 踩0 评论0
滑动查看更多
暂无更多信息