故乡的茶干_个人页

个人头像照片 故乡的茶干 TA的个人档案
0
1
0

个人介绍

https://github.com/Myasuka

擅长的技术

获得更多能力
通用技术能力:

暂时未有相关通用技术能力~

云产品技术能力:

暂时未有相关云产品技术能力~

阿里云技能认证

详细说明
暂无更多信息
暂无更多信息
正在加载, 请稍后...
暂无更多信息
  • 回答了问题 2019-07-17

    flink checkpoint 在 window 操作下 全局配置失效的问题。

    你好,其实你是误解了 checkpoint 配置与checkpointStorage之间的关系。
    FsStateBackend <--> 使用 FsCheckpointStorage,每个FsStateBackend的state数据会写到DFS里面,返回的handle不包含实际数据,只是一个路径地址(除非实际数据的size小于state.backend.fs.memory-threshold,会存储在返回的hanlde里面)。
    MemoryStateBackend <--> 使用 MemoryBackendCheckpointStorage,每个MemoryStateBackend的state数据都会直接存储在返回的handle里面。
    如果你只配置了checkpoint path相关的配置,由于没有声明是FsStateBackend,导致会使用默认的MemoryStateBackend,从而所有的state都会直接返回给JM,当state数据量大的时候,就会因为超过阈值而报错(默认值5MB)

    踩0 评论0
正在加载, 请稍后...
滑动查看更多
正在加载, 请稍后...
暂无更多信息