看源码有个小问题,RocksDBStateBackend 的 writeOptions 都把 disableWAL 设为 true, 是为了加速么?那如果地址放在内存盘里,是不是这里就不能这样了? 另外现在 Flink 状态管理很粗放,HeapKeyedStateBackend & DefaultOperatorStateBackend 都是直接放入堆内存且各种 copy,经常导致 OOM,这点 dataArtisans 的同学说暂时没太多改进计划... -问答-阿里云开发者社区-阿里云

开发者社区> 问答> 正文
阿里云
为了无法计算的价值
打开APP
阿里云APP内打开

看源码有个小问题,RocksDBStateBackend 的 writeOptions 都把 disableWAL 设为 true, 是为了加速么?那如果地址放在内存盘里,是不是这里就不能这样了? 另外现在 Flink 状态管理很粗放,HeapKeyedStateBackend & DefaultOperatorStateBackend 都是直接放入堆内存且各种 copy,经常导致 OOM,这点 dataArtisans 的同学说暂时没太多改进计划...

转自钉钉群21789141:看源码有个小问题,RocksDBStateBackend 的 writeOptions 都把 disableWAL 设为 true, 是为了加速么?那如果地址放在内存盘里,是不是这里就不能这样了?
另外现在 Flink 状态管理很粗放,HeapKeyedStateBackend & DefaultOperatorStateBackend 都是直接放入堆内存且各种 copy,经常导致 OOM,这点 dataArtisans 的同学说暂时没太多改进计划...

展开
收起
赵慧@ApacheFlink中文社区 2018-10-18 13:21:44 3041 0
1 条回答
写回答
取消 提交回答
  • 赵慧@ApacheFlink中文社区

    量仔:因为有checkpoint 数据丢了可以recover

    2019-07-17 23:09:10
    赞同 展开评论 打赏
问答排行榜
最热
最新
相关电子书
更多
Apache Flink 流式应用中状态的数据结构定义升级
立即下载
Flink中的两类新型状态存储
立即下载
《Apache Flink-重新定义计算》PDF下载
立即下载