Flink大state读取磁盘，磁盘IO打满，任务相互影响的问题探讨
如题，Flink大state读取磁盘，磁盘IO打满，任务相互影响的问题
尝试手段：
-
手动迁移IO比较高的任务到其他机器，但是yarn任务提交比较随机，只能偶尔为之
-
目前没有SSD，只能用普通STATA盘，目前加了两块盘提示磁盘IO能力，但是单盘对单任务的磁盘IO瓶颈还在
还有哪些策略可以解决或者缓解么？*来自志愿者整理的flink邮件归档
展开
收起
1
条回答
写回答
写回答
-
像你描述的，单盘对单任务还存在 IO 瓶颈，这里是单 container 吗？像前面大家说的，你需要确认这么大的 IO 访问是符合预期的，如果符合预期的话，你可以尝试增加 blockcache 和 memtable 的大小，将更多的数据放到内存。
另外，你使用的是什么 state 类型，valuestate 和 liststate 的话，能否换成 mapstate 来处理。同时，你可以看下 rocksdb 的 log，看看是否有什么可以优化的地方*来自志愿者整理的flink邮件归档
2021-12-08 19:25:07赞同 展开评论 打赏
问答分类：
版权声明：本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。
相关问答
