1
条回答
写回答
写回答
-
开发者社区问答官方账号官方回答采纳回答- Flink Slot 是什么
- slot 是指taskmanager的并发执行能力。
- 每一个Worker(TaskManager)都是一个JVM进程，他可能会在独立的线程中执行一个或者多个subtask。为了控制worker能够接收多个task，worker通过task slot来进行控制（一个worker至少有一个task slot）。
- 每个task slot表示TaskManager拥有资源的一个固定大小的子集。假如一个TaskManager有三个slot,那么它会将其管理的内存分成三份给各个slot。slot的资源化意味着一个job的subtask将不需要跟来自其它job的subtask竞争被管理的内存。
- 通过调整task slots的数量，用户可以定义subtasks它们之间如何互相隔离。如果一个TaskManager一个slot，那将意味着每个task group独立的运行在JVM中。而一个TaskManager多个slot意味着更多的subtask可以共享一个JVM。而在同一个JVM进程中的task将共享TCP连接和心跳消息。它们也可能共享数据集和数据结构，这样可以减少每个task的负载。
- Flink Slot和Parallelism的关系
- Slot是指TaskManager最大能并发执行的能力。
- Parallelism是指TaskManager实际使用的并发能力。
- Parallelism是可配置、可指定的。
- 假如程序设置的并行度超过了 TaskManager可用的Slot数量，所以程序一直在等待资源调度并超过了一定的时间（该时间可配置），会抛出异常。
2024-06-14 19:06:20赞同 展开评论 打赏
版权声明：本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。
相关问答
