Flink On Yarn 模式,单个任务提交的时候,任务提交成功了,但是我的TaskManager只启动了一个,其他的TaskManager都没启动起来,当然资源也没法用,这是为什么啊???
我的启动命令是这样的:flink -m yarn-cluster -yn 3 sse.jar
命名要启动三个TaskManager,但是只启动了一个,我的配置如下:
fs.hdfs.hadoopconf: /etc/hadoop/conf
akka.ask.timeout:20s
# The heap size for the JobManager JVM
jobmanager.heap.size: 2048m
# The heap size for the TaskManager JVM
taskmanager.heap.size: 4096m
# The number of task slots that each TaskManager offers. Each slot runs one parallel pipeline.
taskmanager.numberOfTaskSlots: 12
slaves:
172.16.0.18
172.16.0.19
172.16.0.20
172.16.0.17
大数据计算实践乐园,近距离学习前沿技术