一、场景
实时研发的开发同学小A 经常需要调试和开发实时任务,他提出了一个疑问:目前Dataphin上的实时研发任务 在session调试和运行时 分别占用的是哪个集群的资源,他们的区别是什么?
二、解决方案及功能
- session调试和运行分别占用哪个集群的资源:
【调试】使用session集群,占用的是Dataphin调度集群的资源;
【运行】占用外部Flink 集群的资源,具体根据 Flink集群部署模式不同
Flink集群部署模式:Flink on yarn,Flink vvp,Flink on k8s,前两者占用的是外部Flink集群的资源,Flink on k8s 占用的也是Dataphin调度集群的资源,因为Flink on k8s的模式是部署在Dataphin调度集群上的
- session调试和运行在资源使用上的区别:
调试(session模式) |
运行(per-job模式) |
|
|
|
|