一、场景
开发同学小A有大量的实时研发作业需要运行,但是发现时常会有作业等待的情况,该如何处理?
二、解决方案及功能
- 增加集群资源队列的资源
如果Flink集群是开源Flink或者是Flink vvp,需要通过集群配置文件或者是到控制台(Flink vvp支持)去调整;如果是flink on k8s的部署方式,则需要到Dataphin【管理中心-系统设置-资源设置】修改用于实时任务的自定义资源组,增加资源队列的CPU和内存资源
- 优化该作业的资源分配
整体资源固定的情况下,可以调整分配给该作业的资源数量
支持调整分配给该作业的TM数量,以及分配给JM和TM的 CPU、内存量,通过增加JM和TM的资源,加速作业的执行,但同时也会消耗更多资源
- 调整作业并行度配置
Dataphin支持调整作业并行度,并行度是指一个作业被切分成多少个可以并行执行的子任务,通过设置合适的并行度,可以充分利用集群的计算资源,加速作业的执行