- 场景
某零售企业最近在做促销活动,希望保证某些数据处理任务(订单处理、库存更新)任务能够快速按时完成,如何保证这些高优任务的调度资源不被其他任务占用,能按时执行?
- 解决方案及功能
Dataphin提供了自定义资源组的功能,为高优先级任务分配一个单独的资源组,保证高峰期能够有足够的调度资源,任务及时产出
1、【系统设置-资源设置】可以在默认调度集群资源组中新建自定义资源组
2、分配给该自定义资源组CPU和内存资源,并选择应用场景为离线任务-任务日常调度,需要配置可使用当前资源组的关联项目,配置后,在项目配置中,可选择关联的资源组作为项目默认资源组
3、在任务的属性页面可以更改开发或者生产任务的调度资源组,这样就可以保证该任务使用单独的调度资源以确保任务的及时产出