- 场景
某大型电商平台在每天的凌晨时段需要进行大量的数据处理任务,比如订单处理、库存同步、用户行为分析等。此外,平台还需要定期进行历史数据的补数据工作,以确保数据完整性和一致性。在进行补数据时,如果需要补的历史时间周期比较长,这些批处理任务会消耗大量的计算资源,导致批处理任务(如订单处理、库存同步)响应变慢甚至超时失败,这是我们应该怎么保障每天的批处理任务(订单处理、库存同步)的按时产出?
- 解决方案及功能
通过限制补数据任务的并发数,减少对日常任务的资源积压,保障日常任务的准时产出
前提:已购买智能运维增值服务并且当前租户已开通智能运维模块;⽬前仅⽀持离线任务限流配置
①可在【运维-系统配置】找到限流配置功能
②新建限流规则【补数据任务限流】,其中规则可以选择【调度类型等于补数据实例】,并发运行数为10(或根据实际资源情况进行调整),控制补数据任务的并发数来保障日常批处理任务的正常产出