DataWorks公共资源组全阿里云租户抢占 不能保证按时执行 建议有保障需求的任务迁移独享调?

DataWorks公共资源组全阿里云租户抢占 不能保证按时执行 建议有保障需求的任务迁移独享调度资源组 gateway

展开
收起
真的很搞笑 2023-07-25 19:23:57 112 分享 版权
3 条回答
写回答
取消 提交回答
  • 北京阿里云ACE会长

    根据您提供的信息,您可能遇到了 DataWorks 公共资源组的资源竞争问题,导致任务无法按时执行。在 DataWorks 中,公共资源组是多个租户共享的计算资源,不同的租户可以共同使用资源组中的计算资源。由于公共资源组的资源是有限的,当多个租户同时使用资源时,可能会出现资源竞争和调度延迟的情况,导致任务无法按时执行。

    针对这种情况,建议您采取以下措施:

    迁移独享资源:如果您的任务对资源的要求比较高,建议您迁移至独享资源组中,并为任务分配独享的计算资源。这样可以避免资源竞争和调度延迟的问题,并保证任务按时执行。

    调整任务调度时间:如果您无法迁移至独享资源组,可以尝试调整任务的调度时间,避开资源竞争和高峰时段。例如,将任务调度时间调整至夜间或者早晨等低峰时段,可以减少资源竞争和调度延迟的影响。

    优化任务性能:优化任务的性能和资源占用,减少任务的资源需求。例如,优化数据处理算法、压缩数据传输量、减少任务的并发度等,可以降低任务的资源消耗,减少资源竞争的影响。

    2023-07-30 16:21:14
    赞同 展开评论
  • 如果在DataWorks中使用公共资源组进行调度,但存在全阿里云租户抢占资源的问题,无法保证任务按时执行,那么建议将有保障需求的任务迁移到独享调度资源。

    独享调度资源是DataWorks提供的一种资源管理机制,它为特定任务提供专属资源,确保任务优先级和执行时间的可控性。通过使用独享调度资源,可以避免其他租户对资源的抢占,提高任务的稳定性和可靠性。

    要迁移任务到独享调度资源,需要进行以下步骤:

    1. 创建独享资源组:在DataWorks控制台中创建一个独享资源组,指定该资源组的计算资源、数据源连接和并发控制等配置。

    2. 配置任务到独享资源组:将需要有保障需求的任务配置到独享资源组中。在任务设置中选择相应的资源组,以确保任务使用独享调度资源。

    3. 调整调度策略:根据任务的优先级和重要性,调整任务的调度策略,例如设置固定执行时间、调整调度频率等。

    通过以上步骤,你可以将有保障需求的任务迁移到独享调度资源,从而提高任务的稳定性和可靠性。

    2023-07-26 21:24:42
    赞同 展开评论
  • 之前并未出现延迟的情况,此回答整理自钉群“DataWorks交流群(答疑@机器人)”

    2023-07-25 19:55:17
    赞同 展开评论

DataWorks基于MaxCompute/Hologres/EMR/CDP等大数据引擎,为数据仓库/数据湖/湖仓一体等解决方案提供统一的全链路大数据开发治理平台。

还有其他疑问?
咨询AI助理