开发者社区 > 大数据与机器学习 > 大数据开发治理DataWorks > 正文

DataWorks定时调度必须使用独享资源调度吗?

DataWorks定时调度必须使用独享资源调度吗?

展开
收起
cuicuicuic 2023-07-01 16:33:07 37 0
4 条回答
写回答
取消 提交回答
  • 北京阿里云ACE会长

    不一定需要使用独享资源调度。在DataWorks中,定时调度可以使用独享资源调度,也可以使用共享资源调度。两种调度方式各有优缺点,根据实际情况选择合适的方式。

    独享资源调度是指为某个作业或节点分配专用的资源,在调度执行时不会受到其他作业或节点的影响,可以保证作业的稳定性和可靠性。但是独享资源调度需要占用更多的资源,成本较高。

    共享资源调度是指多个作业或节点共用一组资源,在调度执行时会受到其他作业或节点的影响,可能会影响作业的稳定性和可靠性,但是成本相对较低。

    2023-07-31 21:42:55
    赞同 展开评论 打赏
  • 不,DataWorks定时调度并不一定需要使用独享资源调度。DataWorks提供了两种类型的调度资源:共享资源和独享资源。

    • 共享资源:多个任务共享一个资源池,这种调度方式适用于资源需求量较小的任务,可以实现成本的节约和资源的高效利用。
    • 独享资源:每个任务独享一个资源池,这种调度方式适用于资源需求量较大且对性能有较高要求的任务,确保任务在指定时间段内独占资源,从而提高任务的执行效率。

    对于一些资源需求量较小、非关键性的任务,可以选择使用共享资源调度,而对于一些资源需求量较大、关键性较高的任务,则可以选择使用独享资源调度。具体选择哪种调度方式,需要根据任务的特点和需求来进行评估和决策。

    2023-07-01 17:53:30
    赞同 展开评论 打赏
  • 在DataWorks中,定时调度并不一定需要使用独享资源调度。您可以根据您的需求和环境配置选择合适的调度方式。

    以下是几种常见的调度方式:

    独享资源调度:独享资源调度是指为每个任务分配独立的计算资源,任务执行期间不会受到其他任务的影响。这种调度方式适用于对任务执行时间和资源需求有较高要求的情况。使用独享资源调度可以确保任务的稳定性和可靠性,但同时需要更多的计算资源和成本。 共享资源调度:共享资源调度是指多个任务共享同一组计算资源,任务的执行顺序和资源分配由调度系统自动管理。这种调度方式适用于任务数量较多或资源需求相对较低的情况。使用共享资源调度可以节省计算资源和成本,但可能会受到资源竞争的影响,导致任务执行时间延长或出现错误。 自定义调度:自定义调度是指根据您的业务需求和资源情况,自定义任务的执行时间和频率。您可以使用DataWorks的调度配置功能,设置任务的执行时间、周期、并发数等参数。这种调度方式适用于有特殊需求或复杂的任务场景。 根据您的实际需求和环境配置,您可以选择合适的调度方式。如果您的任务对执行时间和资源需求有较高要求,且可以提供足够的独享资源,那么使用独享资源调度可以更好地保证任务的稳定性和可靠性。如果您的任务数量较多或资源需求较低,可以考虑使用共享资源调度来节省资源和成本。如果您有特殊的业务需求或需要更灵活的任务调度管理,可以使用自定义调度来配置您的任务。

    请注意,调度方式的确定应综合考虑任务需求、资源可用性和实际业务场景,以便达到最佳的任务执行效果和资源利用率。如有疑问,请随时联系DataWorks技术支持团队,获取更具体的指导和建议。

    2023-07-01 17:36:39
    赞同 展开评论 打赏
  • 部分节点仅支持独享 文档中没有特别注明的 可以使用公共 建议用独享 资源独有有保障,此回答整理自钉群“DataWorks交流群(答疑@机器人)”

    2023-07-01 16:39:41
    赞同 展开评论 打赏

DataWorks基于MaxCompute/Hologres/EMR/CDP等大数据引擎,为数据仓库/数据湖/湖仓一体等解决方案提供统一的全链路大数据开发治理平台。

相关产品

  • 大数据开发治理平台 DataWorks
  • 相关电子书

    更多
    DataWorks数据集成实时同步最佳实践(含内测邀请)-2020飞天大数据平台实战应用第一季 立即下载
    DataWorks调度任务迁移最佳实践-2020飞天大数据平台实战应用第一季 立即下载
    DataWorks商业化资源组省钱秘籍-2020飞天大数据平台实战应用第一季 立即下载

    相关实验场景

    更多