开发者社区 > 大数据与机器学习 > 大数据开发治理DataWorks > 正文

DataWorks为什么这种情况会在凌晨出现呢,白天也是一样的任务,不会出现这种情况?

DataWorks为什么这种情况会在凌晨出现呢,白天也是一样的任务,不会出现这种情况?这种差不多两分钟才开始运行image.png
手动执行的任务,会排在自动调度任务的后面吗?没有购买独立的集成资源

展开
收起
真的很搞笑 2023-10-15 20:02:16 30 0
3 条回答
写回答
取消 提交回答
  • 月移花影,暗香浮动

    DataWorks任务在凌晨运行时可能会出现延迟的情况,这可能与系统的负载有关。在凌晨,系统的使用率可能会较低,导致任务的启动和执行速度变慢。同时,如果手动执行的任务排在自动调度任务后面,那么手动执行的任务可能需要等待之前的自动调度任务完成后才能开始运行。

    对于没有购买独立集成资源的情况,DataWorks会默认采用共享资源模式。在这种模式下,多个任务会共享同一台ECS实例,因此如果其他任务正在占用大量的计算资源,那么您的任务可能需要等待这些任务完成后才能开始运行。

    2023-10-16 16:43:28
    赞同 展开评论 打赏
  • 这个等待的“集成”资源 可以看下集成资源的水位,不一定 手动执行的任务 如果先满足执行条件 也有可能先运行 ,那使用的是公共集成资源组,建议对产出时间有要求的离线任务 迁移独享集成资源组 ;https://help.aliyun.com/zh/dataworks/product-overview/announcement-on-discontinuation-of-shared-resource-groups?spm=a2c4g.11186623.0.0.6d10b78214N2oC,此回答整理自钉群“DataWorks交流群(答疑@机器人)”

    2023-10-15 23:02:50
    赞同 展开评论 打赏
  • 面对过去,不要迷离;面对未来,不必彷徨;活在今天,你只要把自己完全展示给别人看

    在 DataWorks 中,如果任务在凌晨出现运行延迟的情况,可能是由于以下原因导致的:

    1. 数据源问题:如果数据源在凌晨出现问题,可能会导致任务运行延迟。例如,如果数据源的服务器资源不足,或者数据源的网络连接不稳定,可能会导致任务运行延迟。
    2. 资源使用率问题:如果系统在凌晨的资源使用率过高,可能会导致任务运行延迟。例如,如果系统中的其他任务过多,或者系统的负载过高,可能会导致任务运行延迟。
    3. 数据同步问题:如果凌晨的数据同步出现问题,可能会导致任务运行延迟。例如,如果凌晨的数据同步速度过慢,或者凌晨的数据同步量过大,可能会导致任务运行延迟。
      为了解决这个问题,可以尝试以下方法:
    4. 检查数据源:检查数据源的状态,确保数据源的服务器资源充足,网络连接稳定,以及服务正常运行。
    5. 调整资源使用率:如果系统在凌晨的资源使用率过高,可以尝试调整资源使用率,例如减少其他任务的数量,或者优化系统的配置。
    6. 优化数据同步:如果凌晨的数据同步出现问题,可以尝试优化数据同步,例如提高数据同步的速度,或者减少凌晨的数据同步量。
    2023-10-15 21:55:17
    赞同 展开评论 打赏

DataWorks基于MaxCompute/Hologres/EMR/CDP等大数据引擎,为数据仓库/数据湖/湖仓一体等解决方案提供统一的全链路大数据开发治理平台。

相关产品

  • 大数据开发治理平台 DataWorks
  • 相关电子书

    更多
    DataWorks全链路数据质量解决方案-2020飞天大数据平台实战应用第一季 立即下载
    DataWorks数据集成实时同步最佳实践(含内测邀请)-2020飞天大数据平台实战应用第一季 立即下载
    DataWorks调度任务迁移最佳实践-2020飞天大数据平台实战应用第一季 立即下载

    相关实验场景

    更多