开发者社区 > 大数据与机器学习 > 大数据计算 MaxCompute > 正文

大数据计算MaxCompute每天执行任务很多,只让这一个任务运行也不现实,其余时间为什么会降下来?

大数据计算MaxCompute每天执行任务很多,只让这一个任务运行也不现实,只有几分钟在最高点,其余时间为什么会降下来。这个任务昨天还是可以运行的,今天就有问题了?44019a50e641ae3b525a1205187dd734.png
e3ecf37708c577a1f5ce094431ad4c6c.png

展开
收起
真的很搞笑 2023-12-03 19:10:04 49 0
3 条回答
写回答
取消 提交回答
  • 这个问题可能有多种原因导致,以下是一些可能的原因:

    1. 资源竞争:MaxCompute是一个共享的计算平台,可能有其他任务也在同时运行,导致资源竞争。这可能会导致您的任务在某些时间段内无法获得足够的资源来保持高负载运行。

    2. 系统维护:MaxCompute可能会进行定期的系统维护和升级,这可能会导致某些时间段内的任务执行受到限制或暂停。

    3. 网络问题:如果您的任务依赖于外部数据源或服务,网络延迟或其他网络问题可能会导致任务执行速度下降。

    4. 配置问题:您的任务配置可能存在问题,例如内存分配不足、并发度设置不合理等,这可能会导致任务在某些时间段内无法达到最高点。

    为了解决这个问题,您可以尝试以下方法:

    1. 调整任务的资源分配:增加任务的CPU和内存配额,以确保任务能够获得足够的资源来保持高负载运行。

    2. 优化任务配置:检查任务的配置,确保内存分配合理,并发度设置适当,以充分利用可用资源。

    3. 调整任务执行时间:根据系统的负载情况,尝试将任务调度到系统相对较空闲的时间段执行。

    4. 监控任务执行情况:使用MaxCompute提供的监控工具,实时监控系统资源的使用情况,以便及时发现并解决潜在的问题。

    2023-12-04 17:03:28
    赞同 展开评论 打赏
  • 1432bc38935bd671d5c17706252ad78b.png
    f1f2b860b796cda6ee300d49e3f4a3f2.png
    只有几分钟在最高点,其余时间为什么会降下来:不是整个任务在执行的各个阶段都是消耗同样的资源,所以当一个任务运行起来之后,资源使用曲线一定是有转折的。

    这个任务昨天还是可以运行的,今天就有问题了:这个可能昨天在执行的时候,当前这个预付费quota的资源不紧张,足够它来运行。可以拿出昨天的log view和时间曲线对比一下,看看当时quota是不是没有今天这么紧张。

    目前这个任务我理解是这样,可以看下是否适用。
    从资源的角度:在作业运维里看下相同quota下是哪些作业和当前作业在一起占用这资源,可以暂停的先暂停,跑完当前这个再继续跑(这个需要您这边自己来判断下哈),如果所有任务都不能等待,quota的计算资源我理解需要扩容了,因为这个任务和其他任务一起跑不起来。
    从当前作业的角度:因为处理过程比较多,跑起来维持的时间会长,也就是加大了这个作业本身会出现没资源可用的情况的发生;可以的话,SQL简化一下,一步一步跑,可能会好一些。 ,此回答整理自钉群“MaxCompute开发者社区2群”

    2023-12-04 00:17:25
    赞同 展开评论 打赏
  • 面对过去,不要迷离;面对未来,不必彷徨;活在今天,你只要把自己完全展示给别人看。

    您好,MaxCompute任务执行时间的不规律可能有多种原因。一种可能是您的任务在调起节点时不在所选的业务时间范围内,这可能会导致错误。解决方法是调整补数据的时间范围,确保选择的时间范围与节点运行的时间范围一致。另一种可能性是任务的等待时间过长。例如,在DataWorks中提交的任务有时会出现等待20多分钟才开始执行的情况。此外,如果任务类型为Spark作业并且有流式作业存在,一个job拉起会持续很长时间,这也是正常现象。

    2023-12-03 20:51:26
    赞同 展开评论 打赏

MaxCompute(原ODPS)是一项面向分析的大数据计算服务,它以Serverless架构提供快速、全托管的在线数据仓库服务,消除传统数据平台在资源扩展性和弹性方面的限制,最小化用户运维投入,使您经济并高效的分析处理海量数据。

相关产品

  • 云原生大数据计算服务 MaxCompute
  • 相关电子书

    更多
    Data+AI时代大数据平台应该如何建设 立即下载
    大数据AI一体化的解读 立即下载
    极氪大数据 Serverless 应用实践 立即下载