开发者社区 > 大数据与机器学习 > 大数据计算 MaxCompute > 正文

大数据计算MaxCompute这个截图的任务调度,这部分是什么操作?

大数据计算MaxCompute这个截图的任务调度,这部分是什么操作?我这个任务执行时间从昨天开始变的很长,之前都是四五分钟就跑完了;昨天我看延长到了20多分钟dbf5e1596221a26e7bd204b00c61761a.png

展开
收起
真的很搞笑 2023-11-05 15:53:18 65 0
3 条回答
写回答
取消 提交回答
    1. 看两次的log view对比出,慢的作业出现过online job失败后回退的情况;2adf03c39595eed788aa32e0866226e0.png
      880c52948957dd3e94ccc1a5c04a37e5.png
    2. 两次数据量是否有差异;3. 我看使用的是后付费按量付费的quota,凌晨调度可能会出现等待计算资源的情况。
      Fuxi Job的两种作业类型:Online Job(service mode)和Offline Job。
      对于Offline的作业而言,当每次提交作业时在Fuxi上都会有一个环境准备的时间,针对大数据量并且不需要返回查询结果的作业比较合适,而对小数据量并且实时作业要求比较高的作业是不合适的。所以Fuxi提供为什么ServiceMode这种准实时的作业形式,也是online,首先会有一个服务去预先申请计算一些资源并加载出来,比如会预先分配一 万个nstance,当有作业提交时会根据作业规模分配一些Instance进行执行,这样就省去环境准备的时间,所以就会比较快。online不等资源且不保证成功。
      如果service mode失败,比如instance个数超过1000,或者运行超过10分钟,就会退回以Offline模式重跑。

    可以set odps.service.mode=off;这样就直接跑完了,不会再跑online,此回答整理自钉群“MaxCompute开发者社区2群”

    2023-11-07 23:13:04
    赞同 展开评论 打赏
  • 根据您提供的信息,任务调度可能是导致任务执行时间变长的原因之一。任务调度是指将任务分配到不同的计算资源上进行执行的过程。在MaxCompute中,您可以使用任务调度功能来控制任务的执行时间和资源分配。

    如果您的任务执行时间从昨天开始变得很长,可能是因为调度策略发生了变化或者资源分配不足。以下是一些建议来解决这个问题:

    1. 检查任务调度策略:确保您的任务调度策略是合理的,并且与您的计算需求相匹配。您可以查看MaxCompute的文档或联系技术支持以获取更多关于任务调度的信息。

    2. 调整资源分配:根据您的任务需求和计算能力,合理分配计算资源。例如,增加计算节点的数量或提高每个计算节点的资源配置。

    3. 优化SQL查询:检查您的SQL查询是否存在性能问题,如低效的JOIN操作、大量的数据筛选等。优化查询可以提高任务的执行效率,从而减少任务的执行时间。

    4. 监控任务执行情况:使用MaxCompute提供的监控工具来实时查看任务的执行情况。这可以帮助您及时发现并解决问题,例如资源不足或调度策略不当等问题。

    2023-11-06 11:12:59
    赞同 展开评论 打赏
  • 面对过去,不要迷离;面对未来,不必彷徨;活在今天,你只要把自己完全展示给别人看。

    在您的截图中显示了MaxCompute任务调度部分的详细信息,其中包含了以下几方面:

    1. 实例ID:此任务的唯一标识。
    2. 开始时间和结束时间:此任务开始和结束的时间点。
    3. 状态:目前任务的执行状态,包括等待、运行中、已完成等。
    4. 成功次数:成功执行的次数。
    5. 总运行时间:任务总耗时,包括数据准备、预处理、数据读取、数据处理、结果输出等多个阶段的时间。
    6. CPU时间:CPU消耗的时间。
    7. 内存占用:任务执行过程中消耗的内存大小。
    8. I/O读取:读取的数据量。
    9. I/O写入:写入的数据量。

    基于以上信息,我们可以分析出以下原因:

    1. 任务可能被延迟或停滞,所以总运行时间变长。
    2. 资源占用较高,如CPU、内存等。
    3. 数据量较大,I/O读取和写入时间较长。
    2023-11-05 16:03:48
    赞同 展开评论 打赏

MaxCompute(原ODPS)是一项面向分析的大数据计算服务,它以Serverless架构提供快速、全托管的在线数据仓库服务,消除传统数据平台在资源扩展性和弹性方面的限制,最小化用户运维投入,使您经济并高效的分析处理海量数据。

相关产品

  • 云原生大数据计算服务 MaxCompute
  • 相关电子书

    更多
    Data+AI时代大数据平台应该如何建设 立即下载
    大数据AI一体化的解读 立即下载
    极氪大数据 Serverless 应用实践 立即下载