开发者社区 > 大数据与机器学习 > 大数据计算 MaxCompute > 正文

请教下MaxCompute这个执行很久的job怎么去判断耗时长的原因呢?

a1a29808b737bef3bcd0ff8127cd47a1.png 请教下这个执行很久的job怎么去判断耗时长的原因呢?

展开
收起
冰激凌甜筒 2023-04-19 11:10:00 225 0
2 条回答
写回答
取消 提交回答
  • 慢作业麻烦看下这篇实践排查一下 https://help.aliyun.com/document_detail/278738.html?spm=a2c4g.183576.0.i1,此回答整理自钉群“MaxCompute开发者社区2群”

    2023-04-19 11:59:50
    赞同 展开评论 打赏
  • 随心分享,欢迎友善交流讨论:)

    当执行时间很长的作业时,可以从以下几个方面进行排查:

    作业的输入输出是否正常:检查作业的输入数据和输出数据是否符合预期,是否出现了数据丢失或无法正常读写等问题。有时候,作业的执行时间会很长,是因为作业在等待某个输入文件或者网络传输等操作。

    代码或算法的复杂度过高:检查作业的代码或算法是否复杂,是否存在死循环或递归调用等问题。如果代码或算法复杂度过高,可能会导致作业执行时间过长。

    硬件资源是否充足:检查作业所分配的硬件资源是否充足,例如内存、CPU等。如果硬件资源不足,可能会导致作业执行缓慢。

    网络延迟或带宽限制:如果作业需要进行网络传输或者涉及到网络通信,那么网络延迟或者带宽限制也可能导致作业执行时间过长。

    调度策略是否合理:检查作业的调度策略是否合理,例如是否存在作业冲突、是否存在作业依赖等问题。如果调度策略不合理,可能会导致作业执行时间过长。

    在排查的过程中,可以使用一些工具来辅助分析,例如日志分析工具、性能监控工具等,以便更好地定位问题的原因。

    2023-04-19 11:20:27
    赞同 展开评论 打赏

MaxCompute(原ODPS)是一项面向分析的大数据计算服务,它以Serverless架构提供快速、全托管的在线数据仓库服务,消除传统数据平台在资源扩展性和弹性方面的限制,最小化用户运维投入,使您经济并高效的分析处理海量数据。

相关产品

  • 云原生大数据计算服务 MaxCompute
  • 热门讨论

    热门文章

    相关电子书

    更多
    开源大数据治理体系构建—助力游戏行业数据化运营 立即下载
    用友助力数据平台构建,驱动企业创新 立即下载
    MongoDB 应用数据平台助力快速构建您的应用 立即下载