开发者社区 > 大数据与机器学习 > 大数据计算 MaxCompute > 正文

如果遇到节点遇到慢,导致下游全部异常,可以怎么解决?

如果遇到节点遇到慢,导致下游全部异常, 慢在还有一堆之前的节点还没运行,重跑是正常的3月24日,可以怎么快速解决下? lALPJwY7XbkB1J_M0M0EmQ_1177_208.png

lQLPJwBeb4hrp8DNAtLNAQ6wu_hNV9iglLMEFfROX0AvAA_270_722.png

展开
收起
十一0204 2023-03-27 21:31:24 400 0
2 条回答
写回答
取消 提交回答
  • 意中人就是我呀!

    看下卡在哪个节点 看卡主的运行日志慢在哪里。 如果下游节点对堵塞的上游节点没有数据依赖,可以直接右键堵塞的节点置成功,下游就会正常跑了。(此回答整理自钉钉群“MaxCompute开发者社区2群”)

    2023-03-28 12:29:16
    赞同 展开评论 打赏
  • 随心分享,欢迎友善交流讨论:)

    以下是几个可能的解决方案:

    提升节点的资源配置,如增加节点的 CPU、内存等资源,以提升节点的处理能力。

    调整 maxcompute任务的并发数,减少任务执行的并行度,以降低对节点的负载压力。

    检查节点运行时的日志和监控数据,找出导致节点慢的原因,如网络延迟、文件读写等等,并作出相应的优化。

    如果节点慢的原因是数据倾斜导致的,则可以考虑采用数据倾斜解决方案,如改变数据分布、增加或减少分区等等。

    如果节点慢导致下游任务全部异常,可以通过手动重启下游任务来快速解决问题。另外,也可以考虑使用调度工具对任务依赖关系进行管理,以避免下游任务异常对整个任务流程的影响。

    2023-03-28 11:55:58
    赞同 展开评论 打赏

MaxCompute(原ODPS)是一项面向分析的大数据计算服务,它以Serverless架构提供快速、全托管的在线数据仓库服务,消除传统数据平台在资源扩展性和弹性方面的限制,最小化用户运维投入,使您经济并高效的分析处理海量数据。

相关电子书

更多
低代码开发师(初级)实战教程 立即下载
冬季实战营第三期:MySQL数据库进阶实战 立即下载
阿里巴巴DevOps 最佳实践手册 立即下载