开发者社区 > 大数据与机器学习 > 大数据计算 MaxCompute > 正文

请教一个大数据计算MaxCompute问题:A节点和下游所有节点会不会把调度资源直接全部占用完 ?

"请教一个大数据计算MaxCompute问题:
我有一个A节点,下游有无限多节点, A节点和下游所有节点都是小时级的,启动时间点都一样,如果A节点失败或者在重试时 ,下游节点这时其实已经到了运行时间点了,这时候,A节点和下游所有节点会不会把调度资源直接全部占用完 ?或者只有A节点占用了调度资源,下游节点在等待但并不占用调度资源?"

展开
收起
真的很搞笑 2024-04-17 13:20:18 43 0
1 条回答
写回答
取消 提交回答
  • 只有a节点会占用资源。其他节点会等待a节点运行完,再进行调度。我提供一个思路。你们排查一下。
    经过MaxCompute的上传下载都是走的Tunnel通道,dataphin的数据同步也应该是这样。
    可以查一下审计日志中的TunnelEvent(应该是可以保留90天的数据),看download的table是哪个,再去看下是哪个任务用到了这个table。
    看前后是不是有变化。https://help.aliyun.com/zh/maxcompute/user-guide/audit-logging?spm=a2c4g.11174283.0.i4#section-dhy-ulu-q1b
    对应上账单费用产生的时间 ,此回答整理自钉群“MaxCompute开发者社区2群”

    2024-04-17 19:45:35
    赞同 5 展开评论 打赏

MaxCompute(原ODPS)是一项面向分析的大数据计算服务,它以Serverless架构提供快速、全托管的在线数据仓库服务,消除传统数据平台在资源扩展性和弹性方面的限制,最小化用户运维投入,使您经济并高效的分析处理海量数据。

相关产品

  • 云原生大数据计算服务 MaxCompute
  • 相关电子书

    更多
    Data+AI时代大数据平台应该如何建设 立即下载
    大数据AI一体化的解读 立即下载
    极氪大数据 Serverless 应用实践 立即下载