开发者社区 > 大数据与机器学习 > 大数据计算 MaxCompute > 正文

请教一个大数据计算MaxCompute问题:A节点和下游所有节点会不会把调度资源直接全部占用完 ?

请教一个大数据计算MaxCompute问题:
我有一个A节点,下游有无限多节点, A节点和下游所有节点都是小时级的,启动时间点都一样,如果A节点失败或者在重试时 (下游节点这时其实已经到了运行时间点了,只是A节点没运行完所以他们都在等待运行)

1、这时候,A节点和下游所有节点会不会把调度资源直接全部占用完 (比如极端情况下这里总共有100个节点,同时启动会全部占完调度资源)

2、还是说 这时候只有A节点占用了调度资源,下游节点在等待但并不占用调度资源

展开
收起
cuicuicuic 2024-04-17 13:20:18 12 0
1 条回答
写回答
取消 提交回答
  • 只有a节点会占用资源。其他节点会等待a节点运行完,再进行调度。我提供一个思路。你们排查一下。
    经过MaxCompute的上传下载都是走的Tunnel通道,dataphin的数据同步也应该是这样。
    可以查一下审计日志中的TunnelEvent(应该是可以保留90天的数据),看download的table是哪个,再去看下是哪个任务用到了这个table。
    看前后是不是有变化。https://help.aliyun.com/zh/maxcompute/user-guide/audit-logging?spm=a2c4g.11174283.0.i4#section-dhy-ulu-q1b
    对应上账单费用产生的时间 ,此回答整理自钉群“MaxCompute开发者社区2群”

    2024-04-17 19:45:35
    赞同 5 展开评论 打赏

MaxCompute(原ODPS)是一项面向分析的大数据计算服务,它以Serverless架构提供快速、全托管的在线数据仓库服务,消除传统数据平台在资源扩展性和弹性方面的限制,最小化用户运维投入,使您经济并高效的分析处理海量数据。

相关电子书

更多
低代码开发师(初级)实战教程 立即下载
冬季实战营第三期:MySQL数据库进阶实战 立即下载
阿里巴巴DevOps 最佳实践手册 立即下载