"请教一个大数据计算MaxCompute问题:
我有一个A节点,下游有无限多节点, A节点和下游所有节点都是小时级的,启动时间点都一样,如果A节点失败或者在重试时 ,下游节点这时其实已经到了运行时间点了,这时候,A节点和下游所有节点会不会把调度资源直接全部占用完 ?或者只有A节点占用了调度资源,下游节点在等待但并不占用调度资源?"
只有a节点会占用资源。其他节点会等待a节点运行完,再进行调度。我提供一个思路。你们排查一下。
经过MaxCompute的上传下载都是走的Tunnel通道,dataphin的数据同步也应该是这样。
可以查一下审计日志中的TunnelEvent(应该是可以保留90天的数据),看download的table是哪个,再去看下是哪个任务用到了这个table。
看前后是不是有变化。https://help.aliyun.com/zh/maxcompute/user-guide/audit-logging?spm=a2c4g.11174283.0.i4#section-dhy-ulu-q1b
对应上账单费用产生的时间 ,此回答整理自钉群“MaxCompute开发者社区2群”
版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。
MaxCompute(原ODPS)是一项面向分析的大数据计算服务,它以Serverless架构提供快速、全托管的在线数据仓库服务,消除传统数据平台在资源扩展性和弹性方面的限制,最小化用户运维投入,使您经济并高效的分析处理海量数据。