请问试用大数据计算MaxCompute500CU,pai使用线性回归训练maxcompute里500w的数据,显示资源不够,重试好几次都是这样。我也不知道会使用大概多少资源,开个50cu的包月的是不是大材小用了,这该怎么评估?
MaxCompute的500cu*h抵扣包是抵扣按量计费部分,资源不应该有限制。 ,此回答整理自钉群“MaxCompute开发者社区2群”
MaxCompute的资源包括存储资源和计算资源(CU),这两种资源都对您的作业运行至关重要。在您的情况下,如果500CU的包月套餐无法满足线性回归训练的需求,可能的原因是您的任务需要处理的数据量过大或者模型复杂度较高,消耗了较多的计算资源。
在进行MaxCompute资源规划时,需要考虑以下几个因素:首先,数据存储资源需要足够大,不仅要能够存储当前的所有存量库表数据,也要能够存储未来一段时间的增量数据;其次,计算资源要充足但不能浪费,应能满足所有数据计算任务并尽可能减少资源浪费情况;此外,对于被处理的数据量巨大、耗费计算资源较多的大型任务,可能会出现quota group资源组耗尽的情况,造成其他任务无法获取到计算资源而阻塞,因此需要合理规划以避免这种情况的发生;最后,不同优先级的计算任务应尽量互不干扰,优先保证高优先级的任务获取到足够的计算资源。
版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。
MaxCompute(原ODPS)是一项面向分析的大数据计算服务,它以Serverless架构提供快速、全托管的在线数据仓库服务,消除传统数据平台在资源扩展性和弹性方面的限制,最小化用户运维投入,使您经济并高效的分析处理海量数据。