开发者社区 > 大数据与机器学习 > 大数据计算 MaxCompute > 正文

请问试用大数据计算MaxCompute500CU,这该怎么评估?

请问试用大数据计算MaxCompute500CU,pai使用线性回归训练maxcompute里500w的数据,显示资源不够,重试好几次都是这样。我也不知道会使用大概多少资源,开个50cu的包月的是不是大材小用了,这该怎么评估?

展开
收起
真的很搞笑 2023-12-24 14:15:32 79 0
2 条回答
写回答
取消 提交回答
  • MaxCompute的500cu*h抵扣包是抵扣按量计费部分,资源不应该有限制。 ,此回答整理自钉群“MaxCompute开发者社区2群”

    2023-12-25 08:03:50
    赞同 展开评论 打赏
  • 面对过去,不要迷离;面对未来,不必彷徨;活在今天,你只要把自己完全展示给别人看。

    MaxCompute的资源包括存储资源和计算资源(CU),这两种资源都对您的作业运行至关重要。在您的情况下,如果500CU的包月套餐无法满足线性回归训练的需求,可能的原因是您的任务需要处理的数据量过大或者模型复杂度较高,消耗了较多的计算资源。

    在进行MaxCompute资源规划时,需要考虑以下几个因素:首先,数据存储资源需要足够大,不仅要能够存储当前的所有存量库表数据,也要能够存储未来一段时间的增量数据;其次,计算资源要充足但不能浪费,应能满足所有数据计算任务并尽可能减少资源浪费情况;此外,对于被处理的数据量巨大、耗费计算资源较多的大型任务,可能会出现quota group资源组耗尽的情况,造成其他任务无法获取到计算资源而阻塞,因此需要合理规划以避免这种情况的发生;最后,不同优先级的计算任务应尽量互不干扰,优先保证高优先级的任务获取到足够的计算资源。

    2023-12-24 18:56:20
    赞同 展开评论 打赏

MaxCompute(原ODPS)是一项面向分析的大数据计算服务,它以Serverless架构提供快速、全托管的在线数据仓库服务,消除传统数据平台在资源扩展性和弹性方面的限制,最小化用户运维投入,使您经济并高效的分析处理海量数据。

相关产品

  • 云原生大数据计算服务 MaxCompute
  • 相关电子书

    更多
    Data+AI时代大数据平台应该如何建设 立即下载
    大数据AI一体化的解读 立即下载
    极氪大数据 Serverless 应用实践 立即下载