开发者社区 > 大数据与机器学习 > 大数据计算 MaxCompute > 正文

大数据计算MaxCompute像这种资源使用量,跑了20分钟, 只买50cu的话会不会跑不动?

大数据计算MaxCompute像这种资源使用量,跑了20分钟, 只买50cu的话会不会跑不动?image.png

展开
收起
cuicuicuic 2024-03-04 10:29:09 36 0
2 条回答
写回答
取消 提交回答
  • 面对过去,不要迷离;面对未来,不必彷徨;活在今天,你只要把自己完全展示给别人看。

    MaxCompute中的CU(Computing Unit)是计算资源的基本单位,用于衡量作业执行所需的计算能力。一个CU代表了一定数量的CPU和内存资源。

    如果您说的“跑不动”是指作业执行时间过长或者无法顺利完成,那么确实有可能。如果一个作业需要的资源超过了您所购买的CU数量,那么作业的执行速度会受到影响,甚至可能因为资源不足而无法运行。

    具体来说,以下几个因素会影响作业是否能顺利执行:

    1. 并发:如果您有多个作业同时运行,那么它们将共享这50个CU。如果这些作业的总需求超过了50个CU,那么一些作业将会排队等待资源。

    2. 作业复杂度:复杂的作业通常需要更多的计算资源。如果您的作业涉及到大量的数据处理、复杂的计算或者大规模的机器学习任务,那么50个CU可能不足以支持。

    3. 数据量:处理大量数据时,需要更多的I/O操作和计算资源。如果数据量非常大,50个CU可能无法满足需求。

    4. 性能要求:如果您希望作业尽快完成,那么可能需要更多的CU来提高并行度和加速计算过程。

    综上所述,如果您发现作业执行时间过长或者无法顺利完成,并且怀疑是因为资源不足导致的,您可以考虑以下几个解决方案:

    1. 优化作业:检查并优化您的SQL查询或数据处理流程,确保它们尽可能地高效。

    2. 增加CU:根据您的需求,购买更多的CU以提高作业的执行速度和成功率。

    3. 调整作业优先级:如果有多个作业同时运行,您可以尝试调整它们的优先级,确保重要的作业能够优先获得资源。

    4. 分批处理:如果可能的话,将大型作业分成多个较小的批次进行处理,以减少单个作业的资源需求。

    请注意,具体的解决方案可能需要根据您的具体情况进行调整和优化。

    2024-03-04 13:49:04
    赞同 展开评论 打赏
  • 这是core/分钟
    cu需要看cu/时的量,用这里的数字/60就是cu/时。
    看截图,如果换成50cu,会跑的比较慢。 ,此回答整理自钉群“MaxCompute开发者社区2群”

    2024-03-04 10:52:12
    赞同 展开评论 打赏

MaxCompute(原ODPS)是一项面向分析的大数据计算服务,它以Serverless架构提供快速、全托管的在线数据仓库服务,消除传统数据平台在资源扩展性和弹性方面的限制,最小化用户运维投入,使您经济并高效的分析处理海量数据。

相关产品

  • 云原生大数据计算服务 MaxCompute
  • 相关电子书

    更多
    大数据AI一体化的解读 立即下载
    极氪大数据 Serverless 应用实践 立即下载
    大数据&AI实战派 第2期 立即下载