开发者社区 > 大数据与机器学习 > 大数据计算 MaxCompute > 正文

大数据计算MaxCompute mc的预留资源是可以保证的吗?

大数据计算MaxCompute mc的预留资源是可以保证的吗?预留了50cu,作业跑起来有较大并发度需求时,预留资源是确定可以用的上的吗?会不会由于系统资源不足而用不上呢?
iQEdAqNwbmcDAQTNBjYFzQHKBtoAI4QBpAtRt_QCqvTLGQWVlL8op8YDzwAAAYtkqKJJBM4AUobhBwAIAAoE.png_720x720q90.jpg
https://help.aliyun.com/zh/maxcompute/user-guide/manage-quotas-in-the-new-maxcompute-console?spm=a2c4g.11186623.0.i1#task-2242047

展开
收起
青城山下庄文杰 2023-10-30 16:39:07 52 0
3 条回答
写回答
取消 提交回答
  • 预留计算资源是固定值,是可以保证的。 如果作业并发和计算量过大,把预留计算资源打满,新提交的作业会等待资源。
    如果需要有时间计划的弹性预留资源,可以设置quota时间计划。
    https://help.aliyun.com/zh/maxcompute/product-overview/computing-pricing-1?spm=a2c4g.11186623.0.0.5f7733a6XGrSMz此回答整理自钉群“MaxCompute开发者社区1群”

    2023-10-31 17:10:31
    赞同 展开评论 打赏
  • MaxCompute的预留资源是有一定保证的,但并不是绝对的。当你预留了50cu的资源时,系统会尽量满足你的并发度需求,但如果出现系统资源不足的情况,可能会导致部分预留资源无法使用上。

    预留资源的保证程度取决于多个因素,包括当前系统的负载情况、其他用户的资源使用情况以及系统资源的分配策略等。如果系统负载较高或者有其他用户同时进行大量计算任务,可能会导致预留资源无法完全使用上。

    为了提高预留资源的使用率,你可以考虑以下几点:

    1. 调整作业的并发度:根据实际情况,适当调整作业的并发度,避免过高的并发度导致系统资源不足。
    2. 优化作业性能:通过优化作业的逻辑和算法,减少作业的计算量和时间,从而减少对系统资源的占用。
    3. 考虑资源共享:如果有多个作业需要共享相同的资源,可以考虑将它们合并为一个作业,以减少资源的竞争和浪费。
    4. 监控和调整:定期监控作业的执行情况和资源使用情况,根据实际需要进行相应的调整和优化。

    总之,虽然预留资源有一定的保证,但在高并发度需求下仍然可能出现资源不足的情况。因此,在设计和执行作业时需要综合考虑系统资源的使用情况,并进行适当的优化和调整。

    2023-10-31 15:49:37
    赞同 展开评论 打赏
  • 面对过去,不要迷离;面对未来,不必彷徨;活在今天,你只要把自己完全展示给别人看。

    在MaxCompute中,预留资源是确保可用的,只要你在创建任务时指定了足够的预留资源。当你为某个任务预留了50CU,那么这个任务将在指定的时间段内使用这些资源。

    然而,如果在你提交任务时,MaxCompute系统中的总可用资源小于50CU,那么你的任务可能会失败,因为它无法得到足够的资源来运行。在这种情况下,你可以考虑增加MaxCompute实例的大小或等待一段时间再提交任务,直到有足够的资源可用。

    为了避免这种情况发生,你可以提前检查MaxCompute系统的总可用资源,并确保预留的资源不超过总可用资源。此外,你还可以设置任务的最大并发度,以避免任务在超出资源限制的情况下运行。

    2023-10-31 15:11:40
    赞同 展开评论 打赏

MaxCompute(原ODPS)是一项面向分析的大数据计算服务,它以Serverless架构提供快速、全托管的在线数据仓库服务,消除传统数据平台在资源扩展性和弹性方面的限制,最小化用户运维投入,使您经济并高效的分析处理海量数据。

相关产品

  • 云原生大数据计算服务 MaxCompute
  • 相关电子书

    更多
    Data+AI时代大数据平台应该如何建设 立即下载
    大数据AI一体化的解读 立即下载
    极氪大数据 Serverless 应用实践 立即下载