开发者社区 > 大数据与机器学习 > 大数据计算 MaxCompute > 正文

如何合理设置MaxCompute在开发与生产环境中的内存大小?

如何合理设置MaxCompute在开发与生产环境中的内存大小?特别是在处理大量数据时,应如何确定合适的内存分配?
http://logview.odps.aliyun.com/logview/
lQLPJx6I9I506N_NAUHNAqawhmuskB4nUpEFhkDThau4AA_678_321.png

展开
收起
三分钟热度的鱼 2024-01-10 13:15:56 96 0
3 条回答
写回答
取消 提交回答
  • 在开发阶段,您可以根据实际需求和资源情况来分配内存大小。一般来说,建议将内存分配设置为主表数据量的一半左右,这样可以确保系统有足够的资源来处理数据。同时,您还可以根据实际情况进行调整,例如增加或减少内存分配的大小。

    关于如何查看公共资源的内存大小,您可以登录阿里云控制台,进入MaxCompute服务页面,选择您的项目,然后在左侧导航栏中选择“实例管理”,在实例列表中可以看到每个实例的详细信息,包括内存大小、CPU核心数等。

    2024-01-13 10:12:44
    赞同 展开评论 打赏
  • 公共资源组没办法看有多大内存。 可以按照需求来调整配置,如果跑的慢可以加一些。你上面的SQLjoin有热点值,加skew join参数来节省一些时间。d2ae5cdd97f512661d0a7d2962c942a1.png
    https://help.aliyun.com/zh/maxcompute/use-cases/data-skew-tuning?spm=a2c4g.11186623.0.i14 此回答整理自钉群“MaxCompute开发者社区1群”

    2024-01-10 14:42:22
    赞同 展开评论 打赏
  • 面对过去,不要迷离;面对未来,不必彷徨;活在今天,你只要把自己完全展示给别人看。

    在MaxCompute中,内存大小是由您在创建项目时指定的。在开发阶段,您可以根据需要分配较小的内存,以便更快地运行查询和处理数据。但是,当您将项目部署到生产环境时,您需要考虑数据量的增长以及并发查询的需求。

    要查看您的公共资源可用的内存大小,您可以登录到阿里云控制台,然后导航到MaxCompute服务页面。在该页面上,您可以找到“项目管理”选项卡,并选择您的项目名称。接下来,点击“配置信息”选项卡,您将看到有关项目配置的详细信息,包括可用的内存大小。

    请注意,MaxCompute中的内存分配是动态的,并且可以根据需要进行调整。如果您发现内存不足或性能不佳,您可以考虑增加内存大小或优化查询以减少内存使用量。

    2024-01-10 13:28:13
    赞同 展开评论 打赏

MaxCompute(原ODPS)是一项面向分析的大数据计算服务,它以Serverless架构提供快速、全托管的在线数据仓库服务,消除传统数据平台在资源扩展性和弹性方面的限制,最小化用户运维投入,使您经济并高效的分析处理海量数据。

相关产品

  • 云原生大数据计算服务 MaxCompute
  • 相关电子书

    更多
    大数据AI一体化的解读 立即下载
    极氪大数据 Serverless 应用实践 立即下载
    大数据&AI实战派 第2期 立即下载