开发者社区 > 大数据与机器学习 > 大数据计算 MaxCompute > 正文

大数据计算MaxCompute从odps 改大到512有一定提升,再往上该就不明显了。这是为什么呀?

大数据计算MaxCompute从odps 改大到512有一定提升,再往上该就不明显了。单个instance只处理10M左右的数据,这是为什么呀?默认不应该是256M吗?

展开
收起
真的很搞笑 2023-11-05 16:10:28 32 0
3 条回答
写回答
取消 提交回答
  • odps.stage.mapper.mem,调大一些看看,此回答整理自钉群“MaxCompute开发者社区2群”

    2023-11-07 23:35:54
    赞同 展开评论 打赏
  • 在大数据计算MaxCompute中,每个instance默认的内存限制是256M,但是这个值可以根据需要进行调整。如果你将内存限制提高到512M,但是再继续增加时提升效果不明显,可能有以下原因:

    1. 数据量大小:单个instance处理的数据量大小是有限的,即使你继续增加内存限制,当instance处理的数据量达到一定程度后,提升效果会逐渐减弱。这可能是由于内存限制增加到一定值后,数据的处理速度已经达到了极限。
    2. 数据处理方式:MaxCompute在处理数据时,需要将数据加载到内存中进行处理。如果你的数据处理方式需要加载大量数据到内存中,即使增加内存限制,也可能会导致内存不足的问题。这时,你可以考虑优化数据处理方式,减少内存的使用。
    3. 硬件限制:单个instance的硬件配置可能存在限制,例如CPU、硬盘等。这些因素可能会限制数据处理的速度和效率。如果你遇到硬件限制问题,可以考虑升级instance的硬件配置或者使用更多的instance来分担数据处理任务。
    4. 系统负载:如果你的MaxCompute集群中有很多其他的任务在运行,可能会导致系统负载过高,影响数据处理速度。这时,你可以考虑优化任务调度策略或者增加MaxCompute集群的规模来提高数据处理能力。

    总之,单个instance处理数据的能力是有限的,当内存限制增加到一定值后,提升效果会逐渐减弱。如果你想进一步提高数据处理能力,需要考虑优化数据处理方式、升级硬件配置、调整任务调度策略或者增加MaxCompute集群的规模等方法。

    2023-11-06 11:01:05
    赞同 展开评论 打赏
  • 面对过去,不要迷离;面对未来,不必彷徨;活在今天,你只要把自己完全展示给别人看

    当您设置更大的分割大小时,MaxCompute将根据您的设置调整mapper的输入大小。在一般情况下,mapper会将输入数据分片为512MB大小。但是,如果您的数据小于512MB,那么mapper只会处理更小的数据块。
    因此,在您的情况下,mapper会处理10MB大小的数据块,而不是512MB。这种情况常见于处理大量小型文件的情况,因为大型文件更容易被切分为较大的块。
    如果您想要处理更大规模的数据,请尝试增加mapper的数量。这样做可以加快数据处理的速度。例如,可以尝试将mapper的数量增加一倍,以处理更大的数据块。但是,请注意,mapper数量过多会导致更多任务之间的竞争,从而降低整体的性能。

    2023-11-05 16:27:11
    赞同 展开评论 打赏

MaxCompute(原ODPS)是一项面向分析的大数据计算服务,它以Serverless架构提供快速、全托管的在线数据仓库服务,消除传统数据平台在资源扩展性和弹性方面的限制,最小化用户运维投入,使您经济并高效的分析处理海量数据。

相关产品

  • 云原生大数据计算服务 MaxCompute
  • 热门讨论

    热门文章

    相关电子书

    更多
    大数据AI一体化的解读 立即下载
    极氪大数据 Serverless 应用实践 立即下载
    大数据&AI实战派 第2期 立即下载