大数据计算MaxCompute从odps 改大到512有一定提升,再往上该就不明显了。单个instance只处理10M左右的数据,这是为什么呀?默认不应该是256M吗?
在大数据计算MaxCompute中,每个instance默认的内存限制是256M,但是这个值可以根据需要进行调整。如果你将内存限制提高到512M,但是再继续增加时提升效果不明显,可能有以下原因:
总之,单个instance处理数据的能力是有限的,当内存限制增加到一定值后,提升效果会逐渐减弱。如果你想进一步提高数据处理能力,需要考虑优化数据处理方式、升级硬件配置、调整任务调度策略或者增加MaxCompute集群的规模等方法。
当您设置更大的分割大小时,MaxCompute将根据您的设置调整mapper的输入大小。在一般情况下,mapper会将输入数据分片为512MB大小。但是,如果您的数据小于512MB,那么mapper只会处理更小的数据块。
因此,在您的情况下,mapper会处理10MB大小的数据块,而不是512MB。这种情况常见于处理大量小型文件的情况,因为大型文件更容易被切分为较大的块。
如果您想要处理更大规模的数据,请尝试增加mapper的数量。这样做可以加快数据处理的速度。例如,可以尝试将mapper的数量增加一倍,以处理更大的数据块。但是,请注意,mapper数量过多会导致更多任务之间的竞争,从而降低整体的性能。
版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。
MaxCompute(原ODPS)是一项面向分析的大数据计算服务,它以Serverless架构提供快速、全托管的在线数据仓库服务,消除传统数据平台在资源扩展性和弹性方面的限制,最小化用户运维投入,使您经济并高效的分析处理海量数据。