AI 助理
备案控制台
开发者社区 大数据与机器学习 大数据计算 MaxCompute 正文

MaxCompute这里设置了每个reduce的内存是1024为啥没生效能？应该给我生成30个左右的

f25f34a9e09de3dd997e92ffc6a58885.png 35f632456534f284769bd8cc53dee408.png MaxCompute这里设置了每个reduce的内存是1024为啥没生效能？应该给我生成30个左右的reduce num才对 282ed252932bafd0f2a0375a8fcf6872.png eda9a3f4c5abc728e424a5353ec0f925.png 手动设置reduce 数量可以执行，但是手动设置reduce内存大小不可拆分

展开
收起
冰激凌甜筒 2023-04-30 20:59:57 150 分享 版权

版权声明：本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。

1 条回答
写回答
取消 提交回答
  • 微笑向日葵

    odps.stage.reducer.mem这是设置每个reduce worker内存大小的参数。 https://help.aliyun.com/document_detail/455388.html?spm=a2c4g.96004.0.i3，此回答整理自钉群“MaxCompute开发者社区2群”

    2023-04-30 21:40:18
    赞同 展开评论
问答分类：
分布式计算 MaxCompute 云原生大数据计算服务 MaxCompute
问答标签：
云原生大数据计算服务 MaxCompute内存 设置内存 云原生大数据计算服务 MaxCompute设置 云原生大数据计算服务 MaxCompute reduce 内存设置
问答地址：
开发者社区 > 大数据与机器学习 > 大数据计算 MaxCompute > 问答
相关问答
MaxCompute
在大数据计算MaxCompute中，这个hash join 内存超了的问题是什么场景产生的？
134
2
0
在云效中如何设置流水线构建时候镜像容器的cpu和内存？
196
2
0
把mc的外表映射到hologres里面，然后往另外一张holo表写数据，报内存不足，有啥好办法？
185
1
0
flinkcdc在读取pg数据时，算子消耗内存过大，该怎么设置可以取消掉这个算子？
89
1
0
在大数据计算MaxCompute中，内存限制为8g，能够突破吗？
85
1
0
在大数据计算MaxCompute中，为什么hash join 内存超了？
95
1
0
MaxCompute可以全局设置表全表扫描fullscan吗？
177
10
0
在大数据计算MaxCompute中内存是map和reduce或者join阶段的内存吗？
76
0
0
大佬，oracle单表增量同步时候源库服务器额外占用内存近2g，这不正常吧
626
1
0
服务器硬件中的内存宽带是指什么呢？
929
1
0
大数据与机器学习

大数据计算 MaxCompute

MaxCompute（原ODPS）是一项面向分析的大数据计算服务，它以Serverless架构提供快速、全托管的在线数据仓库服务，消除传统数据平台在资源扩展性和弹性方面的限制，最小化用户运维投入，使您经济并高效的分析处理海量数据。

我要提问

相关文章

  • ODPS十五周年实录|构建 AI 时代的大数据基础设施
  • 阿里云大数据AI产品月刊-2025年8月
  • 基于python大数据的水文数据分析可视化系统
  • 【机会约束】【N-1故障】使用随机方法进行最佳PMU位置确定（Matlab代码实现）
  • 【产品升级】Dataphin V4.5 全新上线：研发效能再提升，资产运营更高效

    • 热门讨论

    热门文章

  • 阿里云和腾讯云服务器哪个好！
  • ODPS 的下一个15年，大数据将迎来春天还是寒冬？
  • 数据采集中数据源共包含哪些？
  • 阿里云一个CU对应多少cpu和内存?
  • 大数据计算MaxCompute跨主账号的两个数据库，怎么授权 另一主账户 跨库查询啊？
  • 请问怎么查看大数据计算MaxCompute的版本?
  • Maxcompute算是属于关系型数据库还是非关系型数据库？
  • DataWorks中DBeaver查询MaxCompute，默认是UTC时区，这个要怎么修改呢？
  • 大数据计算MaxCompute钉钉机器人发报警webhook调用量到上限了，这个怎么处理？
  • 咨询一下，我们需要查询odps项目空间的每一张表存储量情况，分区情况等，有没有相应的命令或者SQL？
    • 展开全部
  • 阿里云MaxCompute（大数据）公开数据集---带你玩转人工智能
  • [大数据新手上路]“零基础”系列课程--如何将ECS上的Hadoop数据迁移到阿里云数加·MaxCompute
  • 企业大数据平台下数仓建设思路
  • PyODPS DataFrame 处理笛卡尔积的几种方式
  • 标签分类理论
  • 【转载文章】记录一次MySQL两千万数据的大表优化解决过程，提供三种解决方案
  • MaxCompute访问TableStore(OTS) 数据（20170601更新）
  • Python实现MaxCompute UDF/UDAF/UDTF
  • 专访20年技术老兵云郎：16年峰回路，每一步都是更好的沉淀
  • MaxCompute数据安全机制
    • 展开全部
    还有其他疑问?
    咨询AI助理