AI 助理
备案控制台
开发者社区 大数据与机器学习 大数据计算 MaxCompute 正文

大数据计算MaxCompute这个任务报错OOM，还麻烦帮忙看下有什么办法解决？

大数据计算MaxCompute这个任务报错OOM，还麻烦帮忙看下有什么办法解决？
https://logview.aliyun.com/logview/?h=http://service.cn.maxcompute.aliyun-inc.com/api&p=inf_data_platform&i=20230822083530876gctozhe2vtv3&token=RVJCTVdvdk1uU3NSOVdWMXE1MGlDNkJDZFBFPSxPRFBTX09CTzoxMTM0MTU1NTMwNDE4Nzc0LDE2OTUyODUzMzEseyJTdGF0ZW1lbnQiOlt7IkFjdGlvbiI6WyJvZHBzOlJlYWQiXSwiRWZmZWN0IjoiQWxsb3ciLCJSZXNvdXJjZSI6WyJhY3M6b2RwczoqOnByb2plY3RzL2luZl9kYXRhX3BsYXRmb3JtL2luc3RhbmNlcy8yMDIzMDgyMjA4MzUzMDg3NmdjdG96aGUydnR2MyJdfV0sIlZlcnNpb24iOiIxIn0=

展开
收起
青城山下庄文杰 2023-08-26 14:08:50 72 分享 版权

版权声明：本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。

1 条回答
写回答
取消 提交回答
  • Ð

    这里的1GB是压缩后的吗，可能解压是不是就不止这么大了；能切分读吗，数据文件把大的切成两个存储，不要这么大。这个参数是控制mapper的数量，我看mapper数据量已经很多了。

    这里说的切分是源端进行切分，可以切分试试吗，怀疑还是某个文件太大导致-此回答整理自钉群“MaxCompute开发者社区1群”

    2023-08-29 16:44:37
    赞同 展开评论
问答分类：
分布式计算 大数据 MaxCompute 云原生大数据计算服务 MaxCompute
问答标签：
云原生大数据计算服务 MaxCompute MaxCompute 大数据计算云原生大数据计算服务 MaxCompute 云原生大数据计算服务 MaxCompute报错 云原生大数据计算服务 MaxCompute任务 大数据云原生大数据计算服务 MaxCompute报错
问答地址：
开发者社区 > 大数据与机器学习 > 大数据计算 MaxCompute > 问答
相关问答
MaxCompute
大数据计算MaxCompute odps py sdk，我执行SQL的时候她是跑在哪个资源组的呢？
133
3
0
大数据计算MaxCompute odps客户端建立外部表成功了，但是插入数据报错？
158
1
0
大数据计算MaxCompute看日志好像是因为这个原因，但是文档上不是写的如果超了会退回离线查询吗？
62
0
0
在大数据计算MaxCompute中，麻烦添加下MaxCompute Notebook使用权限吧！
99
3
0
在大数据计算MaxCompute中，这是""空，就是不包含的意思么？如果包含要咋写
122
2
0
请问大数据计算MaxCompute，这个报错一般怎么导致的呢？可以怎么解决?
103
3
0
大数据计算MaxCompute按这个文档报错可以帮忙看下原因吗？
81
2
0
maxcompute 和odps的关系是什么啊，我第一次做这个，有点不懂
1090
1
0
大数据中maxcompute跟emr的区别是什么呢？
855
1
0
云原生大数据计算服务 MaxCompute里，运维中最重要的模块是谁？
936
1
0
大数据与机器学习

大数据计算 MaxCompute

MaxCompute（原ODPS）是一项面向分析的大数据计算服务，它以Serverless架构提供快速、全托管的在线数据仓库服务，消除传统数据平台在资源扩展性和弹性方面的限制，最小化用户运维投入，使您经济并高效的分析处理海量数据。

我要提问

相关文章

  • 【赵渝强老师】阿里云大数据MaxCompute的体系架构
  • 别光喊“用户至上”，电子商务体验要靠大数据来落地！
  • 【故障诊断】感应电机故障检测与诊断（Simulink）
  • 如何做好SQL质量监控
  • 基于python大数据的商品数据可视化及推荐系统

    • 热门讨论

    热门文章

  • 阿里云和腾讯云服务器哪个好！
  • ODPS 的下一个15年，大数据将迎来春天还是寒冬？
  • 大数据计算MaxCompute跨主账号的两个数据库，怎么授权 另一主账户 跨库查询啊？
  • 大数据计算MaxCompute看后续的日志文件中提示请求头异常？
  • DataWorks中DBeaver查询MaxCompute，默认是UTC时区，这个要怎么修改呢？
  • MaxCompute这个错误提示不是修改下面这个设置吗？
  • 数据采集中数据源共包含哪些？
  • 大数据计算MaxCompute怎么在sql里获取到本周，上周的开始日期和结束日期的方法啊？
  • 大数据计算MaxCompute的datawork做数据同步的时候，可以解决源系统表名不固定的情况嘛？
  • 大数据计算MaxCompute钉钉机器人发报警webhook调用量到上限了，这个怎么处理？
    • 展开全部
  • odps是什么?
  • 优酷背后的大数据秘密
  • 2017杭州云栖大会FAQ（持续更新中）
  • Python+大数据计算平台，PyODPS架构手把手教你搭建
  • 品《阿里巴巴大数据实践-大数据之路》一书（上）
  • 干货：解码OneData，阿里的数仓之路。
  • ［ETL实践指南］基于Kettle的MaxCompute插件实现数据上云
  • MaxCompute常见错误汇总（更新ing）
  • 品《阿里巴巴大数据实践-大数据之路》一书(下)
  • 大数据阿里云产品的简单介绍理解
    • 展开全部
    还有其他疑问?
    咨询AI助理