1
条回答
写回答
写回答
-
推荐回答在数据密集型作业中，shuffle 阶段的时间和资源使用占比非常高，有其他大数据公司研究显示，在大数据计算平台上 Shuffle 阶段均是在所有作业的资源使用中占比超过 50%. 根据统计在 MaxCompute 生产中 shuffle 占作业运行时间和资源消耗的 30-70%。
以上内容摘自《“伏羲”神算》电子书，点击https://developer.aliyun.com/topic/download?id=873
2022-08-10 17:56:11赞同 展开评论 打赏
问答分类：
问答地址：
开发者社区
>
大数据与机器学习
>
大数据计算 MaxCompute
>
问答
版权声明：本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。
相关问答
MaxCompute（原ODPS）是一项面向分析的大数据计算服务，它以Serverless架构提供快速、全托管的在线数据仓库服务，消除传统数据平台在资源扩展性和弹性方面的限制，最小化用户运维投入，使您经济并高效的分析处理海量数据。
热门讨论
热门文章
大数据计算MaxCompute中log报这个错误，看不了日志了怎么办？
58
MaxCompute中执行SQL报错ODPS-0130071
23218
解析并获取大json，是否更推荐json_tuple()？
1145
请问大数据计算MaxCompute有主键这种说法么?
580
大数据计算MaxCompute实时增量采集MYSQL binlog用的是streamx 的 吗？
33
大数据计算MaxCompute购买怎么选呀？
24
DataWorks从maxcomputer作业运维里面任务的logview点进去这个权限是在哪里开？
38
大数据计算MaxCompute这个一般是什么原因导致的啊？
23
MaxCompute单元测试没有问题，通过本地运行却显示字段不存在，但是这个字段我是有的，有碰到吗？
2359
dataworks中maxcompute里是否内置比较字符串相似度的函数？
80
展开全部
阿里巴巴飞天大数据平台MaxCompute（原名ODPS）全套攻略（持续更新20200109）
131344
阿里云开源离线同步工具DataX3.0介绍
102781
odps是什么?
67428
美柚：最懂女性App背后的混合云架构与大数据服务
23655
MaxCompute执行作业慢的原因排查
24260
优酷背后的大数据秘密
22165
使用 odps-jdbc 接入 ODPS，不再从零开始
22758
品《阿里巴巴大数据实践-大数据之路》一书（上）
18050
阿里云MaxCompute 2019-5月刊
15094
［ETL实践指南］基于Kettle的MaxCompute插件实现数据上云
19988
展开全部
