1
条回答
写回答
写回答
-
推荐回答在现实情况中，许多物理特性相关的问题，在作业运行前是无法被感知的。以数据特性为例，一个分布式作业在运行前，能够获得的只有原始输入的一些特性（数据量等）， 对于一个较深的 DAG 执行而言，这也就意味着只有根节点的物理计划（并发度选择等）是相对合理的，而下游的节点和边的物理特性只能通过一些特定的规则来猜测。虽然在输入数据有丰富的 statistics 的前提下，优化器有可能可以将这些 statistics，与执行 plan 中的各个 operator 特性结合起来，进行一些适度的演算：从而推断在整个执行流程中，每一步产生中间数据可能符合什么样的特性。
以上内容摘自《“伏羲”神算》电子书，点击https://developer.aliyun.com/topic/download?id=873
2022-08-10 18:10:26赞同 展开评论 打赏
版权声明：本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。
相关问答
MaxCompute（原ODPS）是一项面向分析的大数据计算服务，它以Serverless架构提供快速、全托管的在线数据仓库服务，消除传统数据平台在资源扩展性和弹性方面的限制，最小化用户运维投入，使您经济并高效的分析处理海量数据。
热门讨论
热门文章
请教一下，有个项目需要把odps的数据从私有云A 迁移到私有云B，两者都是阿里云大数据平台，网络互通
2607
解析并获取大json，是否更推荐json_tuple()？
1611
大数据计算MaxCompute中如果说我这边的程序接收到用户上传文件的请求，应该调用哪个API接口？
1819
大数据计算MaxCompute如果一个字段超过8mb，mc有办法存储吗？
564
MaxCompute SQL，如何将查询结果作为变量使用？
22
MaxCompute单元测试没有问题，通过本地运行却显示字段不存在，但是这个字段我是有的，有碰到吗？
2995
dataworks已经提交申请，我当前sql会报错我想知道对应美西的配置信息应该是怎么样的？
62
MaxCompute中报错ODPS-0121145:Data overflow
1063
MaxCompute这样的情况应该怎么解决啊？
254
请问大数据计算MaxCompute有主键这种说法么?
1164
展开全部
阿里云开源离线同步工具DataX3.0介绍
105110
盘古：阿里云飞天分布式存储系统设计深度解析
44966
空格App亿元A轮融资背后：云上多场景技术架构实践与经验
19904
优酷背后的大数据秘密
22495
［ETL实践指南］基于Kettle的MaxCompute插件实现数据上云
20225
阿里云大数据计算平台的自动化、精细化运维之路
12135
3天撸完一个团队半年的项目，单客户数据动辄几百万的行业也玩云？
9866
【转载文章】记录一次MySQL两千万数据的大表优化解决过程，提供三种解决方案
11314
阿里云 MaxCompute 2020-4 月刊
9137
细数阿里云服务器的十二种典型应用场景
10689
展开全部
