AI 助理
备案控制台
开发者社区 大数据与机器学习 大数据计算 MaxCompute 正文

MaxCompute使用分区过滤为什么需要优化？

已解决

MaxCompute使用分区过滤为什么需要优化？

展开
收起
甜甜的嘻嘻嘻 2022-08-03 14:49:47 649 分享 版权

版权声明：本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。

1 条回答
写回答
取消 提交回答
  • 小羊桃桃冰
    推荐回答

    在过滤分区的时候，有时需要使用一些自定义的逻辑，通过一些自定义的功能来确定分区的范围。当增加一个 UDF 时往往会发生全表扫描，这是因为在提交查询的时候还不能确定提交的分区到底是哪个，因此会发生全表扫描，进而带来比较高的费用和更重的负载。

    以上内容摘自《大数据工程师必读手册》电子书，点击https://developer.aliyun.com/topic/download?id=29可下载完整版

    2022-08-03 14:56:48
    赞同 展开评论
问答分类：
分布式计算 MaxCompute 云原生大数据计算服务 MaxCompute
问答标签：
云原生大数据计算服务 MaxCompute分区 云原生大数据计算服务 MaxCompute分区优化 云原生大数据计算服务 MaxCompute优化
问答地址：
开发者社区 > 大数据与机器学习 > 大数据计算 MaxCompute > 问答
相关问答
MaxCompute
大数据计算MaxCompute这种mapjoin构建hash table时间很长，有什么优化方向吗?
59
1
0
大数据计算MaxCompute做了一个查询 结果一直在排队 这个能优化吗？
88
2
0
MaxCompute支持并行计算以加速数据处理任务。要优化并行度，如何调整参数？
33
0
0
大数据计算MaxCompute任务长时间卡在这个 阶段，如何优化？
80
1
0
大数据计算MaxCompute小表join大表关联键重复值有点多的话，有参数优化或者优化案例嘛？
93
1
0
MaxCompute这个语句该怎么优化呀？
50
1
0
大数据计算MaxCompute进度卡在33% 半小时了 ，怎么优化？
49
1
0
大数据计算MaxCompute用的 table 2.0的表 ，这个可以如何进行优化 ？
58
2
0
大数据计算MaxCompute优化后速度没变，在哪里调整并发？
88
1
0
在大数据计算MaxCompute中查询一个表的分区数据时候，请问 partition 语法不对吗？
82
2
0
大数据与机器学习

大数据计算 MaxCompute

MaxCompute（原ODPS）是一项面向分析的大数据计算服务，它以Serverless架构提供快速、全托管的在线数据仓库服务，消除传统数据平台在资源扩展性和弹性方面的限制，最小化用户运维投入，使您经济并高效的分析处理海量数据。

我要提问
收录在圈子:
开发者社区官方技术圈
70071
+ 订阅
阿里云开发者社区官方技术圈，用户产品功能发布、用户反馈收集等。

相关文章

  • 官宣｜Apache Paimon 1.0 发布公告
  • Flink CDC 3.3.0 发布公告
  • 湖仓实时化升级 ：Uniflow 构建流批一体实时湖仓
  • 基于云服务器的数仓搭建-集群安装
  • EF应用阿里云上的 Salesforce，刷新客户服务体验

    • 热门讨论

    热门文章

  • 大数据计算MaxCompute钉钉机器人发报警webhook调用量到上限了，这个怎么处理？
  • 如何将py文件资源传入ODPS DataFrame的map/apply方法的resources参数？
  • MaxCompute中执行SQL报错ODPS-0130071
  • Maxcompute中如何处理ODPS-0130071:Semantic analysis exce
  • DataWorks打不开是怎么回事？
  • 大数据计算MaxCompute我这边推送到钉群中的文案 都是英文的 想要改成功中文的应该怎么做？
  • 大数据计算MaxCompute ODPS-0010000:System internal这个怎么办？
  • 大数据计算MaxCompute配置参数在开发环境进行调度，参数解析不出来，这是需要额外做什么配置吗？
  • sparksql中cte物化方式是怎样的
  • 大数据计算MaxCompute该字段类型从tinyint改为Int,怎么修改?
    • 展开全部
  • 阿里云开源离线同步工具DataX3.0介绍
  • odps是什么?
  • 【转载】时隔一年多，我又用起了 Superset
  • 细数阿里云服务器的十二种典型应用场景
  • MaxCompute SQL中的更新和删除如何实现
  • 阿里云智能推荐AIRec产品介绍
  • MaxCompute操作报错合集之在flush操作中报错："context deadline exceeded (Client.Timeout exceeded while awaiting headers)"，该如何解决
  • HTTP代理配置中的常见错误及其解决方案
  • 高效使用 PyODPS 最佳实践
  • 利用MaxCompute内建函数及UDTF转换json格式日志数据
    • 展开全部
    还有其他疑问?
    咨询AI助理