Spark SQL在MRACC中有哪些特定的优化措施？
版权声明：本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。
在MRACC中，Spark SQL进行了多项优化，包括但不限于：支持subquery的动态数据裁剪以减少参与计算的数据量；在物理计划执行阶段支持window topn排序以提升包含limit的SQL语句性能；支持parquet rowgroup裁剪、bloom filter join等高级特性；使用遗传算法搜索解决join table过多导致的cbo搜索开销暴增问题；支持去重下推、join外键消除、完整性约束等功能，并结合deltalake支持数据的增删改操作。
评论
全部评论 (0)