开发者社区> 问答> 正文

Spark SQL在MRACC中有哪些特定的优化措施?

Spark SQL在MRACC中有哪些特定的优化措施?

展开
收起
花开富贵111 2024-07-23 15:58:50 33 0
1 条回答
写回答
取消 提交回答
  • 在MRACC中,Spark SQL进行了多项优化,包括但不限于:支持subquery的动态数据裁剪以减少参与计算的数据量;在物理计划执行阶段支持window topn排序以提升包含limit的SQL语句性能;支持parquet rowgroup裁剪、bloom filter join等高级特性;使用遗传算法搜索解决join table过多导致的cbo搜索开销暴增问题;支持去重下推、join外键消除、完整性约束等功能,并结合deltalake支持数据的增删改操作。image.png

    2024-07-23 16:19:14
    赞同 展开评论 打赏
问答排行榜
最热
最新

相关电子书

更多
Hybrid Cloud and Apache Spark 立即下载
Scalable Deep Learning on Spark 立即下载
Comparison of Spark SQL with Hive 立即下载