开发者社区> 问答> 正文

ADB的自研向量化执行引擎是如何提升大数据量分析场景的性能的?

ADB的自研向量化执行引擎是如何提升大数据量分析场景的性能的?

展开
收起
圆葱猪肉包 2024-08-21 15:48:10 38 0
1 条回答
写回答
取消 提交回答
  • ADB在保留原生Greenplum/PostgreSQL引擎的同时,自研了Block-Oriented(Batch-at-a-time)向量化执行引擎。该引擎通过每次处理一批记录(而非单条记录),并综合运用向量化(Vectorization)和即时编译(JIT)技术,提高了CPU指令和数据缓存命中率,减少了函数调用次数和开销,降低了内存分配回收次数和碎片管理开销。此外,向量化执行还能更好地利用CPU的指令流水线执行,减少分支预测失败,并有利于编译器生成SIMD指令,从而提高执行效率。

    2024-08-21 17:30:38
    赞同 3 展开评论 打赏
问答排行榜
最热
最新

相关电子书

更多
Data+AI时代大数据平台应该如何建设 立即下载
大数据AI一体化的解读 立即下载
极氪大数据 Serverless 应用实践 立即下载