AnalyticDB向量化引擎

简介: AnalyticDB向量化引擎

AnalyticDB是阿里云企业级云原生数据仓库,在GreenPlum和PostgreSQL基础上开发的。语法上对两者保持兼容,功能层面上为GP超集。其架构:

 

这里重点关注他的向量化引擎。PG的执行引擎是Record-Oriented的火山模型,也就是面向行。ADB自研了Block-Oriented向量化执行引擎。

 

对于Record-Oriented通过getNext()接口每次获取一个记录,Block-Oriented模式下通过getNextBlock()接口一次获取一批记录,同时每个算子综合运用向量化和即时编译技术,对这一批记录执行相同处理逻辑,从下面的收益出发,获得更高效的资源利用,从而使执行更快:

1)每行读取和使用相同逻辑处理一批记录,能获得更高的CPU指令和数据缓存命中率

2)从一次函数调用处理一条记录到一次函数调用处理一批数据,同时即时编译则直接避免函数调用,总体函数调用次数和开销减少。

3)内存的分配和回收,也从每条记录的分配回收,到每批记录的分配和回收,整体减少内存分配回收次数和碎片管理的开销

4)在按批处理模型下,代码实现能更好地以向量化方式实现,一方面有利于CPU进行数据预取,另一方面尽可能减少程序的条件跳转,从CPU获得更好的指令流水线执行,同时也有利于编译器生成SIMD指令提高执行效率

其宣讲稿中展示了向量化分组聚合场景:

 

向量化按批读取和处理的行为在本批次中让需要处理的数据和指令都驻留在CPU的L1/L2 Cache中,在缓存命中情况下性能为从内存读取的10-30倍。同时对该批次数据进行相同指令的处理,也能让CPU更好地流水线执行,减少CPU Hazards。即时编译代码生成针对表达式处理场景,直接避免了解释执行模式下高频函数调用。


相关实践学习
阿里云云原生数据仓库AnalyticDB MySQL版 使用教程
云原生数据仓库AnalyticDB MySQL版是一种支持高并发低延时查询的新一代云原生数据仓库,高度兼容MySQL协议以及SQL:92、SQL:99、SQL:2003标准,可以对海量数据进行即时的多维分析透视和业务探索,快速构建企业云上数据仓库。 了解产品 https://www.aliyun.com/product/ApsaraDB/ads
目录
相关文章
|
存储 人工智能 OLAP
LangChain+通义千问+AnalyticDB向量引擎保姆级教程
本文以构建AIGC落地应用ChatBot和构建AI Agent为例,从代码级别详细分享AI框架LangChain、阿里云通义大模型和AnalyticDB向量引擎的开发经验和最佳实践,给大家快速落地AIGC应用提供参考。
133632 94
|
SQL 存储 OLAP
适用于即席查询(Ad-Hoc)的OLAP引擎
即席查询(Ad Hoc)是用户根据自己的需求,灵活的选择查询条件,OLAP系统根据用户输入的查询条件实时返回查询结果。OLAP的即席查询与普通查询的不同之处就是很难对前者进行预先的优化,因为即席查询所响应的大都是随机性很强的查询请求。一个OLAP系统的即席查询能力越强,其应对不同用户的随机性和探索性分析的能力就越强。
1144 0
适用于即席查询(Ad-Hoc)的OLAP引擎
|
存储 人工智能 关系型数据库
阿里云AnalyticDB for PostgreSQL 入选VLDB 2025:统一架构破局HTAP,Beam+Laser引擎赋能Data+AI融合新范式
在数据驱动与人工智能深度融合的时代,企业对数据仓库的需求早已超越“查得快”这一基础能力。面对传统数仓挑战,阿里云瑶池数据库AnalyticDB for PostgreSQL(简称ADB-PG)创新性地构建了统一架构下的Shared-Nothing与Shared-Storage双模融合体系,并自主研发Beam混合存储引擎与Laser向量化执行引擎,全面解决HTAP场景下性能、弹性、成本与实时性的矛盾。 近日,相关研究成果发表于在英国伦敦召开的数据库领域顶级会议 VLDB 2025,标志着中国自研云数仓技术再次登上国际舞台。
1562 1
|
存储 SQL 关系型数据库
拉卡拉 x Apache Doris:统一金融场景 OLAP 引擎,查询提速 15 倍,资源直降 52%
拉卡拉早期基于 Lambda 架构构建数据系统面临存储成本高、实时写入性能差、复杂查询耗时久、组件维护复杂等问题。为此,拉卡拉选择使用 Apache Doris 替换 Elasticsearch、Hive、Hbase、TiDB、Oracle / MySQL 等组件,实现了 OLAP 引擎的统一、查询性能提升 15 倍、资源减少 52% 的显著成效。
958 6
拉卡拉 x Apache Doris:统一金融场景 OLAP 引擎,查询提速 15 倍,资源直降 52%
|
人工智能 自然语言处理 关系型数据库
客户说|宝宝树选用AnalyticDB RAG引擎,共创智能母婴生活新范式
宝宝树与阿里云深度合作,利用大数据和AI技术,推出了一系列智能化产品,如AI解读B超单、AI起名等,覆盖备孕、孕期、产后等场景,提升了用户体验,推动了商业化进程。通过技术架构的优化,宝宝树在内容生产和搜索精度上取得了显著成效,未来将继续深化“AI+母婴”战略,为用户提供更全面、个性化的服务。
|
人工智能 关系型数据库 MySQL
一键实现穿衣自由,揭秘淘宝AI试衣间硬核技术,AnalyticDB向量在线召回
云原生数据仓库AnalyticDB MySQL为淘宝AI试衣间提供高维向量低延时的在线向量召回检索服务。
一键实现穿衣自由,揭秘淘宝AI试衣间硬核技术,AnalyticDB向量在线召回
|
Cloud Native 关系型数据库 新能源
|
人工智能 自然语言处理 OLAP
AnalyticDB向量检索助力钉钉AI助理
2024年1月9日钉钉发布人人可用的AI助理产品,用户点击钉钉首屏右上角的魔法棒,即可唤起AI助理进行对话式数据AI、信息摘要、写工作总结、写文档等工作。AnalyticDB for PostgreSQL (下文简称ADB-PG) 向量检索引擎提供了核心实体的向量召回,帮助AI助理在智能问数等场景中大幅提升模型输出准确性。
1842 8
|
人工智能 关系型数据库 MySQL
一键实现穿衣自由|揭秘淘宝AI试衣间硬核技术:AnalyticDB MySQL向量在线召回
在AI试衣间功能的背后,阿里云瑶池旗下的云原生数据仓库AnalyticDB MySQL提供了高维向量低延时的在线向量召回检索服务,下面将进行介绍。
|
运维 关系型数据库 OLAP
阿里云百炼 x AnalyticDB向量引擎, 搭积木式轻松开发专属大模型应用
对大模型应用跃跃欲试,但奈何技术栈复杂难以下手?已经进行试水,但缺乏调优手段无法保障召回率和问答准确度?自行搭建大模型、向量检索引擎、服务API等基础组件难以运维?大模型种类繁多,但缺乏行业模型和应用模板?阿里云百炼 x AnalyticDB向量引擎推出一站式企业专属大模型开发和应用平台,像搭积木一样轻松完成企业专属大模型应用的开发,提供应用API,可一键接入企业自己的业务应用对外提供服务。
2250 0

热门文章

最新文章