PostgreSQL 并行计算解说 之15 - parallel bitmap scan

本文涉及的产品
云原生数据库 PolarDB MySQL 版,通用型 2核4GB 50GB
云原生数据库 PolarDB PostgreSQL 版,标准版 2核4GB 50GB
简介: 标签 PostgreSQL , cpu 并行 , smp 并行 , 并行计算 , gpu 并行 , 并行过程支持 背景 PostgreSQL 11 优化器已经支持了非常多场合的并行。简单估计,已支持27余种场景的并行计算。 parallel seq scan

标签

PostgreSQL , cpu 并行 , smp 并行 , 并行计算 , gpu 并行 , 并行过程支持


背景

PostgreSQL 11 优化器已经支持了非常多场合的并行。简单估计,已支持27余种场景的并行计算。

parallel seq scan                                
                                
parallel index scan                                
                                
parallel index only scan                                
                                
parallel bitmap scan                                
                                
parallel filter                                
                            
parallel hash agg                            
                            
parallel group agg                            
                                
parallel cte                                
                                
parallel subquery                                
                                
parallel create table                                
                                
parallel create index                                
                                
parallel select into                                
                                
parallel CREATE MATERIALIZED VIEW                                
                                
parallel 排序 : gather merge                                 
                                
parallel nestloop join                                
                                
parallel hash join                                
                                
parallel merge join                                
                                
parallel 自定义并行聚合                                
                                
parallel 自定义并行UDF                                
                                
parallel append                                
                                
parallel union                                
                                
parallel fdw table scan                                
                                
parallel partition join                                
                                
parallel partition agg                                
                                
parallel gather                        
                
parallel gather merge                
                                
parallel rc 并行                                
                                
parallel rr 并行                                
                                
parallel GPU 并行                                
                                
parallel unlogged table                                 

接下来进行一一介绍。

关键知识请先自行了解:

1、优化器自动并行度算法 CBO

《PostgreSQL 9.6 并行计算 优化器算法浅析》

《PostgreSQL 11 并行计算算法,参数,强制并行度设置》

parallel bitmap scan

并行索引位图扫描

数据量:10亿。

create unlogged table table5 (i int, c1 int);      
insert into table5 select i, random()*100 from generate_series(1,1000000000) t(i);      
vacuum analyze table5;      
set max_parallel_maintenance_workers=32;      
create index idx_table5_1 on table5(c1);      
alter table table5 set (parallel_workers =64);      
场景 数据量 关闭并行 开启并行 并行度 开启并行性能提升倍数
parallel bitmap scan 10 亿 23.98 秒 15.86 秒 20 1.5 倍

1、关闭并行,耗时: 23.98 秒。

postgres=# explain select avg(i) from table5 where c1=1 and i<1000000;      
                                         QUERY PLAN                                             
--------------------------------------------------------------------------------------------    
 Aggregate  (cost=4674865.61..4674865.62 rows=1 width=32)    
   ->  Bitmap Heap Scan on table5  (cost=103061.21..4674840.21 rows=10158 width=4)    
         Recheck Cond: (c1 = 1)    
         Filter: (i < 1000000)    
         ->  Bitmap Index Scan on idx_table5_1  (cost=0.00..103058.68 rows=9800000 width=0)    
               Index Cond: (c1 = 1)    
(6 rows)    
    
postgres=# select avg(i) from table5 where c1=1 and i<1000000;      
         avg             
---------------------    
 501131.321720902376    
(1 row)    
    
Time: 23979.690 ms (00:23.980)    

2、开启并行,耗时: 15.86 秒。

postgres=# explain select avg(i) from table5 where c1=1 and i<1000000;      
                                               QUERY PLAN                                                   
--------------------------------------------------------------------------------------------------------    
 Finalize Aggregate  (cost=4535191.55..4535191.56 rows=1 width=32)    
   ->  Gather  (cost=4535191.48..4535191.49 rows=20 width=32)    
         Workers Planned: 20    
         ->  Partial Aggregate  (cost=4535191.48..4535191.49 rows=1 width=32)    
               ->  Parallel Bitmap Heap Scan on table5  (cost=103061.21..4535190.21 rows=508 width=4)    
                     Recheck Cond: (c1 = 1)    
                     Filter: (i < 1000000)    
                     ->  Bitmap Index Scan on idx_table5_1  (cost=0.00..103058.68 rows=9800000 width=0)    
                           Index Cond: (c1 = 1)    
(9 rows)    
    
postgres=# select avg(i) from table5 where c1=1 and i<1000000;      
         avg             
---------------------    
 501131.321720902376    
(1 row)    
    
Time: 15862.531 ms (00:15.863)    

位图扫描的index scan阶段没有使用并行,heap scan阶段开始使用并行,所以总体效率没有index scan高。

为什么bitmap index scan阶段没有并行呢?要从BITMAP INDEX SCAN的原理说起,bitmap scan的index scan部分实际上是要从index中得到满足条件的tuple的heap block id。并给block id排序,顺序返回。然后再进入heap scan阶段,heap scan阶段,按上个阶段拿到的block id顺序扫描,并对条件进行recheck。所以block i顺序是关键。

如果要让bitmap index scan阶段支持并行,那么应该在index scan阶段上面再加一个gather merge, 用于合并bitmap index scan parallel worker process 返回的 block ids。

parallel bitmap heap scan   
  gather merge (block ids) -> 加这个步骤   
    parallel bit map index scan (return block ids) -> 支持并行   

bitmap scan适合离散度非常高,并且离散IO的成本很高的场景。因为bitmap scan的heap scan是按HEAP顺序扫的,同时heap scan阶段需要对index condition进行recheck,所以bitmap scan比index scan更耗费CPU。

其他知识

1、优化器自动并行度算法 CBO

《PostgreSQL 9.6 并行计算 优化器算法浅析》

《PostgreSQL 11 并行计算算法,参数,强制并行度设置》

2、function, op 识别是否支持parallel

postgres=# select proparallel,proname from pg_proc;                                
 proparallel |                   proname                                                    
-------------+----------------------------------------------                                
 s           | boolin                                
 s           | boolout                                
 s           | byteain                                
 s           | byteaout                                

3、subquery mapreduce unlogged table

对于一些情况,如果期望简化优化器对非常非常复杂的SQL并行优化的负担,可以自己将SQL拆成几段,中间结果使用unlogged table保存,类似mapreduce的思想。unlogged table同样支持parallel 计算。

4、vacuum,垃圾回收并行。

5、dblink 异步调用并行

《PostgreSQL VOPS 向量计算 + DBLINK异步并行 - 单实例 10亿 聚合计算跑进2秒》

《PostgreSQL 相似搜索分布式架构设计与实践 - dblink异步调用与多机并行(远程 游标+记录 UDF实例)》

《PostgreSQL dblink异步调用实现 并行hash分片JOIN - 含数据交、并、差 提速案例 - 含dblink VS pg 11 parallel hash join VS pg 11 智能分区JOIN》

暂时不允许并行的场景(将来PG会继续扩大支持范围):

1、修改行,锁行,除了create table as , select into, create mview这几个可以使用并行。

2、query 会被中断时,例如cursor , loop in PL/SQL ,因为涉及到中间处理,所以不建议开启并行。

3、paralle unsafe udf ,这种UDF不会并行

4、嵌套并行(udf (内部query并行)),外部调用这个UDF的SQL不会并行。(主要是防止large parallel workers )

5、SSI 隔离级别

参考

https://www.postgresql.org/docs/11/parallel-plans.html

《PostgreSQL 11 并行计算算法,参数,强制并行度设置》

《PostgreSQL 11 preview - 并行计算 增强 汇总》

《PostgreSQL 10 自定义并行计算聚合函数的原理与实践 - (含array_agg合并多个数组为单个一元数组的例子)》

《PostgreSQL 9.6 并行计算 优化器算法浅析》

 

免费领取阿里云RDS PostgreSQL实例、ECS虚拟机

相关实践学习
使用PolarDB和ECS搭建门户网站
本场景主要介绍基于PolarDB和ECS实现搭建门户网站。
阿里云数据库产品家族及特性
阿里云智能数据库产品团队一直致力于不断健全产品体系,提升产品性能,打磨产品功能,从而帮助客户实现更加极致的弹性能力、具备更强的扩展能力、并利用云设施进一步降低企业成本。以云原生+分布式为核心技术抓手,打造以自研的在线事务型(OLTP)数据库Polar DB和在线分析型(OLAP)数据库Analytic DB为代表的新一代企业级云原生数据库产品体系, 结合NoSQL数据库、数据库生态工具、云原生智能化数据库管控平台,为阿里巴巴经济体以及各个行业的企业客户和开发者提供从公共云到混合云再到私有云的完整解决方案,提供基于云基础设施进行数据从处理、到存储、再到计算与分析的一体化解决方案。本节课带你了解阿里云数据库产品家族及特性。
目录
相关文章
|
SQL 移动开发 关系型数据库
PostgreSQL 执行计划,成本公式解说,代价因子校准,自动跟踪SQL执行计划(三)|学习笔记
快速学习PostgreSQL 执行计划,成本公式解说,代价因子校准,自动跟踪SQL执行计划(三)
PostgreSQL 执行计划,成本公式解说,代价因子校准,自动跟踪SQL执行计划(三)|学习笔记
|
SQL 存储 Oracle
PostgreSQL 分页, offset, 返回顺序, 扫描方法原理(seqscan, index scan, index only scan, bitmap scan, parallel xx scan),游标
PostgreSQL 分页, offset, 返回顺序, 扫描方法原理(seqscan, index scan, index only scan, bitmap scan, parallel xx scan),游标
3839 0
|
SQL 存储 弹性计算
PostgreSQL 分页, offset, 返回顺序, 扫描方法原理(seqscan, index scan, index only scan, bitmap scan, parallel xx scan),游标
标签 PostgreSQL , 数据离散性 , 扫描性能 , 重复扫 , bitmap index scan , 排序扫描 , 扫描方法 , 顺序 背景 一个这样的问题: 为什么select x from tbl offset x limit x; 两次查询连续的OFFSET,会有重复数据呢? select ctid,* from tbl where ... offset 0 li
2095 0
|
SQL 分布式计算 并行计算
PostgreSQL 并行计算解说 之13 - parallel OLAP : 中间结果 parallel with unlogged table
标签 PostgreSQL , cpu 并行 , smp 并行 , 并行计算 , gpu 并行 , 并行过程支持 背景 PostgreSQL 11 优化器已经支持了非常多场合的并行。简单估计,已支持27余种场景的并行计算。 parallel seq scan parallel
643 0
|
SQL 分布式计算 并行计算
PostgreSQL 并行计算解说 之14 - parallel index scan
标签 PostgreSQL , cpu 并行 , smp 并行 , 并行计算 , gpu 并行 , 并行过程支持 背景 PostgreSQL 11 优化器已经支持了非常多场合的并行。简单估计,已支持27余种场景的并行计算。 parallel seq scan paral
1185 0
|
存储 关系型数据库 Go
PostgreSQL 11 内核优化 - 降低vacuum cleanup阶段index scan概率 ( vacuum_cleanup_index_scale_factor , skip index vacuum cleanup stage)
PostgreSQL 11 内核优化 - 降低vacuum cleanup阶段index scan概率 ( vacuum_cleanup_index_scale_factor , skip index vacuum cleanup stage)
1267 0
|
关系型数据库 分布式数据库 PolarDB
《阿里云产品手册2022-2023 版》——PolarDB for PostgreSQL
《阿里云产品手册2022-2023 版》——PolarDB for PostgreSQL
363 0
|
存储 缓存 关系型数据库
|
存储 SQL 并行计算
PolarDB for PostgreSQL 开源必读手册-开源PolarDB for PostgreSQL架构介绍(中)
PolarDB for PostgreSQL 开源必读手册-开源PolarDB for PostgreSQL架构介绍
419 0
|
存储 算法 安全
PolarDB for PostgreSQL 开源必读手册-开源PolarDB for PostgreSQL架构介绍(下)
PolarDB for PostgreSQL 开源必读手册-开源PolarDB for PostgreSQL架构介绍
382 0

热门文章

最新文章