开发者社区> 德哥> 正文
阿里云
为了无法计算的价值
打开APP
阿里云APP内打开

PostgreSQL 并行计算解说 之15 - parallel bitmap scan

简介: 标签 PostgreSQL , cpu 并行 , smp 并行 , 并行计算 , gpu 并行 , 并行过程支持 背景 PostgreSQL 11 优化器已经支持了非常多场合的并行。简单估计,已支持27余种场景的并行计算。 parallel seq scan
+关注继续查看

标签

PostgreSQL , cpu 并行 , smp 并行 , 并行计算 , gpu 并行 , 并行过程支持


背景

PostgreSQL 11 优化器已经支持了非常多场合的并行。简单估计,已支持27余种场景的并行计算。

parallel seq scan                                
                                
parallel index scan                                
                                
parallel index only scan                                
                                
parallel bitmap scan                                
                                
parallel filter                                
                            
parallel hash agg                            
                            
parallel group agg                            
                                
parallel cte                                
                                
parallel subquery                                
                                
parallel create table                                
                                
parallel create index                                
                                
parallel select into                                
                                
parallel CREATE MATERIALIZED VIEW                                
                                
parallel 排序 : gather merge                                 
                                
parallel nestloop join                                
                                
parallel hash join                                
                                
parallel merge join                                
                                
parallel 自定义并行聚合                                
                                
parallel 自定义并行UDF                                
                                
parallel append                                
                                
parallel union                                
                                
parallel fdw table scan                                
                                
parallel partition join                                
                                
parallel partition agg                                
                                
parallel gather                        
                
parallel gather merge                
                                
parallel rc 并行                                
                                
parallel rr 并行                                
                                
parallel GPU 并行                                
                                
parallel unlogged table                                 

接下来进行一一介绍。

关键知识请先自行了解:

1、优化器自动并行度算法 CBO

《PostgreSQL 9.6 并行计算 优化器算法浅析》

《PostgreSQL 11 并行计算算法,参数,强制并行度设置》

parallel bitmap scan

并行索引位图扫描

数据量:10亿。

create unlogged table table5 (i int, c1 int);      
insert into table5 select i, random()*100 from generate_series(1,1000000000) t(i);      
vacuum analyze table5;      
set max_parallel_maintenance_workers=32;      
create index idx_table5_1 on table5(c1);      
alter table table5 set (parallel_workers =64);      
场景数据量关闭并行开启并行并行度开启并行性能提升倍数
parallel bitmap scan10 亿23.98 秒15.86 秒201.5 倍

1、关闭并行,耗时: 23.98 秒。

postgres=# explain select avg(i) from table5 where c1=1 and i<1000000;      
                                         QUERY PLAN                                             
--------------------------------------------------------------------------------------------    
 Aggregate  (cost=4674865.61..4674865.62 rows=1 width=32)    
   ->  Bitmap Heap Scan on table5  (cost=103061.21..4674840.21 rows=10158 width=4)    
         Recheck Cond: (c1 = 1)    
         Filter: (i < 1000000)    
         ->  Bitmap Index Scan on idx_table5_1  (cost=0.00..103058.68 rows=9800000 width=0)    
               Index Cond: (c1 = 1)    
(6 rows)    
    
postgres=# select avg(i) from table5 where c1=1 and i<1000000;      
         avg             
---------------------    
 501131.321720902376    
(1 row)    
    
Time: 23979.690 ms (00:23.980)    

2、开启并行,耗时: 15.86 秒。

postgres=# explain select avg(i) from table5 where c1=1 and i<1000000;      
                                               QUERY PLAN                                                   
--------------------------------------------------------------------------------------------------------    
 Finalize Aggregate  (cost=4535191.55..4535191.56 rows=1 width=32)    
   ->  Gather  (cost=4535191.48..4535191.49 rows=20 width=32)    
         Workers Planned: 20    
         ->  Partial Aggregate  (cost=4535191.48..4535191.49 rows=1 width=32)    
               ->  Parallel Bitmap Heap Scan on table5  (cost=103061.21..4535190.21 rows=508 width=4)    
                     Recheck Cond: (c1 = 1)    
                     Filter: (i < 1000000)    
                     ->  Bitmap Index Scan on idx_table5_1  (cost=0.00..103058.68 rows=9800000 width=0)    
                           Index Cond: (c1 = 1)    
(9 rows)    
    
postgres=# select avg(i) from table5 where c1=1 and i<1000000;      
         avg             
---------------------    
 501131.321720902376    
(1 row)    
    
Time: 15862.531 ms (00:15.863)    

位图扫描的index scan阶段没有使用并行,heap scan阶段开始使用并行,所以总体效率没有index scan高。

为什么bitmap index scan阶段没有并行呢?要从BITMAP INDEX SCAN的原理说起,bitmap scan的index scan部分实际上是要从index中得到满足条件的tuple的heap block id。并给block id排序,顺序返回。然后再进入heap scan阶段,heap scan阶段,按上个阶段拿到的block id顺序扫描,并对条件进行recheck。所以block i顺序是关键。

如果要让bitmap index scan阶段支持并行,那么应该在index scan阶段上面再加一个gather merge, 用于合并bitmap index scan parallel worker process 返回的 block ids。

parallel bitmap heap scan   
  gather merge (block ids) -> 加这个步骤   
    parallel bit map index scan (return block ids) -> 支持并行   

bitmap scan适合离散度非常高,并且离散IO的成本很高的场景。因为bitmap scan的heap scan是按HEAP顺序扫的,同时heap scan阶段需要对index condition进行recheck,所以bitmap scan比index scan更耗费CPU。

其他知识

1、优化器自动并行度算法 CBO

《PostgreSQL 9.6 并行计算 优化器算法浅析》

《PostgreSQL 11 并行计算算法,参数,强制并行度设置》

2、function, op 识别是否支持parallel

postgres=# select proparallel,proname from pg_proc;                                
 proparallel |                   proname                                                    
-------------+----------------------------------------------                                
 s           | boolin                                
 s           | boolout                                
 s           | byteain                                
 s           | byteaout                                

3、subquery mapreduce unlogged table

对于一些情况,如果期望简化优化器对非常非常复杂的SQL并行优化的负担,可以自己将SQL拆成几段,中间结果使用unlogged table保存,类似mapreduce的思想。unlogged table同样支持parallel 计算。

4、vacuum,垃圾回收并行。

5、dblink 异步调用并行

《PostgreSQL VOPS 向量计算 + DBLINK异步并行 - 单实例 10亿 聚合计算跑进2秒》

《PostgreSQL 相似搜索分布式架构设计与实践 - dblink异步调用与多机并行(远程 游标+记录 UDF实例)》

《PostgreSQL dblink异步调用实现 并行hash分片JOIN - 含数据交、并、差 提速案例 - 含dblink VS pg 11 parallel hash join VS pg 11 智能分区JOIN》

暂时不允许并行的场景(将来PG会继续扩大支持范围):

1、修改行,锁行,除了create table as , select into, create mview这几个可以使用并行。

2、query 会被中断时,例如cursor , loop in PL/SQL ,因为涉及到中间处理,所以不建议开启并行。

3、paralle unsafe udf ,这种UDF不会并行

4、嵌套并行(udf (内部query并行)),外部调用这个UDF的SQL不会并行。(主要是防止large parallel workers )

5、SSI 隔离级别

参考

https://www.postgresql.org/docs/11/parallel-plans.html

《PostgreSQL 11 并行计算算法,参数,强制并行度设置》

《PostgreSQL 11 preview - 并行计算 增强 汇总》

《PostgreSQL 10 自定义并行计算聚合函数的原理与实践 - (含array_agg合并多个数组为单个一元数组的例子)》

《PostgreSQL 9.6 并行计算 优化器算法浅析》

 

免费领取阿里云RDS PostgreSQL实例、ECS虚拟机

版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。

相关文章
PostgreSQL 并行计算解说 之16 - parallel index only scan
标签 PostgreSQL , cpu 并行 , smp 并行 , 并行计算 , gpu 并行 , 并行过程支持 背景 PostgreSQL 11 优化器已经支持了非常多场合的并行。简单估计,已支持27余种场景的并行计算。 parallel seq scan
459 0
PostgreSQL 并行计算解说 之19 - parallel hash join
标签 PostgreSQL , cpu 并行 , smp 并行 , 并行计算 , gpu 并行 , 并行过程支持 背景 PostgreSQL 11 优化器已经支持了非常多场合的并行。简单估计,已支持27余种场景的并行计算。 parallel seq scan
492 0
PostgreSQL 并行计算解说 之9 - parallel 自定义并行聚合
标签 PostgreSQL , cpu 并行 , smp 并行 , 并行计算 , gpu 并行 , 并行过程支持 背景 PostgreSQL 11 优化器已经支持了非常多场合的并行。简单估计,已支持27余种场景的并行计算。 parallel seq scan parallel index scan
345 0
PostgreSQL 并行计算解说 之2 - parallel filter
标签 PostgreSQL , cpu 并行 , smp 并行 , 并行计算 , gpu 并行 , 并行过程支持 背景 PostgreSQL 11 优化器已经支持了非常多场合的并行。简单估计,已支持27余种场景的并行计算。 parallel seq scan parallel index scan parallel index only sc
174 0
PostgreSQL 并行计算解说 之18 - parallel merge join
标签 PostgreSQL , cpu 并行 , smp 并行 , 并行计算 , gpu 并行 , 并行过程支持 背景 PostgreSQL 11 优化器已经支持了非常多场合的并行。简单估计,已支持27余种场景的并行计算。 parallel seq scan
645 0
PostgreSQL 并行计算解说 之22 - parallel append
标签 PostgreSQL , cpu 并行 , smp 并行 , 并行计算 , gpu 并行 , 并行过程支持 背景 PostgreSQL 11 优化器已经支持了非常多场合的并行。简单估计,已支持27余种场景的并行计算。 parallel seq scan
150 0
PostgreSQL 并行计算解说 之10 - parallel 自定义并行函数(UDF)
标签 PostgreSQL , cpu 并行 , smp 并行 , 并行计算 , gpu 并行 , 并行过程支持 背景 PostgreSQL 11 优化器已经支持了非常多场合的并行。简单估计,已支持27余种场景的并行计算。 parallel seq scan parallel index scan
1035 0
PostgreSQL 并行计算解说 之23 - parallel append merge
标签 PostgreSQL , cpu 并行 , smp 并行 , 并行计算 , gpu 并行 , 并行过程支持 背景 PostgreSQL 11 优化器已经支持了非常多场合的并行。简单估计,已支持27余种场景的并行计算。 parallel seq scan
745 0
PostgreSQL数据库备份之pg_dump并行备份
PostgreSQL数据库备份之pg_dump并行备份。
5309 0
+关注
德哥
公益是一辈子的事, I am digoal, just do it.
2156
文章
245
问答
文章排行榜
最热
最新
相关电子书
更多
低代码开发师(初级)实战教程
立即下载
阿里巴巴DevOps 最佳实践手册
立即下载
冬季实战营第三期:MySQL数据库进阶实战
立即下载