PostgreSQL 并行计算解说 之15 - parallel bitmap scan

本文涉及的产品
云原生数据库 PolarDB MySQL 版,通用型 2核4GB 50GB
云原生数据库 PolarDB PostgreSQL 版,标准版 2核4GB 50GB
简介: 标签 PostgreSQL , cpu 并行 , smp 并行 , 并行计算 , gpu 并行 , 并行过程支持 背景 PostgreSQL 11 优化器已经支持了非常多场合的并行。简单估计,已支持27余种场景的并行计算。 parallel seq scan

标签

PostgreSQL , cpu 并行 , smp 并行 , 并行计算 , gpu 并行 , 并行过程支持


背景

PostgreSQL 11 优化器已经支持了非常多场合的并行。简单估计,已支持27余种场景的并行计算。

parallel seq scan                                
                                
parallel index scan                                
                                
parallel index only scan                                
                                
parallel bitmap scan                                
                                
parallel filter                                
                            
parallel hash agg                            
                            
parallel group agg                            
                                
parallel cte                                
                                
parallel subquery                                
                                
parallel create table                                
                                
parallel create index                                
                                
parallel select into                                
                                
parallel CREATE MATERIALIZED VIEW                                
                                
parallel 排序 : gather merge                                 
                                
parallel nestloop join                                
                                
parallel hash join                                
                                
parallel merge join                                
                                
parallel 自定义并行聚合                                
                                
parallel 自定义并行UDF                                
                                
parallel append                                
                                
parallel union                                
                                
parallel fdw table scan                                
                                
parallel partition join                                
                                
parallel partition agg                                
                                
parallel gather                        
                
parallel gather merge                
                                
parallel rc 并行                                
                                
parallel rr 并行                                
                                
parallel GPU 并行                                
                                
parallel unlogged table                                 

接下来进行一一介绍。

关键知识请先自行了解:

1、优化器自动并行度算法 CBO

《PostgreSQL 9.6 并行计算 优化器算法浅析》

《PostgreSQL 11 并行计算算法,参数,强制并行度设置》

parallel bitmap scan

并行索引位图扫描

数据量:10亿。

create unlogged table table5 (i int, c1 int);      
insert into table5 select i, random()*100 from generate_series(1,1000000000) t(i);      
vacuum analyze table5;      
set max_parallel_maintenance_workers=32;      
create index idx_table5_1 on table5(c1);      
alter table table5 set (parallel_workers =64);      
场景 数据量 关闭并行 开启并行 并行度 开启并行性能提升倍数
parallel bitmap scan 10 亿 23.98 秒 15.86 秒 20 1.5 倍

1、关闭并行,耗时: 23.98 秒。

postgres=# explain select avg(i) from table5 where c1=1 and i<1000000;      
                                         QUERY PLAN                                             
--------------------------------------------------------------------------------------------    
 Aggregate  (cost=4674865.61..4674865.62 rows=1 width=32)    
   ->  Bitmap Heap Scan on table5  (cost=103061.21..4674840.21 rows=10158 width=4)    
         Recheck Cond: (c1 = 1)    
         Filter: (i < 1000000)    
         ->  Bitmap Index Scan on idx_table5_1  (cost=0.00..103058.68 rows=9800000 width=0)    
               Index Cond: (c1 = 1)    
(6 rows)    
    
postgres=# select avg(i) from table5 where c1=1 and i<1000000;      
         avg             
---------------------    
 501131.321720902376    
(1 row)    
    
Time: 23979.690 ms (00:23.980)    

2、开启并行,耗时: 15.86 秒。

postgres=# explain select avg(i) from table5 where c1=1 and i<1000000;      
                                               QUERY PLAN                                                   
--------------------------------------------------------------------------------------------------------    
 Finalize Aggregate  (cost=4535191.55..4535191.56 rows=1 width=32)    
   ->  Gather  (cost=4535191.48..4535191.49 rows=20 width=32)    
         Workers Planned: 20    
         ->  Partial Aggregate  (cost=4535191.48..4535191.49 rows=1 width=32)    
               ->  Parallel Bitmap Heap Scan on table5  (cost=103061.21..4535190.21 rows=508 width=4)    
                     Recheck Cond: (c1 = 1)    
                     Filter: (i < 1000000)    
                     ->  Bitmap Index Scan on idx_table5_1  (cost=0.00..103058.68 rows=9800000 width=0)    
                           Index Cond: (c1 = 1)    
(9 rows)    
    
postgres=# select avg(i) from table5 where c1=1 and i<1000000;      
         avg             
---------------------    
 501131.321720902376    
(1 row)    
    
Time: 15862.531 ms (00:15.863)    

位图扫描的index scan阶段没有使用并行,heap scan阶段开始使用并行,所以总体效率没有index scan高。

为什么bitmap index scan阶段没有并行呢?要从BITMAP INDEX SCAN的原理说起,bitmap scan的index scan部分实际上是要从index中得到满足条件的tuple的heap block id。并给block id排序,顺序返回。然后再进入heap scan阶段,heap scan阶段,按上个阶段拿到的block id顺序扫描,并对条件进行recheck。所以block i顺序是关键。

如果要让bitmap index scan阶段支持并行,那么应该在index scan阶段上面再加一个gather merge, 用于合并bitmap index scan parallel worker process 返回的 block ids。

parallel bitmap heap scan   
  gather merge (block ids) -> 加这个步骤   
    parallel bit map index scan (return block ids) -> 支持并行   

bitmap scan适合离散度非常高,并且离散IO的成本很高的场景。因为bitmap scan的heap scan是按HEAP顺序扫的,同时heap scan阶段需要对index condition进行recheck,所以bitmap scan比index scan更耗费CPU。

其他知识

1、优化器自动并行度算法 CBO

《PostgreSQL 9.6 并行计算 优化器算法浅析》

《PostgreSQL 11 并行计算算法,参数,强制并行度设置》

2、function, op 识别是否支持parallel

postgres=# select proparallel,proname from pg_proc;                                
 proparallel |                   proname                                                    
-------------+----------------------------------------------                                
 s           | boolin                                
 s           | boolout                                
 s           | byteain                                
 s           | byteaout                                

3、subquery mapreduce unlogged table

对于一些情况,如果期望简化优化器对非常非常复杂的SQL并行优化的负担,可以自己将SQL拆成几段,中间结果使用unlogged table保存,类似mapreduce的思想。unlogged table同样支持parallel 计算。

4、vacuum,垃圾回收并行。

5、dblink 异步调用并行

《PostgreSQL VOPS 向量计算 + DBLINK异步并行 - 单实例 10亿 聚合计算跑进2秒》

《PostgreSQL 相似搜索分布式架构设计与实践 - dblink异步调用与多机并行(远程 游标+记录 UDF实例)》

《PostgreSQL dblink异步调用实现 并行hash分片JOIN - 含数据交、并、差 提速案例 - 含dblink VS pg 11 parallel hash join VS pg 11 智能分区JOIN》

暂时不允许并行的场景(将来PG会继续扩大支持范围):

1、修改行,锁行,除了create table as , select into, create mview这几个可以使用并行。

2、query 会被中断时,例如cursor , loop in PL/SQL ,因为涉及到中间处理,所以不建议开启并行。

3、paralle unsafe udf ,这种UDF不会并行

4、嵌套并行(udf (内部query并行)),外部调用这个UDF的SQL不会并行。(主要是防止large parallel workers )

5、SSI 隔离级别

参考

https://www.postgresql.org/docs/11/parallel-plans.html

《PostgreSQL 11 并行计算算法,参数,强制并行度设置》

《PostgreSQL 11 preview - 并行计算 增强 汇总》

《PostgreSQL 10 自定义并行计算聚合函数的原理与实践 - (含array_agg合并多个数组为单个一元数组的例子)》

《PostgreSQL 9.6 并行计算 优化器算法浅析》

 

免费领取阿里云RDS PostgreSQL实例、ECS虚拟机

相关实践学习
使用PolarDB和ECS搭建门户网站
本场景主要介绍基于PolarDB和ECS实现搭建门户网站。
阿里云数据库产品家族及特性
阿里云智能数据库产品团队一直致力于不断健全产品体系,提升产品性能,打磨产品功能,从而帮助客户实现更加极致的弹性能力、具备更强的扩展能力、并利用云设施进一步降低企业成本。以云原生+分布式为核心技术抓手,打造以自研的在线事务型(OLTP)数据库Polar DB和在线分析型(OLAP)数据库Analytic DB为代表的新一代企业级云原生数据库产品体系, 结合NoSQL数据库、数据库生态工具、云原生智能化数据库管控平台,为阿里巴巴经济体以及各个行业的企业客户和开发者提供从公共云到混合云再到私有云的完整解决方案,提供基于云基础设施进行数据从处理、到存储、再到计算与分析的一体化解决方案。本节课带你了解阿里云数据库产品家族及特性。
目录
相关文章
|
SQL 存储 Oracle
PostgreSQL 分页, offset, 返回顺序, 扫描方法原理(seqscan, index scan, index only scan, bitmap scan, parallel xx scan),游标
PostgreSQL 分页, offset, 返回顺序, 扫描方法原理(seqscan, index scan, index only scan, bitmap scan, parallel xx scan),游标
3830 0
|
SQL 存储 弹性计算
PostgreSQL 分页, offset, 返回顺序, 扫描方法原理(seqscan, index scan, index only scan, bitmap scan, parallel xx scan),游标
标签 PostgreSQL , 数据离散性 , 扫描性能 , 重复扫 , bitmap index scan , 排序扫描 , 扫描方法 , 顺序 背景 一个这样的问题: 为什么select x from tbl offset x limit x; 两次查询连续的OFFSET,会有重复数据呢? select ctid,* from tbl where ... offset 0 li
2072 0
|
SQL 分布式计算 并行计算
PostgreSQL 并行计算解说 之13 - parallel OLAP : 中间结果 parallel with unlogged table
标签 PostgreSQL , cpu 并行 , smp 并行 , 并行计算 , gpu 并行 , 并行过程支持 背景 PostgreSQL 11 优化器已经支持了非常多场合的并行。简单估计,已支持27余种场景的并行计算。 parallel seq scan parallel
638 0
|
SQL 分布式计算 并行计算
PostgreSQL 并行计算解说 之14 - parallel index scan
标签 PostgreSQL , cpu 并行 , smp 并行 , 并行计算 , gpu 并行 , 并行过程支持 背景 PostgreSQL 11 优化器已经支持了非常多场合的并行。简单估计,已支持27余种场景的并行计算。 parallel seq scan paral
1162 0
|
18天前
|
存储 SQL 关系型数据库
Mysql学习笔记(二):数据库命令行代码总结
这篇文章是关于MySQL数据库命令行操作的总结,包括登录、退出、查看时间与版本、数据库和数据表的基本操作(如创建、删除、查看)、数据的增删改查等。它还涉及了如何通过SQL语句进行条件查询、模糊查询、范围查询和限制查询,以及如何进行表结构的修改。这些内容对于初学者来说非常实用,是学习MySQL数据库管理的基础。
78 6
|
16天前
|
存储 关系型数据库 MySQL
Mysql(4)—数据库索引
数据库索引是用于提高数据检索效率的数据结构,类似于书籍中的索引。它允许用户快速找到数据,而无需扫描整个表。MySQL中的索引可以显著提升查询速度,使数据库操作更加高效。索引的发展经历了从无索引、简单索引到B-树、哈希索引、位图索引、全文索引等多个阶段。
50 3
Mysql(4)—数据库索引
|
18天前
|
SQL Ubuntu 关系型数据库
Mysql学习笔记(一):数据库详细介绍以及Navicat简单使用
本文为MySQL学习笔记,介绍了数据库的基本概念,包括行、列、主键等,并解释了C/S和B/S架构以及SQL语言的分类。接着,指导如何在Windows和Ubuntu系统上安装MySQL,并提供了启动、停止和重启服务的命令。文章还涵盖了Navicat的使用,包括安装、登录和新建表格等步骤。最后,介绍了MySQL中的数据类型和字段约束,如主键、外键、非空和唯一等。
57 3
Mysql学习笔记(一):数据库详细介绍以及Navicat简单使用
|
1天前
|
关系型数据库 MySQL Linux
在 CentOS 7 中通过编译源码方式安装 MySQL 数据库的详细步骤,包括准备工作、下载源码、编译安装、配置 MySQL 服务、登录设置等。
本文介绍了在 CentOS 7 中通过编译源码方式安装 MySQL 数据库的详细步骤,包括准备工作、下载源码、编译安装、配置 MySQL 服务、登录设置等。同时,文章还对比了编译源码安装与使用 RPM 包安装的优缺点,帮助读者根据需求选择最合适的方法。通过具体案例,展示了编译源码安装的灵活性和定制性。
14 2
|
4天前
|
存储 关系型数据库 MySQL
MySQL vs. PostgreSQL:选择适合你的开源数据库
在众多开源数据库中,MySQL和PostgreSQL无疑是最受欢迎的两个。它们都有着强大的功能、广泛的社区支持和丰富的生态系统。然而,它们在设计理念、性能特点、功能特性等方面存在着显著的差异。本文将从这三个方面对MySQL和PostgreSQL进行比较,以帮助您选择更适合您需求的开源数据库。
19 4
|
9天前
|
存储 关系型数据库 MySQL
如何在MySQL中创建数据库?
【10月更文挑战第16天】如何在MySQL中创建数据库?