PostgreSQL 并行计算解说 之18 - parallel merge join

本文涉及的产品
云原生数据库 PolarDB PostgreSQL 版,标准版 2核4GB 50GB
云原生数据库 PolarDB MySQL 版,通用型 2核8GB 50GB
简介: 标签 PostgreSQL , cpu 并行 , smp 并行 , 并行计算 , gpu 并行 , 并行过程支持 背景 PostgreSQL 11 优化器已经支持了非常多场合的并行。简单估计,已支持27余种场景的并行计算。 parallel seq scan

标签

PostgreSQL , cpu 并行 , smp 并行 , 并行计算 , gpu 并行 , 并行过程支持


背景

PostgreSQL 11 优化器已经支持了非常多场合的并行。简单估计,已支持27余种场景的并行计算。

parallel seq scan                                      
                                      
parallel index scan                                      
                                      
parallel index only scan                                      
                                      
parallel bitmap scan                                      
                                      
parallel filter                                      
                                  
parallel hash agg                                  
                                  
parallel group agg                                  
                                      
parallel cte                                      
                                      
parallel subquery                                      
                                      
parallel create table                                      
                                      
parallel create index                                      
                                      
parallel select into                                      
                                      
parallel CREATE MATERIALIZED VIEW                                      
                                      
parallel 排序 : gather merge                                       
                                      
parallel nestloop join                                      
                                      
parallel hash join                                      
                                      
parallel merge join                                      
                                      
parallel 自定义并行聚合                                      
                                      
parallel 自定义并行UDF                                      
                                      
parallel append                                      
                                      
parallel union                                      
                                      
parallel fdw table scan                                      
                                      
parallel partition join                                      
                                      
parallel partition agg                                      
                                      
parallel gather                              
                      
parallel gather merge                      
                                      
parallel rc 并行                                      
                                      
parallel rr 并行                                      
                                      
parallel GPU 并行                                      
                                      
parallel unlogged table                                       
AI 代码解读

接下来进行一一介绍。

关键知识请先自行了解:

1、优化器自动并行度算法 CBO

《PostgreSQL 9.6 并行计算 优化器算法浅析》

《PostgreSQL 11 并行计算算法,参数,强制并行度设置》

parallel merge join

并行merge JOIN

数据量:10亿 join 10亿 on (i=i)。

场景 数据量 关闭并行 开启并行 并行度 开启并行性能提升倍数
parallel merge join 10亿 join 10亿 using (i) where t1.i<10000000 3.2 秒 1 秒 8 3.2 倍

1、关闭并行,耗时: 3.2 秒。

postgres=# explain select count(*) from table5 t1 join table5 t2 using (i) where t1.i<10000000 ;     
                                                  QUERY PLAN                                                     
---------------------------------------------------------------------------------------------------------------  
 Aggregate  (cost=20815513.37..20815513.38 rows=1 width=8)  
   ->  Merge Join  (cost=1.15..20794436.78 rows=8430637 width=0)  
         Merge Cond: (t1.i = t2.i)  
         ->  Index Only Scan using idx_table5_2 on table5 t1  (cost=0.57..172964.32 rows=8430637 width=4)  
               Index Cond: (i < 10000000)  
         ->  Index Only Scan using idx_table5_2 on table5 t2  (cost=0.57..18016089.34 rows=1000000064 width=4)  
(6 rows)  
  
postgres=# select count(*) from table5 t1 join table5 t2 using (i) where t1.i<10000000 ;     
  count    
---------  
 9999999  
(1 row)  
  
Time: 3161.559 ms (00:03.162)  
AI 代码解读

2、开启并行,耗时: 1 秒。

postgres=# explain select count(*) from table5 t1 join table5 t2 using (i) where t1.i<10000000 ;     
                                                            QUERY PLAN                                                              
----------------------------------------------------------------------------------------------------------------------------------  
 Finalize Aggregate  (cost=9785802.62..9785802.63 rows=1 width=8)  
   ->  Gather  (cost=9785802.59..9785802.60 rows=8 width=8)  
         Workers Planned: 8  
         ->  Partial Aggregate  (cost=9785802.59..9785802.60 rows=1 width=8)  
               ->  Merge Join  (cost=1.15..9783168.01 rows=1053830 width=0)  
                     Merge Cond: (t2.i = t1.i)  
                     ->  Parallel Index Only Scan using idx_table5_2 on table5 t2  (cost=0.57..9266088.78 rows=125000008 width=4)  
                     ->  Index Only Scan using idx_table5_2 on table5 t1  (cost=0.57..172964.32 rows=8430637 width=4)  
                           Index Cond: (i < 10000000)  
(9 rows)  
    
postgres=# select count(*) from table5 t1 join table5 t2 using (i) where t1.i<10000000 ;     
  count    
---------  
 9999999  
(1 row)  
  
Time: 1008.615 ms (00:01.009)  
AI 代码解读

其他知识

1、优化器自动并行度算法 CBO

《PostgreSQL 9.6 并行计算 优化器算法浅析》

《PostgreSQL 11 并行计算算法,参数,强制并行度设置》

2、function, op 识别是否支持parallel

postgres=# select proparallel,proname from pg_proc;                                      
 proparallel |                   proname                                                          
-------------+----------------------------------------------                                      
 s           | boolin                                      
 s           | boolout                                      
 s           | byteain                                      
 s           | byteaout                                      
AI 代码解读

3、subquery mapreduce unlogged table

对于一些情况,如果期望简化优化器对非常非常复杂的SQL并行优化的负担,可以自己将SQL拆成几段,中间结果使用unlogged table保存,类似mapreduce的思想。unlogged table同样支持parallel 计算。

4、vacuum,垃圾回收并行。

5、dblink 异步调用并行

《PostgreSQL VOPS 向量计算 + DBLINK异步并行 - 单实例 10亿 聚合计算跑进2秒》

《PostgreSQL 相似搜索分布式架构设计与实践 - dblink异步调用与多机并行(远程 游标+记录 UDF实例)》

《PostgreSQL dblink异步调用实现 并行hash分片JOIN - 含数据交、并、差 提速案例 - 含dblink VS pg 11 parallel hash join VS pg 11 智能分区JOIN》

暂时不允许并行的场景(将来PG会继续扩大支持范围):

1、修改行,锁行,除了create table as , select into, create mview这几个可以使用并行。

2、query 会被中断时,例如cursor , loop in PL/SQL ,因为涉及到中间处理,所以不建议开启并行。

3、paralle unsafe udf ,这种UDF不会并行

4、嵌套并行(udf (内部query并行)),外部调用这个UDF的SQL不会并行。(主要是防止large parallel workers )

5、SSI 隔离级别

参考

https://www.postgresql.org/docs/11/parallel-plans.html

《PostgreSQL 11 并行计算算法,参数,强制并行度设置》

《PostgreSQL 11 preview - 并行计算 增强 汇总》

《PostgreSQL 10 自定义并行计算聚合函数的原理与实践 - (含array_agg合并多个数组为单个一元数组的例子)》

《PostgreSQL 9.6 并行计算 优化器算法浅析》

 

免费领取阿里云RDS PostgreSQL实例、ECS虚拟机

相关实践学习
使用PolarDB和ECS搭建门户网站
本场景主要介绍基于PolarDB和ECS实现搭建门户网站。
阿里云数据库产品家族及特性
阿里云智能数据库产品团队一直致力于不断健全产品体系,提升产品性能,打磨产品功能,从而帮助客户实现更加极致的弹性能力、具备更强的扩展能力、并利用云设施进一步降低企业成本。以云原生+分布式为核心技术抓手,打造以自研的在线事务型(OLTP)数据库Polar DB和在线分析型(OLAP)数据库Analytic DB为代表的新一代企业级云原生数据库产品体系, 结合NoSQL数据库、数据库生态工具、云原生智能化数据库管控平台,为阿里巴巴经济体以及各个行业的企业客户和开发者提供从公共云到混合云再到私有云的完整解决方案,提供基于云基础设施进行数据从处理、到存储、再到计算与分析的一体化解决方案。本节课带你了解阿里云数据库产品家族及特性。
目录
打赏
0
0
0
0
20686
分享
相关文章
MySQL 之 LEFT JOIN 避坑指南
MySQL 之 LEFT JOIN 避坑指南
377 1
深入理解MySQL中的Join算法
在数据库处理中,Join操作是最基本且最重要的操作之一,它能将不同的表连接起来,实现对数据集的更深层次分析。
1284 8
深入理解MySQL中的Join算法
MySQL底层概述—8.JOIN排序索引优化
本文主要介绍了MySQL中几种关键的优化技术和概念,包括Join算法原理、IN和EXISTS函数的使用场景、索引排序与额外排序(Using filesort)的区别及优化方法、以及单表和多表查询的索引优化策略。
MySQL底层概述—8.JOIN排序索引优化
MySQL left join 查询 多条数据
MySQL left join 查询 多条数据
136 0
join查询可以⽆限叠加吗?MySQL对join查询有什么限制吗?
大家好,我是 V 哥。本文详细探讨了 MySQL 中 `JOIN` 查询的限制及其优化方法。首先,`JOIN` 查询不能无限叠加,存在资源(CPU、内存、磁盘 I/O)、性能和语法等方面的限制。过多的 `JOIN` 操作会导致数据库性能急剧下降。其次,介绍了三种常见的 `JOIN` 查询算法:嵌套循环连接(NLJ)、索引嵌套连接(INL)和基于块的嵌套循环连接(BNL),并分析了它们的触发条件和性能特点。最后,分享了优化 `JOIN` 查询的方法,包括 SQL 语句优化、索引优化、数据库配置调整等。关注 V 哥,了解更多技术干货,点赞👍支持,一起进步!
MySQL中为什么要使用索引合并(Index Merge)?
通过这些内容的详细介绍和实际案例分析,希望能帮助您深入理解索引合并及其在MySQL中的
158 10
浅析MySQL Join Reorder算法
本文浅析了MySQL Join Reorder算法的流程,cost计算,剪枝算法等,希望通过本文能帮助大家了解MySQL优化器生成执行计划的具体流程。
DataWorks产品使用合集之ODPS数据怎么Merge到MySQL数据库
DataWorks作为一站式的数据开发与治理平台,提供了从数据采集、清洗、开发、调度、服务化、质量监控到安全管理的全套解决方案,帮助企业构建高效、规范、安全的大数据处理体系。以下是对DataWorks产品使用合集的概述,涵盖数据处理的各个环节。
102 1
mysql中的left join、right join 、inner join的详细用法
【8月更文挑战第16天】在MySQL中,`INNER JOIN`、`LEFT JOIN`与`RIGHT JOIN`用于连接多表。`INNER JOIN`仅返回两表中匹配的行;`LEFT JOIN`保证左表所有行出现于结果中,右表无匹配时以NULL填充;`RIGHT JOIN`则相反,保证右表所有行出现于结果中。例如,查询学生及其成绩时,`INNER JOIN`仅显示有成绩的学生;`LEFT JOIN`显示所有学生及他们对应的成绩,无成绩者成绩列为空;`RIGHT JOIN`显示所有成绩及对应学生信息,无学生信息的成绩条目则为空。
252 1