PostgreSQL 并行计算解说汇总-阿里云开发者社区

PostgreSQL 并行计算解说汇总

2020-02-25 930

版权

本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。

简介： 标签 PostgreSQL , cpu 并行 , smp 并行 , 并行计算 , gpu 并行 , 并行过程支持背景 PostgreSQL 11 优化器已经支持了非常多场合的并行。简单估计，已支持几十种场景的并行计算。并行计算到底带来了多大的性能提升？是否满足实时分析的需求？是否可以支持OLTP与OLAP混合业务使用？《PostgreSQL 多模, 多应用场景实践》

背景

PostgreSQL 11 优化器已经支持了非常多场合的并行。简单估计，已支持几十种场景的并行计算。

并行计算到底带来了多大的性能提升？

是否满足实时分析的需求？

是否可以支持OLTP与OLAP混合业务使用？

《PostgreSQL 多模, 多应用场景实践》

PostgreSQL 11 并行计算使用场景、性能提升倍数

场景	数据量	关闭并行	开启并行	并行度	开启并行性能提升倍数
全表扫描	10 亿	53.4 秒	1.8 秒	32	29.7 倍
条件过滤	10 亿	53.4 秒	1.87 秒	32	28.6 倍
哈希聚合	10 亿	142.3 秒	4.8 秒	30	29.6 倍
分组聚合	10 亿	142.3 秒	4.8 秒	30	29.6 倍
select into	10 亿	54.5 秒	1.9 秒	32	28.7 倍
create table as	10 亿	54.7 秒	2 秒	30	27.35 倍
CREATE MATERIALIZED VIEW	10 亿	54.7 秒	2 秒	30	27.35 倍
create index	10 亿	964 秒	252 秒	32	3.83 倍
parallel CREATE INDEX CONCURRENTLY - 不堵塞读写	10亿	509.6 秒	355 秒	16	1.44 倍
排序	10 亿	76.9 秒	2.75 秒	32	28 倍
自定义并行聚合1(求 distinct 数组字段元素、以及count distinct)	10 亿	298.8 秒	8.7 秒	36	34.3 倍
自定义并行聚合2(求 distinct 普通字段元素、以及count distinct)	10 亿	96.5 秒	3.43 秒	36	28 倍
自定义并行函数(UDF)	10 亿	456 秒	16.5 秒	30	27.6 倍
普通并行(gather)	10 亿	70.2 秒	2.5 秒	30	28.1 倍
归并并行(gather merge)	10 亿	78.2 秒	2.76 秒	30	28.3 倍
rc (ud agg count distinct)	10 亿	107 秒	3.65 秒	30	29.3 倍
rr (ud agg count distinct)	10 亿	107 秒	3.65 秒	30	29.3 倍
parallel OLAP : 中间结果 parallel with unlogged table ; unlogged table并行求avg case	10 亿	73.6 秒	2.5 秒	30	29.44 倍
parallel index scan	10 亿	19 秒	1.58 秒	20	12 倍
parallel bitmap scan	10 亿	23.98 秒	15.86 秒	20	1.5 倍
parallel index only scan	10 亿	8 秒	0.6 秒	20	13.33 倍
parallel nestloop join	10亿 join 10亿 using (i) where t1.i<10000000	14.4 秒	4.6 秒	8	3.13 倍
parallel merge join	10亿 join 10亿 using (i) where t1.i<10000000	3.2 秒	1 秒	8	3.2 倍
parallel hash join	10亿 join 10亿 using (i) where t1.i<10000000 and t2.i<10000000	8.1 秒	1 秒	20	8.1 倍
parallel hash join	10亿 join 10亿 using (i)	1071 秒	92.3 秒	20	11.6 倍
parallel partition table wise join	10亿 join 10亿 using (i)	1006 秒	76 秒	24	13.2 倍
parallel partition table wise agg	10亿	191 秒	8 秒	24	23.9 倍
parallel append	10亿	70.5 秒	3.16 秒	24	22.3 倍
parallel append merge	10亿	99.4 秒	5.87 秒	24	16.93 倍
parallel union all	10亿	99 秒	5.6 秒	24	17.68 倍
parallel CTE	10亿	65.65 秒	3.33 秒	24	19.7 倍
parallel 递归查询, 树状查询, 异构查询, CTE, recursive CTE, connect by	异构数据1亿，日志数据10亿	5.14 秒	0.29 秒	24	17.7 倍
parallel scan mult FDW tables (通过继承表方式)	10亿	180 秒	7.8 秒	24	23.1 倍
parallel scan mult FDW tables (通过union all)	10亿	165.6 秒	27.8 秒	5	6 倍
parallel leader process	10亿	186 秒	95 秒	1	2 倍
parallel subquery	20亿	179.7 秒	6.5 秒	28	27.6 倍