高性能特性体验:ePQ 的详解与实战

简介: PolarDB PostgreSQL 引擎提供了弹性跨机并行查询(elastic Parallel Execution)的功能,支持多个计算节点分布式地执行 SQL 查询。本实验将体验该功能。

高性能特性体验:ePQ 的详解与实战


1. 创建资源

开始实验之前,您需要先创建实验相关资源。

  1. 在实验室页面,单击创建资源
  2. (可选)在实验室页面左侧导航栏中,单击云产品资源列表,可查看本次实验资源相关信息(例如IP地址、子用户信息等)。

说明:资源创建过程需要3~5分钟视资源不同开通时间有所差异,ACK等资源开通时间较长。完成实验资源的创建后,您可以在云产品资源列表查看已创建的资源信息,例如:子用户名称、子用户密码、AK ID、AK Secret、资源中的项目名称等。

实验环境一旦开始创建则进入计时阶段,建议学员先基本了解实验具体的步骤、目的,真正开始做实验时再进行创建。

资源创建成功,可在左侧的资源卡片中查看相关资源信息以及RAM子账号信息


2. 连接数据库准备

本实验将通过 psql 来连接 PolarDB for PostgreSQL 数据库。

  1. 登录阿里云控制台,选择 PolarDB PG 实例

首先打开桌面的 Chrome 浏览器,使用左侧给出的子用户名称子用户密码登录。

登录成功后,搜索并进入 PolarDB 的控制台:

进入控制台以后,点击全局概览,可以看到正在运行中的 PolarDB for PostgreSQL 实例。

点击这个实例查看详情:

  1. 创建高权限用户

对于一个新实例来说,我们需要创建一个新的用户才可以使用 PolarDB 实例。点击创建用户,创建一个名为 polardb 的高权限用户。

  1. 设置访问白名单

登录设置访问白名单

新增 IP 白名单分组

白名单内 IP 地址为 0.0.0.0/0 表示所有 IP 均可访问该 DB 数据库,比较危险 ,只推荐在测试环境下使用,生产环境中要把自己机器的 IP 地址添加入白名单中。

  1. 设置公网地址

点击这里进行申请,图中这里已经申请好了,所以按钮只有复制

  1. 创建数据库

由于通过 psql 无法直接连接 postgres 数据库,需要自己创建数据库

点击如下的登录数据库按钮

输入创建好的账号名和密码

成功登录 DMS 以后,点击左侧的 SQL 窗口,选择连接默认数据库 postgres :

输入如下的创建数据库命令:

create database mypolardb;

执行结果如下图所示:

  1. 登录 ECS 机器,安装 psql 工具

点击 LX 终端,输入云产品资源中提供的 ECS 机器,连接用户为 root,机器IP 和 登录密码如左边所示

登录机器后,执行下面的命令:

yum install -y postgresql

安装成功后,即可通过 psql 连接数据库,连接命令如下:

psql -h 集群地址的公网地址 -p 端口(通常为1921) -U 你的用户名 DB名称 -W

说明:

(1)集群地址的公网地址:XXXXXX.rwlb.polardb-pg-public.rds.aliyuncs.com 。 其中,填充集群地址的公网地址时,将 XXXXXX 替换为您申请公网链接地址填入的名称

(2)DB 命令:为上述步骤创建的 mypolardbpg

(3)psql 连接数据库输入密码时,终端机不显示,输入密码完成后直接按 Enter 键执行

接下来输入你刚刚设置的密码,登录成功后出现如下界面

连接成功出现如下窗口:


3. 准备数据

首先,我们需要创建表并导入数据。

后面我们将通过 ePQ 功能对这些表发起并行查询。

  1. 创建表并导入数据
-- create table
create table t1(c1 int,c2 int, c3 int, c4 int);
create table t2(c1 int,c2 int, c3 int, c4 int);
create table t3(c1 int,c2 int, c3 int, c4 int);
create table t4(c1 int,c2 int, c3 int, c4 int);
-- insert values
insert into t1 select generate_series(1,1000),generate_series(1,1000);
insert into t2 select generate_series(1,1000),generate_series(1,1000);
insert into t3 select generate_series(1,1000),generate_series(1,1000);
insert into t4 select generate_series(1,1000),generate_series(1,1000);
  1. ePQ 可以对每个表设置最大的并行度(px_workers)。默认为 0 ,即不开启并行查询。这里,需要设置表的最大并行度。
alter table t1 set (px_workers = 100);
alter table t2 set (px_workers = 100);
alter table t3 set (px_workers = 100);
alter table t4 set (px_workers = 100);

设置成功后如下图所示:

这样,表的导入和最大并行度设置完成。

接下来会以 join, CTE, 子查询 这三种分析型查询中最常见的语法来说明 ePQ 的使用。

本实验将介绍参数开关来使用 ePQ。


4. 通过参数开关使用 ePQ

接下来会以 join, CTE, 子查询这三种分析型查询中最常见的语法来说明 ePQ 的使用。

本节将介绍通过参数开关来使用 ePQ。

注意,这种方式打开开关只对单个会话有效,要想全局生效,需要通过阿里云控制台来进行更改。

  1. 打开 ePQ 开关,并设置并行度,polar_px_dop_per_node 表示单个结点内的 PX worker 并行度
set polar_enable_px=1;
set polar_px_dop_per_node=3;

执行成功如下图所示:

2. 打开计时

\timing on

3. 执行 join

执行下面的 SQL,我们先查看其查询计划,并展示运行时间。其中,只要出现 PolarDB PX Optimizer 则说明开启了 ePQ 查询

-- 执行计划
explain select sum(t1.c1), sum(t2.c2) from t1, t2 where t1.c1=t2.c2;
-- 运行结果
select sum(t1.c1), sum(t2.c2) from t1, t2 where t1.c1=t2.c2;

运行结果截图如下,出现时间和代价不同属于正常现象

4. 执行 CTE 语法

运行的 SQL 如下

-- 执行计划
explain with x as (select * from t1 where c1 < 50) select sum(x.c1), sum(x.c2) from x,t2 where x.c1=t2.c1;
-- 执行结果
with x as (select * from t1 where c1 < 50) select sum(x.c1), sum(x.c2) from x,t2 where x.c1=t2.c1;

执行结果如下图所示

5. 执行子查询

运行的 SQL 如下所示:

-- 执行计划
explain select sum(s.c1),sum(s.c2) from (select t1.c1 as c1,t1.c2 as c2 from t1,t2 where t1.c1=t2.c2 and t1.c1 < 100) s,t3 where s.c1
=t3.c1;
-- 运行结果
select sum(s.c1),sum(s.c2) from (select t1.c1 as c1,t1.c2 as c2 from t1,t2 where t1.c1=t2.c2 and t1.c1 < 100) s,t3 where 
s.c1=t3.c1;

执行截图如下:

6. 调整并行度

通过调整 polar_px_dop_per_node 可以更改 PX 的并行度,PX 并行度值可以通过计划看出,如下面的命令所示:

explain select count(*) from t1;
set polar_px_dop_per_node=6;
explain select count(*) from t1;

结果如下图所示:

计划中的 PX Coordinator 3:1 变成了 PX Coordinator 6:1,segments 也由 3 变成了 6。


5. ePQ 在 TPC-H 上的性能表现

TPC-H 是专门测试数据库分析型场景性能的数据集,一共有 22 条分析型场景下的 SQL。用 TPC-H 可以有效测试 PolarDB 的 HTAP 的能力。

由于 TPC-H 本身导入数据需要大量时间,本实验中无法进行展示。大家可以看该文档来查看 ePQ 在 TPC-H 环境下的提升效果。平均有 23 倍的提升。

实验链接:https://developer.aliyun.com/adc/scenario/c6e803ae50784a07b4317005b396b203

相关文章
|
监控 算法 Java
Java虚拟机(JVM)的垃圾回收机制深度解析####
本文深入探讨了Java虚拟机(JVM)的垃圾回收机制,旨在揭示其背后的工作原理与优化策略。我们将从垃圾回收的基本概念入手,逐步剖析标记-清除、复制算法、标记-整理等主流垃圾回收算法的原理与实现细节。通过对比不同算法的优缺点及适用场景,为开发者提供优化Java应用性能与内存管理的实践指南。 ####
|
9月前
|
存储 关系型数据库 分布式数据库
PolarDB开源进阶篇:深度解析与实战优化指南
PolarDB是阿里云开源的云原生数据库,采用计算-存储分离架构,结合高性能共享存储与Parallel Raft多副本一致性协议,实现微秒级延迟和卓越性能。本文深入解析其架构设计,涵盖智能调度层、性能优化技巧(如查询优化器调优和分布式事务提升)、高可用与容灾配置、扩展功能开发指南以及监控运维体系。同时,通过电商平台优化案例展示实际应用效果,并展望未来演进方向,包括AI结合、多模数据库支持及Serverless架构发展。作为云原生数据库代表,PolarDB为开发者提供了强大支持和广阔前景。
530 16
|
11月前
|
人工智能 分布式计算 调度
打破资源边界、告别资源浪费:ACK One 多集群Spark和AI作业调度
ACK One多集群Spark作业调度,可以帮助您在不影响集群中正在运行的在线业务的前提下,打破资源边界,根据各集群实际剩余资源来进行调度,最大化您多集群中闲置资源的利用率。
|
11月前
|
分布式计算 监控 Java
|
11月前
|
SQL 缓存 关系型数据库
SQL为什么不建议执行多表关联查询
本文探讨了SQL中不建议执行多表关联查询的原因,特别是MySQL与PG在多表关联上的区别。MySQL仅支持嵌套循环连接,而不支持排序-合并连接和散列连接,因此在多表(超过3张)关联查询时效率较低。文章还分析了多表关联查询与多次单表查询的效率对比,指出将关联操作放在Service层处理的优势,包括减少数据库计算资源消耗、提高缓存效率、降低锁竞争以及更易于分布式扩展等。最后,通过实例展示了如何分解关联查询以优化性能。
419 0
|
机器学习/深度学习 编解码 算法
在线打开CAD或Solidworks的STP文件,通过以图搜图与实物比对搜索
智能比对系统利用大模型技术,实现设计图纸与实物的高效、精准比对。系统支持在线3D模型解析、多视图图片自动生成、实物照片智能比对及实时偏差标注,全面提升机械制造行业的设计、生产和质量控制效率。
805 2
|
存储 关系型数据库 数据库
Postgres数据库BRIN索引介绍
BRIN索引是PostgreSQL提供的一种高效、轻量级的索引类型,特别适用于大规模、顺序数据的范围查询。通过存储数据块的摘要信息,BRIN索引在降低存储和维护成本的同时,提供了良好的查询性能。然而,其适用场景有限,不适合随机数据分布或频繁更新的场景。在选择索引类型时,需根据数据特性和查询需求进行权衡。希望本文对你理解和使用PostgreSQL的BRIN索引有所帮助。
483 0
|
网络安全 安全 Java
Java一分钟之-SSL/TLS:安全套接字层与传输层安全
【6月更文挑战第2天】本文介绍了SSL/TLS协议在保护数据传输中的作用,以及Java中使用JSSE实现SSL/TLS的基础。内容涵盖SSL/TLS工作流程、版本、常见问题及解决办法。通过`SSLSocket`和`SSLServerSocket`示例展示了服务器和客户端的实现,并强调证书管理、配置检查和依赖更新的最佳实践,以确保安全的通信。
1545 4
|
自然语言处理 数据可视化 数据挖掘
BERTopic(一)基本用法
bertopic基本用法
792 1
|
存储 缓存 关系型数据库
【PostgreSQL内核】Trigger的一生
前言本文简单介绍 PostgreSQL 数据库的 Trigger 从创建、存储、触发、执行、修改,到删除的过程,贯穿 Trigger 的一生。文中引用的函数、结构体来源于 PG 14 源码,分支为 REL_14_STABLE,对应的 commit id 如下。此外还引用了 PG 14 官方文档。commit be0b0528cb64d49750fcb632faa2cfcd8d920be2 Auth
877 0