《阿里云认证的解析与实战-数据仓库ACP认证》——云原生数据仓库AnalyticDB PostgreSQL版解析与实践(下)——三、SQL性能调优(下)

简介: 《阿里云认证的解析与实战-数据仓库ACP认证》——云原生数据仓库AnalyticDB PostgreSQL版解析与实践(下)——三、SQL性能调优(下)

更多精彩内容,欢迎观看:《阿里云认证的解析与实战-数据仓库ACP认证》——云原生数据仓库AnalyticDB PostgreSQL版解析与实践(下)——三、SQL性能调优(下):


6. 可视化执行计划

 

如图是执行计划可视化展示。

 

 示例语句

explain (format json,analyze true) select count(*) from test,testr where test.num1=testr.num2;


image.png

 

Postgres EXPLAIN Visualizer

http://tatiyants.com/pev/#/plans/new

 

7. 如何发现问题

 

自上而下,梳理痛点:自上而下梳理计划,确定时间开销大的算子。

查看代价,对比行数:查看比较代价估算的异常,对比估算行数和实际执行行数差异大的情况。

耗时算子,尽量避免:AP场景很少需要NestLoop、Sort+GroupByAgg。

具体算子,是否合理:是否有不必要的Motion算子,Join内外表顺序是否合适,Scan是否可以使用索引。

内存信息,调整参数:查看下盘情况,分析后适当调整statement_mem参数。

 

8. 通过索引提升查询性能

 

ADB PG支持如下索引类型及语句示例/适用场景:

 

B-tree:create index i1 on t1 using btree(c1),适用大多数场景,尤其对于点查询和更新等操作。

Bitmap:create index i2 on t2 using bitmap(c2),唯一值低于10w且低于总行数1/10,常与其他列有联合过滤条件。

GIN/GiST:全文检索,数组,JSON。

 

1) B-Tree索引优化建议,建议创建索引的场景

 

点查询的场景。

where条件的过滤效果较好的场景。

 

2) 不建议创建索引的场景

 

更新较多的表上不建议建索引,更新较为频繁的表上创建索引。

一个表的索引数最好不超过6个。

避免创建超过3列的组合索引。

避免创建重复的索引或具有相同前导列的索引。

 

3) 索引使用的建议

 

组合索引是从前向后匹配where条件的,不能命中前导列的where条件,不会使用该索引。

批量导入大量数据前可删除索引,导入数据后重建索引。

索引创建完成后,最好做一下统计信息收集。

 

9. 消除Redistribute Motion

 

在进行连接或聚集操作时,会根据数据分布情况添加分布式算子,对数据进行重分布Redistribute Motion或广播Broadcast Motion。分布式算子会占用大量的网络资源。如果能够通过建表和业务逻辑进行分布式算子的规避,则能够提升数据库查询性能。

 

示例假设有两张表,执行查询语句:

 

SELECT* FROM t1,t2 WHERE t1.a=t2.a;

t1表的分布键为t1.a,t2表的分布列是t2.b,会出现t2表的重分布

t1表的分布键为t1.a,t2表的分布列是t2.a,无需重分布直接Join。

image.png

 

10. 避免下盘

 

查询执行过程中,当集群内存不足时,数据库可能会选择将临时结果暂存到磁盘。由于磁盘操作相对内存访问缓慢,避免查询执行过程中的算子下盘,有助于提高查询效率。

算子下盘常见原因优化建议:调整statement mem(默认2GB)。

 

11. 锁的检测及处理

 

1) 死锁

 

死锁的检测和处理为数据库内部机制,无需手工干预,出现死锁会影响数据库吞吐量。

 

死锁检测方式:

 Local Deadlock Detector:用于检测单个计算节点内发生的死锁。

 Global Deadlock Detector:用于检测跨计算节点发生的分布式死锁。

 

示例

 

Session1

BEGIN;UPDATE t SET j=33 WHERE pk=3;UPDATE t SET j=33 WHERE pk=7;END;

  

Session2

BEGIN;UPDATE t SET j = 33 WHERE pk=7;UPDATE t SET j = 33 WHERE pk=3;END;

 

 当pk=3,pk=7落在单个计算节点上时,Local Deadlock Detector能检测到死锁;

当pk=3,pk=7落在不同计算节点上时,Global Deadlock Detector能检测到这种分布式死锁。

 

2) 常规锁

 

查看所有当前被加锁的对象,以及相应加锁的SQL

 

执行语句

select * from gp_toolkit.gp_locks_on_relation where lorrelname ='<table>';

  

12. 空间回收

 

为什么会空间膨胀

 

表中的数据被删除或更新后UPDATE/DELTE,物理存储层面并不会直接删除数据,而是标记这些数据不可见,所以会在数据页中留下很多“空洞”,在读取数据时,这些“空洞”会随数据页一起加载,拖慢数据扫描速度,需要定期回收删除的空间。

 

膨胀率判断方法

 

通过gp_toolkit.gp_bloat_diag视图,bdirelpages表示表实际占用Page数,bdiexppages表示表实际需要Page数,bdirelpages/bdiexppages > 4时,即可考虑进行空间回收。

 

回收操作可以通过vacuum和vacuum full

 

ü vacuum:回收时不锁表,但只标记删除空间可被再利用,不释放物理空间。

ü vacuum full:回收时锁表,表无法读写,回收物理空间,建议在维护窗口进行。

 

维护定期回收空间任务

https://help.aliyun.com/document_detail/59176.html

 

13. 避免数据倾斜

 

image.png 

 

1) 表现形式

 

数据存储倾斜,表现形式为数据在多个Segment节点上分布不均匀,存在如下影响:

 

磁盘存储水位不均匀,个别Segment节点磁盘使用过多,提前用满磁盘存储空间。

节点参与计算数据量不均匀,存在木桶效应。

 

2) 数据倾斜排查

 

用户控制台排查:

 

控制台基础信息项,会展示实例最大存储水位与实例存储总水位,存储数据倾斜时,两个数值将会差异过大。

 控制台监控与报警项,计算节点监控处会展示所有计算节点的空间使用量,存储数据倾斜时,节点磁盘空间使用量会差异过大。

 

通过SQL排查:

 

 通过控制台信息确定存在存储倾斜后,使用SQL排查倾斜的表。

 查询结果根据数据倾斜程度排序,当tb_balance_rate大于1.1时,认为该表存在数据倾斜。

 

排查同一张表在各个Segment节点下的存储数据量,执行如下语句:

select gp_segment_id, pg_size_pretty(pg_total_relation sizeltable name))from gp_dist_random('gp_id');

  

排查同一张表在各个Segment节点下的行数,执行如下语句:

select gp_segment_id,count(1) from table name group by gp segment id;

  

3) 避免数据倾斜

 

建表过程指定分布键或分布规律:

CREATE TABLE table_name (......) [DISTRIBUTED BY(column name,[...]) |DISTRIBUTED RANDOMLY |DISTRIBUTED REPLICATED];

  

修改分布键或分布规律:

ALTER TABLE [IF EXISTS] [ONLY] name SET WITH (REORGANIZE=true/false)| DISTRIBUTED BY (column_name,[...])|DISTRIBUTED RANDOMLY|DISTRIBUTED REPLICATED;

  

注意

修改分布键或分布规律,大多数情况都将会进行数据迁移,对于数据量过大的表,该操作会相对较久并且会锁表,无法查询

REORGANIZE=false仅在修改前后一致、或修改为随机分布时才会不进行数据重分布。

 

分布策略选择规则:

 

 小表(总行数低于1万)优先选择复制表分布策略(DISTRIBUTED REPLACATED)。

 大表优先选择参与Join/GroupBy计算的字段作为分布键Hash分布。

 若没有数据分布均匀的字段作为分布键使用,采用随机分布策略(DISTRIBUTED RANDOMLY)。

 

相关实践学习
AnalyticDB PostgreSQL 企业智能数据中台:一站式管理数据服务资产
企业在数据仓库之上可构建丰富的数据服务用以支持数据应用及业务场景;ADB PG推出全新企业智能数据平台,用以帮助用户一站式的管理企业数据服务资产,包括创建, 管理,探索, 监控等; 助力企业在现有平台之上快速构建起数据服务资产体系
相关文章
|
5月前
|
Cloud Native Serverless API
微服务架构实战指南:从单体应用到云原生的蜕变之路
🌟蒋星熠Jaxonic,代码为舟的星际旅人。深耕微服务架构,擅以DDD拆分服务、构建高可用通信与治理体系。分享从单体到云原生的实战经验,探索技术演进的无限可能。
微服务架构实战指南:从单体应用到云原生的蜕变之路
|
6月前
|
存储 人工智能 关系型数据库
阿里云AnalyticDB for PostgreSQL 入选VLDB 2025:统一架构破局HTAP,Beam+Laser引擎赋能Data+AI融合新范式
在数据驱动与人工智能深度融合的时代,企业对数据仓库的需求早已超越“查得快”这一基础能力。面对传统数仓挑战,阿里云瑶池数据库AnalyticDB for PostgreSQL(简称ADB-PG)创新性地构建了统一架构下的Shared-Nothing与Shared-Storage双模融合体系,并自主研发Beam混合存储引擎与Laser向量化执行引擎,全面解决HTAP场景下性能、弹性、成本与实时性的矛盾。 近日,相关研究成果发表于在英国伦敦召开的数据库领域顶级会议 VLDB 2025,标志着中国自研云数仓技术再次登上国际舞台。
685 0
|
Cloud Native Java Nacos
微服务时代的新宠儿!Spring Cloud Nacos实战指南,带你玩转服务发现与配置管理,拥抱云原生潮流!
【8月更文挑战第29天】Spring Cloud Nacos作为微服务架构中的新兴之星,凭借其轻量、高效的特点,迅速成为服务发现、配置管理和治理的首选方案。Nacos(命名和配置服务)由阿里巴巴开源,为云原生应用提供了动态服务发现及配置管理等功能,简化了服务间的调用与依赖管理。本文将指导你通过五个步骤在Spring Boot项目中集成Nacos,实现服务注册、发现及配置动态管理,从而轻松搭建出高效的微服务环境。
790 0
|
Cloud Native 安全 Serverless
云原生应用实战:基于阿里云Serverless的API服务开发与部署
随着云计算的发展,Serverless架构日益流行。阿里云函数计算(Function Compute)作为Serverless服务,让开发者无需管理服务器即可运行代码,按需付费,简化开发运维流程。本文从零开始,介绍如何使用阿里云函数计算开发简单的API服务,并探讨其核心优势与最佳实践。通过Python示例,演示创建、部署及优化API的过程,涵盖环境准备、代码实现、性能优化和安全管理等内容,帮助读者快速上手Serverless开发。
|
SQL 关系型数据库 OLAP
云原生数据仓库AnalyticDB PostgreSQL同一个SQL可以实现向量索引、全文索引GIN、普通索引BTREE混合查询,简化业务实现逻辑、提升查询性能
本文档介绍了如何在AnalyticDB for PostgreSQL中创建表、向量索引及混合检索的实现步骤。主要内容包括:创建`articles`表并设置向量存储格式,创建ANN向量索引,为表增加`username`和`time`列,建立BTREE索引和GIN全文检索索引,并展示了查询结果。参考文档提供了详细的SQL语句和配置说明。
487 2
|
运维 Cloud Native Devops
一线实战:运维人少,我们从 0 到 1 实践 DevOps 和云原生
上海经证科技有限公司为有效推进软件项目管理和开发工作,选择了阿里云云效作为 DevOps 解决方案。通过云效,实现了从 0 开始,到现在近百个微服务、数百条流水线与应用交付的全面覆盖,有效支撑了敏捷开发流程。
19795 30
|
运维 Cloud Native 云计算
云原生之旅:Docker容器化实战
本文将带你走进云原生的世界,深入理解Docker技术如何改变应用部署与运维。我们将通过实际案例,展示如何利用Docker简化开发流程,提升应用的可移植性和伸缩性。文章不仅介绍基础概念,还提供操作指南和最佳实践,帮助你快速上手Docker,开启云原生的第一步。
|
运维 Cloud Native Docker
云原生技术入门:Docker容器化实战
【9月更文挑战第20天】本文将引导你走进云原生技术的世界,通过Docker容器化技术的实战演练,深入理解其背后的原理和应用。我们将一起探索如何在云平台上利用Docker简化部署、扩展和管理应用程序的过程,并揭示这一技术如何改变现代软件的开发和运维模式。
211 18
|
SQL 存储 算法
不用 SQL 的数据仓库
esProc 是一种非 SQL 型数据仓库,采用 SPL 作为查询语言,旨在解决 SQL 在复杂计算、开放性和性能等方面的局限。SPL 支持过程计算、有序运算及丰富的数据类型,能够直接处理多样数据源,无需数据先入库。此外,esProc 通过文件存储和高性能算法优化,实现了计算与存储的解绑,降低了运维成本,提升了计算性能。
|
Kubernetes Cloud Native Docker
云原生入门:Docker容器化部署实战
【8月更文挑战第31天】在数字化浪潮中,云原生技术成为企业转型的助推器。本文通过Docker容器化部署的实践案例,引导读者从零基础到掌握基础的云原生应用部署技能。我们将一起探索Docker的魅力,学习如何将一个应用容器化,并在云平台上运行起来,为深入云原生世界打下坚实基础。

推荐镜像

更多