《阿里云认证的解析与实战-数据仓库ACP认证》——云原生数据仓库AnalyticDB PostgreSQL版解析与实践(下)——三、SQL性能调优(下)

简介: 《阿里云认证的解析与实战-数据仓库ACP认证》——云原生数据仓库AnalyticDB PostgreSQL版解析与实践(下)——三、SQL性能调优(下)

更多精彩内容,欢迎观看:《阿里云认证的解析与实战-数据仓库ACP认证》——云原生数据仓库AnalyticDB PostgreSQL版解析与实践(下)——三、SQL性能调优(下):


6. 可视化执行计划

 

如图是执行计划可视化展示。

 

 示例语句

explain (format json,analyze true) select count(*) from test,testr where test.num1=testr.num2;


image.png

 

Postgres EXPLAIN Visualizer

http://tatiyants.com/pev/#/plans/new

 

7. 如何发现问题

 

自上而下,梳理痛点:自上而下梳理计划,确定时间开销大的算子。

查看代价,对比行数:查看比较代价估算的异常,对比估算行数和实际执行行数差异大的情况。

耗时算子,尽量避免:AP场景很少需要NestLoop、Sort+GroupByAgg。

具体算子,是否合理:是否有不必要的Motion算子,Join内外表顺序是否合适,Scan是否可以使用索引。

内存信息,调整参数:查看下盘情况,分析后适当调整statement_mem参数。

 

8. 通过索引提升查询性能

 

ADB PG支持如下索引类型及语句示例/适用场景:

 

B-tree:create index i1 on t1 using btree(c1),适用大多数场景,尤其对于点查询和更新等操作。

Bitmap:create index i2 on t2 using bitmap(c2),唯一值低于10w且低于总行数1/10,常与其他列有联合过滤条件。

GIN/GiST:全文检索,数组,JSON。

 

1) B-Tree索引优化建议,建议创建索引的场景

 

点查询的场景。

where条件的过滤效果较好的场景。

 

2) 不建议创建索引的场景

 

更新较多的表上不建议建索引,更新较为频繁的表上创建索引。

一个表的索引数最好不超过6个。

避免创建超过3列的组合索引。

避免创建重复的索引或具有相同前导列的索引。

 

3) 索引使用的建议

 

组合索引是从前向后匹配where条件的,不能命中前导列的where条件,不会使用该索引。

批量导入大量数据前可删除索引,导入数据后重建索引。

索引创建完成后,最好做一下统计信息收集。

 

9. 消除Redistribute Motion

 

在进行连接或聚集操作时,会根据数据分布情况添加分布式算子,对数据进行重分布Redistribute Motion或广播Broadcast Motion。分布式算子会占用大量的网络资源。如果能够通过建表和业务逻辑进行分布式算子的规避,则能够提升数据库查询性能。

 

示例假设有两张表,执行查询语句:

 

SELECT* FROM t1,t2 WHERE t1.a=t2.a;

t1表的分布键为t1.a,t2表的分布列是t2.b,会出现t2表的重分布

t1表的分布键为t1.a,t2表的分布列是t2.a,无需重分布直接Join。

image.png

 

10. 避免下盘

 

查询执行过程中,当集群内存不足时,数据库可能会选择将临时结果暂存到磁盘。由于磁盘操作相对内存访问缓慢,避免查询执行过程中的算子下盘,有助于提高查询效率。

算子下盘常见原因优化建议:调整statement mem(默认2GB)。

 

11. 锁的检测及处理

 

1) 死锁

 

死锁的检测和处理为数据库内部机制,无需手工干预,出现死锁会影响数据库吞吐量。

 

死锁检测方式:

 Local Deadlock Detector:用于检测单个计算节点内发生的死锁。

 Global Deadlock Detector:用于检测跨计算节点发生的分布式死锁。

 

示例

 

Session1

BEGIN;UPDATE t SET j=33 WHERE pk=3;UPDATE t SET j=33 WHERE pk=7;END;

  

Session2

BEGIN;UPDATE t SET j = 33 WHERE pk=7;UPDATE t SET j = 33 WHERE pk=3;END;

 

 当pk=3,pk=7落在单个计算节点上时,Local Deadlock Detector能检测到死锁;

当pk=3,pk=7落在不同计算节点上时,Global Deadlock Detector能检测到这种分布式死锁。

 

2) 常规锁

 

查看所有当前被加锁的对象,以及相应加锁的SQL

 

执行语句

select * from gp_toolkit.gp_locks_on_relation where lorrelname ='<table>';

  

12. 空间回收

 

为什么会空间膨胀

 

表中的数据被删除或更新后UPDATE/DELTE,物理存储层面并不会直接删除数据,而是标记这些数据不可见,所以会在数据页中留下很多“空洞”,在读取数据时,这些“空洞”会随数据页一起加载,拖慢数据扫描速度,需要定期回收删除的空间。

 

膨胀率判断方法

 

通过gp_toolkit.gp_bloat_diag视图,bdirelpages表示表实际占用Page数,bdiexppages表示表实际需要Page数,bdirelpages/bdiexppages > 4时,即可考虑进行空间回收。

 

回收操作可以通过vacuum和vacuum full

 

ü vacuum:回收时不锁表,但只标记删除空间可被再利用,不释放物理空间。

ü vacuum full:回收时锁表,表无法读写,回收物理空间,建议在维护窗口进行。

 

维护定期回收空间任务

https://help.aliyun.com/document_detail/59176.html

 

13. 避免数据倾斜

 

image.png 

 

1) 表现形式

 

数据存储倾斜,表现形式为数据在多个Segment节点上分布不均匀,存在如下影响:

 

磁盘存储水位不均匀,个别Segment节点磁盘使用过多,提前用满磁盘存储空间。

节点参与计算数据量不均匀,存在木桶效应。

 

2) 数据倾斜排查

 

用户控制台排查:

 

控制台基础信息项,会展示实例最大存储水位与实例存储总水位,存储数据倾斜时,两个数值将会差异过大。

 控制台监控与报警项,计算节点监控处会展示所有计算节点的空间使用量,存储数据倾斜时,节点磁盘空间使用量会差异过大。

 

通过SQL排查:

 

 通过控制台信息确定存在存储倾斜后,使用SQL排查倾斜的表。

 查询结果根据数据倾斜程度排序,当tb_balance_rate大于1.1时,认为该表存在数据倾斜。

 

排查同一张表在各个Segment节点下的存储数据量,执行如下语句:

select gp_segment_id, pg_size_pretty(pg_total_relation sizeltable name))from gp_dist_random('gp_id');

  

排查同一张表在各个Segment节点下的行数,执行如下语句:

select gp_segment_id,count(1) from table name group by gp segment id;

  

3) 避免数据倾斜

 

建表过程指定分布键或分布规律:

CREATE TABLE table_name (......) [DISTRIBUTED BY(column name,[...]) |DISTRIBUTED RANDOMLY |DISTRIBUTED REPLICATED];

  

修改分布键或分布规律:

ALTER TABLE [IF EXISTS] [ONLY] name SET WITH (REORGANIZE=true/false)| DISTRIBUTED BY (column_name,[...])|DISTRIBUTED RANDOMLY|DISTRIBUTED REPLICATED;

  

注意

修改分布键或分布规律,大多数情况都将会进行数据迁移,对于数据量过大的表,该操作会相对较久并且会锁表,无法查询

REORGANIZE=false仅在修改前后一致、或修改为随机分布时才会不进行数据重分布。

 

分布策略选择规则:

 

 小表(总行数低于1万)优先选择复制表分布策略(DISTRIBUTED REPLACATED)。

 大表优先选择参与Join/GroupBy计算的字段作为分布键Hash分布。

 若没有数据分布均匀的字段作为分布键使用,采用随机分布策略(DISTRIBUTED RANDOMLY)。

 

相关实践学习
AnalyticDB PostgreSQL 企业智能数据中台:一站式管理数据服务资产
企业在数据仓库之上可构建丰富的数据服务用以支持数据应用及业务场景;ADB PG推出全新企业智能数据平台,用以帮助用户一站式的管理企业数据服务资产,包括创建, 管理,探索, 监控等; 助力企业在现有平台之上快速构建起数据服务资产体系
相关文章
|
6月前
|
数据采集 SQL 搜索推荐
大数据之路:阿里巴巴大数据实践——OneData数据中台体系
OneData是阿里巴巴内部实现数据整合与管理的方法体系与工具,旨在解决指标混乱、数据孤岛等问题。通过规范定义、模型设计与工具平台三层架构,实现数据标准化与高效开发,提升数据质量与应用效率。
大数据之路:阿里巴巴大数据实践——OneData数据中台体系
|
8月前
|
Kubernetes Cloud Native 安全
云原生机密计算新范式 PeerPods技术方案在阿里云上的落地和实践
PeerPods 技术价值已在阿里云实际场景中深度落地。
|
7月前
|
SQL Java 关系型数据库
在 RDB 上跑 SQL------SPL 轻量级多源混算实践 1
SPL 支持通过 JDBC 连接 RDB,可动态生成 SQL 并传参,适用于 Java 与 SQL 结合的各类场景。本文以 MySQL 为例,演示如何配置数据库连接、编写 SPL 脚本查询 2024 年订单数据,并支持参数过滤和 SQL 混合计算。脚本可在 IDE 直接执行或集成至 Java 应用调用。
|
6月前
|
SQL 关系型数据库 Java
SQL 移植--SPL 轻量级多源混算实践 7
不同数据库的 SQL 语法存在差异,尤其是函数写法不同,导致 SQL 移植困难。SPL 提供 sqltranslate 函数,可将标准 SQL 转换为特定数据库语法,实现 SQL 语句在不同数据库间的无缝迁移,支持多种数据库函数映射与自定义扩展。
|
6月前
|
消息中间件 人工智能 监控
【云故事探索 | NO.15】:阿里云云原生加速鸣鸣很忙数字化
【云故事探索 | NO.15】:阿里云云原生加速鸣鸣很忙数字化
|
7月前
|
消息中间件 人工智能 监控
【云故事探索】NO.15:阿里云云原生加速鸣鸣很忙数字化
鸣鸣很忙集团作为中国最大休闲食品饮料连锁零售商,通过数字化与云原生技术实现快速扩张,4年完成其他企业10年的数字化进程。其采用阿里云全栈云原生方案,实现弹性扩容、智能补货、模块化开店等创新实践,支撑日均超430万交易数据稳定运行。未来将深化AI应用,推动供应链智能化与业务全面升级。
|
8月前
|
SQL 关系型数据库 PostgreSQL
CTE vs 子查询:深入拆解PostgreSQL复杂SQL的隐藏性能差异
本文深入探讨了PostgreSQL中CTE(公共表表达式)与子查询的选择对SQL性能的影响。通过分析两者底层机制,揭示CTE的物化特性及子查询的优化融合优势,并结合多场景案例对比执行效率。最终给出决策指南,帮助开发者根据数据量、引用次数和复杂度选择最优方案,同时提供高级优化技巧和版本演进建议,助力SQL性能调优。
825 1
|
存储 缓存 Cloud Native
MPP架构数据仓库使用问题之ADB PG云原生版本的扩缩容性能怎么样
MPP架构数据仓库使用问题之ADB PG云原生版本的扩缩容性能怎么样
MPP架构数据仓库使用问题之ADB PG云原生版本的扩缩容性能怎么样
|
SQL Cloud Native 关系型数据库
云原生数据仓库使用问题之分组优化如何实现
阿里云AnalyticDB提供了全面的数据导入、查询分析、数据管理、运维监控等功能,并通过扩展功能支持与AI平台集成、跨地域复制与联邦查询等高级应用场景,为企业构建实时、高效、可扩展的数据仓库解决方案。以下是对AnalyticDB产品使用合集的概述,包括数据导入、查询分析、数据管理、运维监控、扩展功能等方面。
|
Cloud Native 关系型数据库 OLAP
云原生数据仓库操作报错合集之遇到“table does not exist”错误,该怎么办
阿里云AnalyticDB提供了全面的数据导入、查询分析、数据管理、运维监控等功能,并通过扩展功能支持与AI平台集成、跨地域复制与联邦查询等高级应用场景,为企业构建实时、高效、可扩展的数据仓库解决方案。以下是对AnalyticDB产品使用合集的概述,包括数据导入、查询分析、数据管理、运维监控、扩展功能等方面。

推荐镜像

更多