SQL调优指南—智能索引推荐

简介: 索引优化通常需要依赖运维或开发人员对数据库引擎内部优化和执行原理的深入理解。为优化体验和降低操作门槛,PolarDB-X推出了基于代价优化器的索引推荐功能,可根据查询语句分析并推荐索引,帮助您降低查询耗时,提升数据库性能。

注意事项

索引推荐功能仅针对您当前指定的SQL查询语句进行分析与推荐。在根据推荐的信息创建索引前,您需要评估创建该索引对其它查询的影响。

环境说明

TPC-H是业界常用的基准测试方法,由TPC委员会制定发布,用于评测数据库的分析型查询能力。TPC-H基准测试方法包含8张数据表、22条复杂的SQL查询(即Q1~Q22)。下图为执行TPC-H中的Q17(小订单收入查询)的返回信息,可查看到执行该查询语句消耗的时间为28.76秒。本文将通过智能索引推荐功能,优化该查询语句的执行效率。

  1. 查询智能索引推荐信息如需查询某个查询语句的智能索引推荐信息,您只需在该查询语句前增加EXPLAIN ADVISOR命令,示例如下:
EXPLAIN ADVISOR
SELECT sum(l_extendedprice) / 7.0 AS avg_yearly
FROM lineitem,
     part
WHERE p_partkey = l_partkey
  AND p_brand = 'Brand#23'
  AND p_container = 'MED BOX'
  AND l_quantity <
    (SELECT 0.2 * avg(`l_quantity`)
     FROM lineitem
     WHERE l_partkey = p_partkey);
  1. 执行上述命令后,PolarDB-X将返回推荐的索引创建语句、添加索引前后的代价等信息,详细的返回信息及其注释如下所示:说明
    • 本案例中,预计磁盘I/O提升百分比为3024.7%,表明使用推荐的索引将带来较大的收益。
    • 当PolarDB-X无法推荐索引时,返回信息中会建议您在业务低峰期,对目标表执行Analyze Table命令刷新统计信息(该操作会消耗较大的I/O资源)。当统计信息更新后,再次执行索引推荐可获得更准确的索引。SQL复制代码。
IMPROVE_VALUE: 2465.3%        # 预计综合代价提升百分比

IMPROVE_CPU: 59377.4% # 预计CPU提升百分比
IMPROVE_MEM: 0.4% # 预计内存提升百分比
IMPROVE_IO: 3024.7% # 预计磁盘I/O提升百分比
IMPROVE_NET: 2011.1% # 预计网络传输提升百分比
BEFORE_VALUE: 4.711359845E8 # 添加索引前综合代价值
BEFORE_CPU: 1.19405577E7 # 添加索引前CPU估算值
BEFORE_MEM: 426811.2 # 添加索引前内存消耗估算值
BEFORE_IO: 44339 # 添加索引前磁盘I/O估算值
BEFORE_NET: 47.5 # 添加索引前网络传输估算值
AFTER_VALUE: 1.83655008E7 # 添加索引后综合代价值
AFTER_CPU: 20075.8 # 添加索引后CPU估算值
AFTER_MEM: 425016 # 添加索引后内存消耗估算值
AFTER_IO: 1419 # 添加索引后磁盘I/O估算值
AFTER_NET: 2.2 # 添加索引后网络传输估算值
ADVISE_INDEX: ALTER TABLE `lineitem` ADD INDEX `__advise_index_lineiteml_partkey`(`l_partkey`);
/ ADVISE_INDEX中的内容为推荐的索引创建语句 /
NEW_PLAN: # 添加索引后预计执行计划
Project(avg_yearly="$f0 / ?0")
HashAgg($f0="SUM(l_extendedprice)")
Filter(condition="l_quantity < $16 * f17w0$o0")
SortWindow(p_partkey="p_partkey", l_partkey="l_partkey", l_quantity="l_quantity", l_extendedprice="l_extendedprice", $16&#61;&#34;$16", f5w0$o0&#61;&#34;window#0AVG($2)", Reference Windows="window#0=window(partition {1} order by [] range between UNBOUNDED PRECEDING and UNBOUNDED PRECEDING aggs [AVG($2)])")
MemSort(sort="l_partkey ASC")
BKAJoin(condition="l_partkey = p_partkey", type="inner")
Gather(concurrent=true)
LogicalView(tables="[0000,0001].part", shardCount=2, sql="SELECT `p_partkey` FROM `part` AS `part` WHERE ((`p_brand` = ?) AND (`p_container` = ?))")
Gather(concurrent=true)
LogicalView(tables="[0000,0001].lineitem", shardCount=2, sql="SELECT `l_partkey`, `l_quantity`, `l_extendedprice`, ? AS `$16` FROM `lineitem` AS `lineitem` WHERE (`l_partkey` IN (...))")
INFO: LOCAL_INDEX # 其它信息
  1. 根据推荐信息创建索引
    1. 评估创建该索引带来的收益,然后根据返回结果ADVISE_INDEX中的SQL语句创建索引。
ALTER TABLE `lineitem` ADD  INDEX `__advise_index_lineiteml_partkey`(`l_partkey`);
    1. 再次执行TPC-H中的Q17(小订单收入查询),耗时减少至1.41秒,查询效率得到大幅提升。44.png
相关文章
|
5月前
|
机器学习/深度学习 运维
Moment:又一个开源的时间序列基础模型
MOMENT团队推出Time-series Pile,一个大型公共时间序列数据集,用于预训练首个开源时间序列模型家族。模型基于Transformer,采用遮蔽预训练技术,适用于预测、分类、异常检测和输入任务。研究发现,随机初始化比使用语言模型权重更有效,且直接预训练的模型表现出色。MOMENT改进了Transformer架构,调整了Layer norm并引入关系位置嵌入。模型在长期预测和异常检测中表现优异,但对于数值预测的效果尚不明朗。论文贡献包括开源方法、数据集创建和资源有限情况下的性能评估框架。
404 0
|
SQL 存储 算法
TPCC测试究竟意味着什么
最近分布式数据库领域可谓非常之火(也可能是非常之卷),特别的,很多人会关注TPCC的测试结果,也有不少产品会投入很多精力在TPCC的优化上。 我们首先需要搞明白的是,我们从TPCC的测试结果,究竟能得出对这个分布式数据库什么样的评价。
3705 3
|
SQL 运维 测试技术
SQL调优指南—智能索引推荐
索引优化通常需要依赖运维或开发人员对数据库引擎内部优化和执行原理的深入理解。为优化体验和降低操作门槛,PolarDB-X推出了基于代价优化器的索引推荐功能,可根据查询语句分析并推荐索引,帮助您降低查询耗时,提升数据库性能。
292 0
SQL调优指南—智能索引推荐
|
5月前
|
数据可视化 vr&ar Python
时间序列分析技巧(二):ARIMA模型建模步骤总结
时间序列分析技巧(二):ARIMA模型建模步骤总结
|
SQL 缓存 运维
SQL调优指南—SQL调优进阶—执行计划管理
本文介绍如何管理执行计划,将重复或者复杂查询的执行计划长久地保存下来。
SQL调优指南—SQL调优进阶—执行计划管理
|
5月前
|
SQL 运维 数据库
数据库自治专家DAS在手,安心过春节!
春节期间,企业数据库可能面临的问题高发在稳定性、性能和安全性等方面,比如:会遭遇人手不足,IT支持可能会因运维工程师休假、交通通勤而受到限制,也会存在远端接入不方便、通信不畅通、处理不及时等问题。除此之外,大规模增长的商业活动促销和交易量波动增加,交易系统有可能凌晨依然存在高峰负载压力等问题,这对数据库性能是一场不小的考验,上述种种问题,都需要更精确的、更全方位的守护系统。通过DAS智能助手,能够实现7*24小时的守护,接触DBA焦虑,保障系统平稳有序运行。
417 2
|
机器学习/深度学习
【阿旭机器学习实战】【13】决策树分类模型实战:泰坦尼克号生存预测
【阿旭机器学习实战】【13】决策树分类模型实战:泰坦尼克号生存预测
【阿旭机器学习实战】【13】决策树分类模型实战:泰坦尼克号生存预测
|
存储 SQL 数据库
多表查询实例:学生成绩管理系统
多表查询实例:学生成绩管理系统
221 0
|
SQL 关系型数据库 MySQL
RDS MySQL的SQL问题诊断与调优
本教程为您介绍如何通过控制台在RDS MySQL上创建账号和数据库,通过DMS进行MySQL常见的表创建、索引创建等操作。
158 0
|
机器学习/深度学习 数据采集 算法
基于ARIMA-LSTM组合模型的预测方法研究(Python代码实现)
基于ARIMA-LSTM组合模型的预测方法研究(Python代码实现)
554 0