AI 助理
文档备案控制台
开发者社区 开发与运维 文章 正文

SQLAdvisor美团SQL索引优化建议工具

2017-11-07 1855
版权
版权声明：
本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《 阿里云开发者社区用户服务协议》和 《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写 侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。
简介：

前言

Part1:写在最前

SQLAdvisor是美团开源的一款SQL索引优化建议工具，是由美团点评公司技术工程部DBA团队（北京）开发维护的一个分析SQL给出索引优化建议的工具。它基于MySQL原生态词法解析，结合分析SQL中的where条件、聚合条件、多表Join关系 给出索引优化建议。目前SQLAdvisor在美团点评内部广泛应用，公司内部对SQLAdvisor的开发全面转到github上，开源和内部使用保持一致。本文记录对该工具的初步安装和基本使用。


安装

Part1:构建安装环境

[root@HE3 ~]# yum install git

[root@HE3 ~]# git clone https://github.com/Meituan-Dianping/SQLAdvisor.git

[root@HE3 ~]# yum install cmake libaio-devel libffi-devel glib2 glib2-devel

[root@HE3 ~]# yum install http://www.percona.com/downloads/percona-release/redhat/0.1-3/percona-release-0.1-3.noarch.rpm

[root@HE3 ~]# yum install Percona-Server-shared-56

[root@HE3 lib64]# cd /usr/lib64/

[root@HE3 ~]# ln -s libperconaserverclient_r.so.18 libperconaserverclient_r.so


Warning:警告1

这里该命令一直过不去yum install --enablerepo=Percona56 Percona-Server-shared-56，后直接安装的Percona-Server-shared-56通过

Warning:警告2

跟据glib安装的路径，修改SQLAdvisor/sqladvisor/CMakeLists.txt中的两处include_directories针对glib设置的path。本文采用yum安装的git，故glib yum 安装默认不需要修改路径

Warning:警告3

编译sqladvisor时依赖perconaserverclient_r, 因此需要安装Percona-Server-shared-56。有可能需要配置软链接例如:1. cd /usr/lib64/ 2. ln -s libperconaserverclient_r.so.18 libperconaserverclient_r.so

Warning:警告4

有可能需要配置percona56 yum源: yum install http://www.percona.com/downloads/percona-release/redhat/0.1-3/percona-release-0.1-3.noarch.rpm


[root@HE3 ~]#cmake -DBUILD_CONFIG=mysql_release -DCMAKE_BUILD_TYPE=debug -DCMAKE_INSTALL_PREFIX=/usr/local/sqlparser ./

[root@HE3 ~]# make && make install

[root@HE3 ~]# cd SQLAdvisor/sqladvisor

[root@HE3 sqladvisor]# cmake -DCMAKE_BUILD_TYPE=debug ./

[root@HE3 sqladvisor]# make

在本路径下生成一个sqladvisor可执行文件，这即是我们想要的。


使用

Part1:对小表进行测试

[root@HE3 sqladvisor]# ./sqladvisor -h 127.0.0.1 -P 3306 -u root -p "MANAGER" -d helei1 -q "select * from helei1" -v 1

2017-03-21 20:37:53 8581 [Note] 第1步: 对SQL解析优化之后得到的SQL:select `*` AS `*` from `helei1`.`helei1` 

2017-03-21 20:37:53 8581 [Note] 第2步：表helei1 的SQL太逆天,没有优化建议 

2017-03-21 20:37:53 8581 [Note] 第3步: SQLAdvisor结束! 



Part2:对大表进行测试（有索引）

这里我们对表helei进行分析，改表在c1列上存在索引

[root@HE3 sqladvisor]# ./sqladvisor -h 127.0.0.1 -P 3306 -u root -p "MANAGER" -d helei1 -q "explain select * from helei where c1=88501;" -v 1

2017-03-21 21:19:23 8624 [Note] 第1步: 对SQL解析优化之后得到的SQL:select `*` AS `*` from `helei1`.`helei` where (`c1` = 88501) 

2017-03-21 21:19:23 8624 [Note] 第2步：开始解析where中的条件:(`c1` = 88501) 

2017-03-21 21:19:23 8624 [Note] show index from helei 

2017-03-21 21:19:23 8624 [Note] show table status like 'helei' 

2017-03-21 21:19:23 8624 [Note] select count(*) from ( select `c1` from `helei` FORCE INDEX( PRIMARY ) order by id DESC limit 10000) `helei` where (`c1` = 88501)  

2017-03-21 21:19:23 8624 [Note] 第3步：表helei的行数:200380,limit行数:10000,得到where条件中(`c1` = 88501)的选择度:10000 

2017-03-21 21:19:23 8624 [Note] 第4步：开始验证 字段c1是不是主键。表名:helei 

2017-03-21 21:19:23 8624 [Note] show index from helei where Key_name = 'PRIMARY' and Column_name ='c1' and Seq_in_index = 1 

2017-03-21 21:19:23 8624 [Note] 第5步：字段c1不是主键。表名:helei 

2017-03-21 21:19:23 8624 [Note] 第6步：开始验证 字段c1是不是主键。表名:helei 

2017-03-21 21:19:23 8624 [Note] show index from helei where Key_name = 'PRIMARY' and Column_name ='c1' and Seq_in_index = 1 

2017-03-21 21:19:23 8624 [Note] 第7步：字段c1不是主键。表名:helei 

2017-03-21 21:19:23 8624 [Note] 第8步：开始验证表中是否已存在相关索引。表名:helei, 字段名:c1, 在索引中的位置:1 

2017-03-21 21:19:23 8624 [Note] show index from helei where Column_name ='c1' and Seq_in_index =1 

2017-03-21 21:19:23 8624 [Note] 第9步：索引(c1)已存在 

2017-03-21 21:19:23 8624 [Note] 第10步: SQLAdvisor结束! 


可以看到，最后给出了该条SQL已经拥有有效索引的建议


Part2:对大表进行测试（无索引）

这里我们对表helei进行分析，改表在c5列上没有索引

[root@HE3 sqladvisor]# ./sqladvisor -h 127.0.0.1 -P 3306 -u root -p "MANAGER" -d helei1 -q "explain select * from helei where c5=74685;" -v 1

2017-03-21 21:20:53 8628 [Note] 第1步: 对SQL解析优化之后得到的SQL:select `*` AS `*` from `helei1`.`helei` where (`c5` = 74685) 

2017-03-21 21:20:53 8628 [Note] 第2步：开始解析where中的条件:(`c5` = 74685) 

2017-03-21 21:20:53 8628 [Note] show index from helei 

2017-03-21 21:20:53 8628 [Note] show table status like 'helei' 

2017-03-21 21:20:53 8628 [Note] select count(*) from ( select `c5` from `helei` FORCE INDEX( PRIMARY ) order by id DESC limit 10000) `helei` where (`c5` = 74685)  

2017-03-21 21:20:53 8628 [Note] 第3步：表helei的行数:201361,limit行数:10000,得到where条件中(`c5` = 74685)的选择度:10000 

2017-03-21 21:20:53 8628 [Note] 第4步：开始验证 字段c5是不是主键。表名:helei 

2017-03-21 21:20:53 8628 [Note] show index from helei where Key_name = 'PRIMARY' and Column_name ='c5' and Seq_in_index = 1 

2017-03-21 21:20:53 8628 [Note] 第5步：字段c5不是主键。表名:helei 

2017-03-21 21:20:53 8628 [Note] 第6步：开始验证 字段c5是不是主键。表名:helei 

2017-03-21 21:20:53 8628 [Note] show index from helei where Key_name = 'PRIMARY' and Column_name ='c5' and Seq_in_index = 1 

2017-03-21 21:20:53 8628 [Note] 第7步：字段c5不是主键。表名:helei 

2017-03-21 21:20:53 8628 [Note] 第8步：开始验证表中是否已存在相关索引。表名:helei, 字段名:c5, 在索引中的位置:1 

2017-03-21 21:20:53 8628 [Note] show index from helei where Column_name ='c5' and Seq_in_index =1 

2017-03-21 21:20:53 8628 [Note] 第9步：开始输出表helei索引优化建议: 

2017-03-21 21:20:53 8628 [Note] Create_Index_SQL：alter table helei add index idx_c5(c5) 

2017-03-21 21:20:53 8628 [Note] 第10步: SQLAdvisor结束!


可以看到，最后给出了创建索引的建议



Part3:多条SQL同时分析

可以创建任意名的参数文件，这里叫helei.cnf，输入常规的数据库连接信息和SQL，SQL之间用分号隔开。

[root@HE3 sqladvisor]# cat helei.cnf 

[sqladvisor]

username=root

password=MANAGER

host=127.0.0.1

port=3306

dbname=helei1

sqls=select * from helei where c1=88501;select * from helei where c5=74685;


这里使用-f命令来载入helei.cnf中的配置

[root@HE3 sqladvisor]# ./sqladvisor -f helei.cnf -v 1

2017-03-21 21:27:35 8640 [Note] 第1步: 对SQL解析优化之后得到的SQL:select `*` AS `*` from `helei1`.`helei` where (`c1` = 88501) 

2017-03-21 21:27:35 8640 [Note] 第2步：开始解析where中的条件:(`c1` = 88501) 

2017-03-21 21:27:35 8640 [Note] show index from helei 

2017-03-21 21:27:35 8640 [Note] show table status like 'helei' 

2017-03-21 21:27:35 8640 [Note] select count(*) from ( select `c1` from `helei` FORCE INDEX( PRIMARY ) order by id DESC limit 10000) `helei` where (`c1` = 88501)  

2017-03-21 21:27:35 8640 [Note] 第3步：表helei的行数:200674,limit行数:10000,得到where条件中(`c1` = 88501)的选择度:10000 

2017-03-21 21:27:35 8640 [Note] 第4步：开始验证 字段c1是不是主键。表名:helei 

2017-03-21 21:27:35 8640 [Note] show index from helei where Key_name = 'PRIMARY' and Column_name ='c1' and Seq_in_index = 1 

2017-03-21 21:27:35 8640 [Note] 第5步：字段c1不是主键。表名:helei 

2017-03-21 21:27:35 8640 [Note] 第6步：开始验证 字段c1是不是主键。表名:helei 

2017-03-21 21:27:35 8640 [Note] show index from helei where Key_name = 'PRIMARY' and Column_name ='c1' and Seq_in_index = 1 

2017-03-21 21:27:35 8640 [Note] 第7步：字段c1不是主键。表名:helei 

2017-03-21 21:27:35 8640 [Note] 第8步：开始验证表中是否已存在相关索引。表名:helei, 字段名:c1, 在索引中的位置:1 

2017-03-21 21:27:35 8640 [Note] show index from helei where Column_name ='c1' and Seq_in_index =1 

2017-03-21 21:27:35 8640 [Note] 第9步：索引(c1)已存在 

2017-03-21 21:27:35 8640 [Note] 第10步: SQLAdvisor结束! 

2017-03-21 21:27:35 8640 [Note] 第1步: 对SQL解析优化之后得到的SQL:select `*` AS `*` from `helei1`.`helei` where (`c5` = 74685) 

2017-03-21 21:27:35 8640 [Note] 第2步：开始解析where中的条件:(`c5` = 74685) 

2017-03-21 21:27:35 8640 [Note] show index from helei 

2017-03-21 21:27:35 8640 [Note] show table status like 'helei' 

2017-03-21 21:27:35 8640 [Note] select count(*) from ( select `c5` from `helei` FORCE INDEX( PRIMARY ) order by id DESC limit 10000) `helei` where (`c5` = 74685)  

2017-03-21 21:27:35 8640 [Note] 第3步：表helei的行数:201067,limit行数:10000,得到where条件中(`c5` = 74685)的选择度:10000 

2017-03-21 21:27:35 8640 [Note] 第4步：开始验证 字段c5是不是主键。表名:helei 

2017-03-21 21:27:35 8640 [Note] show index from helei where Key_name = 'PRIMARY' and Column_name ='c5' and Seq_in_index = 1 

2017-03-21 21:27:35 8640 [Note] 第5步：字段c5不是主键。表名:helei 

2017-03-21 21:27:35 8640 [Note] 第6步：开始验证 字段c5是不是主键。表名:helei 

2017-03-21 21:27:35 8640 [Note] show index from helei where Key_name = 'PRIMARY' and Column_name ='c5' and Seq_in_index = 1 

2017-03-21 21:27:35 8640 [Note] 第7步：字段c5不是主键。表名:helei 

2017-03-21 21:27:35 8640 [Note] 第8步：开始验证表中是否已存在相关索引。表名:helei, 字段名:c5, 在索引中的位置:1 

2017-03-21 21:27:35 8640 [Note] show index from helei where Column_name ='c5' and Seq_in_index =1 

2017-03-21 21:27:35 8640 [Note] 第9步：开始输出表helei索引优化建议: 

2017-03-21 21:27:35 8640 [Note] Create_Index_SQL：alter table helei add index idx_c5(c5) 

2017-03-21 21:27:35 8640 [Note] 第10步: SQLAdvisor结束! 


可以看到这里对helei.cnf中的两个SQL进行了一次性建议输出。


Warning:警告5

  • SQL中的子查询、or条件、使用函数的条件 会忽略不处理。

  • 命令行传入sql参数时，注意sql中的双引号、反引号 都需要用\转义。建议使用配置文件形式调用


——总结——

可以看出，SQLAdvisor对查询SQL给出了索引创建的优化和建议，还是不错的，后续会进一步进行深度测试。由于笔者的水平有限，编写时间也很仓促，文中难免会出现一些错误或者不准确的地方，不妥之处恳请读者批评指正。



参考：https://github.com/Meituan-Dianping/SQLAdvisor/blob/master/doc/QUICK_START.md






 本文转自 dbapower 51CTO博客，原文链接：http://blog.51cto.com/suifu/1909169，如需转载请自行联系原作者


文章标签：
云解析DNS
SQL
索引
开发工具
git
技术小胖子
目录
相关文章
技术自由圈/原疯狂创客圈
|
存储 SQL 关系型数据库
mysql底层原理：索引、慢查询、 sql优化、事务、隔离级别、MVCC、redolog、undolog（图解+秒懂+史上最全）
mysql底层原理：索引、慢查询、 sql优化、事务、隔离级别、MVCC、redolog、undolog（图解+秒懂+史上最全）
技术自由圈/原疯狂创客圈
2843 43
mysql底层原理：索引、慢查询、 sql优化、事务、隔离级别、MVCC、redolog、undolog（图解+秒懂+史上最全）
智物科技库
|
SQL 存储 关系型数据库
SQL优化策略与实践：组合索引与最左前缀原则详解
本文介绍了SQL优化的多种方式，包括优化查询语句（避免使用SELECT *、减少数据处理量）、使用索引（创建合适索引类型）、查询缓存、优化表结构、使用存储过程和触发器、批量处理以及分析和监控数据库性能。同时，文章详细讲解了组合索引的概念及其最左前缀原则，即MySQL从索引的最左列开始匹配条件，若跳过最左列，则索引失效。通过示例代码，展示了如何在实际场景中应用这些优化策略，以提高数据库查询效率和系统响应速度。
智物科技库
900 10
拉丁解牛说技术
|
SQL 关系型数据库 MySQL
MySQL进阶突击系列(07) 她气鼓鼓递来一条SQL | 怎么看执行计划、SQL怎么优化?
在日常研发工作当中，系统性能优化，从大的方面来看主要涉及基础平台优化、业务系统性能优化、数据库优化。面对数据库优化，除了DBA在集群性能、服务器调优需要投入精力，我们研发需要负责业务SQL执行优化。当业务数据量达到一定规模后，SQL执行效率可能就会出现瓶颈，影响系统业务响应。掌握如何判断SQL执行慢、以及如何分析SQL执行计划、优化SQL的技能，在工作中解决SQL性能问题显得非常关键。
拉丁解牛说技术
601 13
游客kufrkwrbkmpsa
|
SQL 索引
【YashanDB知识库】字段加上索引后，SQL查询不到结果
【YashanDB知识库】字段加上索引后，SQL查询不到结果
游客kufrkwrbkmpsa
421 0
蓝易云
|
SQL 存储 监控
SQL日志优化策略：提升数据库日志记录效率
通过以上方法结合起来运行调整方案, 可以显著地提升SQL环境下面向各种搜索引擎服务平台所需要满足标准条件下之数据库登记作业流程综合表现; 同时还能确保系统稳健运行并满越用户体验预期目标.
蓝易云
524 6
技术自由圈/原疯狂创客圈
|
SQL 存储 自然语言处理
SQL的解析和优化的原理：一条sql 执行过程是什么？
SQL的解析和优化的原理：一条sql 执行过程是什么？
技术自由圈/原疯狂创客圈
585 3
SQL的解析和优化的原理：一条sql 执行过程是什么？
wilenyao
|
SQL 关系型数据库 MySQL
SQL在线美化工具
SQL 在线美化工具是一款智能代码格式化工具，专为开发者、数据分析师及数据库管理员设计。支持自动缩进、语法高亮、关键字优化（大写/小写）及语法错误提示，兼容MySQL、PostgreSQL等多种SQL方言，可快速将杂乱SQL语句转换为专业易读的格式，提升代码维护效率和团队协作体验。
wilenyao
1216 19
游客mass6jalwg5qm
|
SQL 关系型数据库 MySQL
如何优化SQL查询以提高数据库性能？
这篇文章以生动的比喻介绍了优化SQL查询的重要性及方法。它首先将未优化的SQL查询比作在自助餐厅贪多嚼不烂的行为，强调了只获取必要数据的必要性。接着，文章详细讲解了四种优化策略：**精简选择**（避免使用`SELECT *`）、**专业筛选**（利用`WHERE`缩小范围）、**高效联接**（索引和限制数据量）以及**使用索引**（加速搜索）。此外，还探讨了如何避免N+1查询问题、使用分页限制结果、理解执行计划以及定期维护数据库健康。通过这些技巧，可以显著提升数据库性能，让查询更高效流畅。
游客mass6jalwg5qm
780 18
申某某
|
SQL 大数据 数据处理
Flink SQL 详解：流批一体处理的强大工具
Flink SQL 是为应对传统数据处理框架中流批分离的问题而诞生的，它融合了SQL的简洁性和Flink的强大流批处理能力，降低了大数据处理门槛。其核心工作原理包括生成逻辑执行计划、查询优化和构建算子树，确保高效执行。Flink SQL 支持过滤、投影、聚合、连接和窗口等常用算子，实现了流批一体处理，极大提高了开发效率和代码复用性。通过统一的API和语法，Flink SQL 能够灵活应对实时和离线数据分析场景，为企业提供强大的数据处理能力。
申某某
2552 27
蓝易云
|
SQL 关系型数据库 MySQL
基于SQL Server / MySQL进行百万条数据过滤优化方案
对百万级别数据进行高效过滤查询，需要综合使用索引、查询优化、表分区、统计信息和视图等技术手段。通过合理的数据库设计和查询优化，可以显著提升查询性能，确保系统的高效稳定运行。
蓝易云
1020 9

热门文章

最新文章

  • 1
    Spark SQL性能优化
  • 2
    怎么在sql创建数据库,在SQL中创建数据库
  • 3
    【Sql Server】基础之分组查询重复出现多条记录的SQL语句，以及group by和having、min函数运用
  • 4
    案例分享 | SQL Server删除重复数据只保留一行
  • 5
    mysql数据库最基本操作总结（运行截图+sql语句+注释）
  • 6
    SQL语句，表与表之间的引用
  • 7
    SQL:清空数据库所有数据
  • 8
    6月23日 Spark 社区技术直播【半小时，将你的Spark SQL模型变为在线服务】
  • 9
    sql 查询优化小计
  • 10
    【记录】T-SQL 分组排序中取出最新数据
  • 1
    为什么这些 SQL 语句逻辑相同，性能却差异巨大？
    469
  • 2
    SQL日志优化策略：提升数据库日志记录效率
    524
  • 3
    阿里云数据库RDS费用价格：MySQL、SQL Server、PostgreSQL和MariaDB引擎收费标准
    1830
  • 4
    阿里云数据库收费价格：MySQL、PostgreSQL、SQL Server和MariaDB引擎费用整理
    1970
  • 5
    MCP与PolarDB集成技术分析：降低SQL门槛与简化数据可视化流程的机制解析
    975
  • 6
    阿里云数据库RDS支持MySQL、SQL Server、PostgreSQL和MariaDB引擎
    1249
  • 7
    SQL 学习笔记 - 多表关系与多表查询
    785
  • 8
    SQL Server 2025 年 9 月更新 - 修复 CVE-2025-47997 SQL Server 信息泄露漏洞
    781
  • 9
    从“写SQL”到“聊数据”：NL2SQL如何用自然语言解锁数据库？
    4483
  • 10
    SQL Server 2025 年 8 月更新 - 修复 CVE-2025-49759 SQL Server 特权提升漏洞
    1511

    • 相关课程

    更多
  • 如何在 PolarDB-X 中优化慢 SQL
  • SQL完全自学手册
  • SQL Server on Linux入门教程
  • SQL入门与实践
  • 数据库及SQL/MySQL基础
  • SQL进阶及查询

    • 相关电子书

    更多
  • SQL Server在电子商务中的应用与实践
  • GeoMesa on Spark SQL
  • 原生SQL on Hadoop引擎- Apache HAWQ 2.x最新技术解密malili
    • 下一篇
    一条命令迁移，帮你实现 OpenClaw 与 Hermes Agent 记忆互通！