mysql性能优化-简易版

本文涉及的产品
RDS MySQL Serverless 基础系列,0.5-2RCU 50GB
云数据库 RDS MySQL,高可用系列 2核4GB
日志服务 SLS,月写入数据量 50GB 1个月
简介:
mysql性能优化

sql语句优化
如何发现有问题的sql?
开启mysql慢查询

show variables like 'slow_query_log'

set global slow_query_log_file='/var/mysql/mysql_log/mysql-slow.log'

set global log_queries_not_using_index=on;

set global long_query_time=1

MySQL慢查日志分析工具之mysqldumpslow
mysqldumpslow 参数 日志文件路径

MySQL慢查日志分析工具之pt-query-digest
输出到文件:

pt-query-digest slow-log > slow_log.report

输出到数据库:

pt-query-digest slow-log -review h=127.0.0.1,D=test,p=root,P=3306,u=root,t=query_review --create-reviewtable --review-history t=hostname_slow

如何通过慢查日志发现有问题的SQL
查询次数多且每次耗时长的sql

通常为前几个查询sql

IO大的sql

pt-query-digest中Rows examine项

未命中索引的sql

注意pt-query-digest中Rows examine和Row Send的对比,Rows examine远远大于Row Send的sql。

通过explain查询和分析SQL的执行计划
explain sql语句

explain select id,username from student;
table:对应的表

type:最好到最差的连接类型const、eq_reg、ref(常见于连接查询中)、range、index和ALL(表扫描)

possible_keys:显示可能应用在这张表中的索引,如果为空,则表示没有可用的索引。

key:实际使用的索引,为空是表示没有用到索引

key_len:索引的长度。(越小越好)

ref:显示索引的哪一列被使用了,如果可能的话是一个常数。

rows:返回的行数

extra列返回值需要注意:

Using filesort:看到这个的话查询就需要优化了。

Using temporary:看到这个的话查询就需要优化了。一般会出现在group by和order by中。

Count()和Max()的优化
select max(pay_date) from order;

max:可以创建一个索引进行操作

count:

count(*)和count(id)的区别:*会统计所有行数,id只统计列不为NULL的行数

同时查出2015年和2016年电影的数量

select count(release_year='2016' OR NULL) as 2016电影数量',count(release_year='2015' OR NULL) as2016电影数量' from film;

子查询的优化
通常情况下,一般将子查询优化为join的方式进行查询。但是优化时需要注意的是关联键是否存在一对多的关系,要注意重复数据

如果优化成join的方式出现数据重复句,可以使用distinct的方式进行去重处理。
group by的优化
优化前的写法:

eplain select actor.first_name, actor.last_name, c.cnt from sakila.actor inner join sakila.film_actor using(actor_id) group by file_actor.actor_id;
extra:using temporary; using filesort

group by 优化后的写法:

eplain select actor.first_name, actor.last_name, c.cnt from sakila.actor inner join ( select actor_id, count(*) as cnt from sakila.film_actor group by actor_id ) as c using(actor_id);
extra:using index

这样可以减少io等。

Limit查询的优化
limit常用于分页处理,同时会伴随order by从句的使用。因此在大多时候会使用filesort的方式进行,从而导致大量的IO

explain select id, name, sex from student order by name;

extra:using filesort

优化步骤1:使用索引键或者主键进行order by排序

explain select id, name, sex from student order by id limit 10, 5;

优化步骤2:使用过滤条件(避免数据量过大时扫描记录数过多的情况)

explain select id, name, sex from student where id > 10000 and id < 100005 order by id limit 1, 5;

索引优化
如何选择合适的列建立索引
1、where从句、order by从句、group by从句、on从句出现的列
2、索引字段越小越好
3、离散度(唯一值越多离散度越大)大的列放在联合索引的前面

索引优化SQL的方法
重复索引,如主键为id,又声明了unique(id)的索引

冗余索引,索引里面包好了主键。由于innodb中默认索引都包含了主键,因此没有必要在索引里面再次包含索引。

使用pt-duplicate-key-checker工具进行重复及冗余索引的检查

pt-duplicate-key-checker -uroot -ppassword -h 127.0.0.1

索引维护的方法
对于已经不再使用的索引进行删除

pt-index-usage -uroot -p'password' mysql-slow.log
数据库结构优化
选择合适的数据类型
1、使用可以存下数据的最小数据类型

2、使用简单的数据类型。int要比varchar处理上简单

3、尽可能使用not null属性

4、尽量少用text类型,非用不可时可以考虑分表

用int来存储日期时间,使用FROM_UNIXTIME和UNIX_TIMESTAMP进行转换。

使用bigint来存储IP地址,inet_aton(),inet_ntoa()来进行转换。

表的范式化优化
表的反范式化优化
以空间换取时间的方式

如果完全按照三范式的设计会导致关联表过多等一系列问题。

表的垂直拆分
解决表字段过多的问题

拆分原则:

把不常用的字段放在一个表中
把大字段独立放在一个表中
把经常使用的字段放在一起
表的水平拆分
解决表数据量的问题,拆分后表结构是一样的。

存在问题:跨分区表查询、统计及后台报表操作

系统优化
数据库系统配置优化
参考:http://www.cnblogs.com/rwxwsblog/p/5785376.html

MySQL配置文件优化
参考:http://www.cnblogs.com/rwxwsblog/p/5792962.html

第三方配置工具使用
Percon Configuration Wizard

https://tools.percona.com/wizard

服务器硬件优化
参考:http://www.cnblogs.com/rwxwsblog/p/5785376.html






本文转自秋楓博客园博客,原文链接:http://www.cnblogs.com/rwxwsblog/p/5808716.html,如需转载请自行联系原作者

相关实践学习
每个IT人都想学的“Web应用上云经典架构”实战
本实验从Web应用上云这个最基本的、最普遍的需求出发,帮助IT从业者们通过“阿里云Web应用上云解决方案”,了解一个企业级Web应用上云的常见架构,了解如何构建一个高可用、可扩展的企业级应用架构。
MySQL数据库入门学习
本课程通过最流行的开源数据库MySQL带你了解数据库的世界。 &nbsp; 相关的阿里云产品:云数据库RDS MySQL 版 阿里云关系型数据库RDS(Relational Database Service)是一种稳定可靠、可弹性伸缩的在线数据库服务,提供容灾、备份、恢复、迁移等方面的全套解决方案,彻底解决数据库运维的烦恼。 了解产品详情:&nbsp;https://www.aliyun.com/product/rds/mysql&nbsp;
目录
相关文章
|
7天前
|
存储 关系型数据库 分布式数据库
PostgreSQL 18 发布,快来 PolarDB 尝鲜!
PostgreSQL 18 发布,PolarDB for PostgreSQL 全面兼容。新版本支持异步I/O、UUIDv7、虚拟生成列、逻辑复制增强及OAuth认证,显著提升性能与安全。PolarDB-PG 18 支持存算分离架构,融合海量弹性存储与极致计算性能,搭配丰富插件生态,为企业提供高效、稳定、灵活的云数据库解决方案,助力企业数字化转型如虎添翼!
|
5天前
|
存储 人工智能 Java
AI 超级智能体全栈项目阶段二:Prompt 优化技巧与学术分析 AI 应用开发实现上下文联系多轮对话
本文讲解 Prompt 基本概念与 10 个优化技巧,结合学术分析 AI 应用的需求分析、设计方案,介绍 Spring AI 中 ChatClient 及 Advisors 的使用。
309 130
AI 超级智能体全栈项目阶段二:Prompt 优化技巧与学术分析 AI 应用开发实现上下文联系多轮对话
|
18天前
|
弹性计算 关系型数据库 微服务
基于 Docker 与 Kubernetes(K3s)的微服务:阿里云生产环境扩容实践
在微服务架构中,如何实现“稳定扩容”与“成本可控”是企业面临的核心挑战。本文结合 Python FastAPI 微服务实战,详解如何基于阿里云基础设施,利用 Docker 封装服务、K3s 实现容器编排,构建生产级微服务架构。内容涵盖容器构建、集群部署、自动扩缩容、可观测性等关键环节,适配阿里云资源特性与服务生态,助力企业打造低成本、高可靠、易扩展的微服务解决方案。
1328 8
|
4天前
|
监控 JavaScript Java
基于大模型技术的反欺诈知识问答系统
随着互联网与金融科技发展,网络欺诈频发,构建高效反欺诈平台成为迫切需求。本文基于Java、Vue.js、Spring Boot与MySQL技术,设计实现集欺诈识别、宣传教育、用户互动于一体的反欺诈系统,提升公众防范意识,助力企业合规与用户权益保护。
|
17天前
|
机器学习/深度学习 人工智能 前端开发
通义DeepResearch全面开源!同步分享可落地的高阶Agent构建方法论
通义研究团队开源发布通义 DeepResearch —— 首个在性能上可与 OpenAI DeepResearch 相媲美、并在多项权威基准测试中取得领先表现的全开源 Web Agent。
1404 87
|
6天前
|
人工智能 Java API
AI 超级智能体全栈项目阶段一:AI大模型概述、选型、项目初始化以及基于阿里云灵积模型 Qwen-Plus实现模型接入四种方式(SDK/HTTP/SpringAI/langchain4j)
本文介绍AI大模型的核心概念、分类及开发者学习路径,重点讲解如何选择与接入大模型。项目基于Spring Boot,使用阿里云灵积模型(Qwen-Plus),对比SDK、HTTP、Spring AI和LangChain4j四种接入方式,助力开发者高效构建AI应用。
309 122
AI 超级智能体全栈项目阶段一:AI大模型概述、选型、项目初始化以及基于阿里云灵积模型 Qwen-Plus实现模型接入四种方式(SDK/HTTP/SpringAI/langchain4j)
|
4天前
|
JavaScript Java 大数据
基于JavaWeb的销售管理系统设计系统
本系统基于Java、MySQL、Spring Boot与Vue.js技术,构建高效、可扩展的销售管理平台,实现客户、订单、数据可视化等全流程自动化管理,提升企业运营效率与决策能力。
|
6天前
|
弹性计算 安全 数据安全/隐私保护
2025年阿里云域名备案流程(新手图文详细流程)
本文图文详解阿里云账号注册、服务器租赁、域名购买及备案全流程,涵盖企业实名认证、信息模板创建、域名备案提交与管局审核等关键步骤,助您快速完成网站上线前的准备工作。
246 82
2025年阿里云域名备案流程(新手图文详细流程)