一、前言
在我们的实际开发应用中,作为数据落地的一层,地位非常重要。
下面笔者从实战角度,分别5个层面,简述数据层的优化思路。
二、分步解析
1. 数据建模
在项目中,产品经理过来的需求之后,就是对需求进行业务分析,把实际的业务需求转化成抽象的存储结构。
这里我们不得不提的是数据库设计的三大范式。
第一范式(1NF):字段不可分;
第二范式(2NF):有主键,非主键字段依赖主键;
第三范式(3NF):非主键字段不能相互依赖。
举个简单的例子,猫舍中有很多只猫,需要做统计和管理。
猫有身高和体重,如果把身高和体重都放在一个字段里,就违背了第一范式,因为是可以分两个字段存储的。
猫的毛发不同,洗护的注意事项也不同,但是洗护的事项和猫是具体哪一只没有直接联系,所以不应该放在一个表中,应该做单独的洗护表。
但是这三大范式在实际项目中,会根据具体查询做一定的冗余,并不需要绝对执行。
2. 优化查询
在确定数据表之后,我们进行具体业务的模块开发。其中涉及到的数据库查询操作,就对应如何优化查询。
见效最快的优化方式是添加合理的索引。
索引按照数据结构来说主要包含B+树和Hash索引。
B+树是左小右大的顺序存储结构,节点只包含id索引列,而叶子节点包含索引列和数据,这种数据和索 引在一起存储的索引方式叫做聚簇索引,一张表只能有一个聚簇索引。假设没有定义主键,InnoDB会选 择一个唯一的非空索引代替,如果没有的话则会隐式定义一个主键作为聚簇索引。
覆盖索引指的是在一次查询中,如果一个索引包含或者说覆盖所有需要查询的字段的值,我们就称之为 覆盖索引,而不再需要回表查询。
而要确定一个查询是否是覆盖索引,我们只需要explain sql语句看Extra的结果是否是“Using index”即可。
注意锁表,比如一次删除操作时,使用的列没有创建索引,导致删除操作扫描全表,这时造成锁表,数据不能写入。
3. 慢SQL查询
慢SQL指的是超出设定值时间的查询,大量的慢SQL会导致拖慢接口返回时间,需要逐个排查。
查看是否开启慢查询。
show variables like "slow_query_log%"
查看慢查询的时间。
show variables like "long_query_time"
4. 分库 分表
分库指的是不同的数据表放到不同的数据库服务器中,分表指的是一张数据表拆成多张数据表,可能位于同一台服务器或多台服
务器中。
分库分表解决的问题,一个是数据库的容量问题,另一个是数据库服务器性能压力问题。
如何做分库分表:
- 去除数据表之间的关联,比如连表查询。
- 拒绝外键,允许一定的数据冗余设计数据表。
- 可以根据业务拆分,减少业务上对数据库的链接。
- 可以根据负载拆分,减少对服务器的压力。
5.配置缓存层
MySQL作为数据落地的一层,io压力还是很大的,虽然可以通过增加配置的方式提升性能,但是从成本考虑还是需要我们在架构上优化。
配置缓存层是一个经典的操作,比如Memcached、redis。
如何做缓存层的设计:
- 频繁的数据,数据更新操作,先更新缓存层数据,再写入队列,延迟更新到数据库。
- 重要的数据,缓存层和数据库同步更新。
三、总结
本文从5个角度简要概述了优化MySQL的要点,每个部分并没有非常详细。
希望抛砖引玉,给各位一些启发。