数据库sql优化总结之1-百万级数据库优化方案+案例分析

本文涉及的产品
RDS Agent(兼容OpenClaw),2核4GB
RDS AI 助手,专业版
RDS MySQL DuckDB 分析主实例,集群系列 4核8GB
简介: 数据库sql优化总结之1-百万级数据库优化方案+案例分析

目录


项目背景


1.对查询进行优化,要尽量避免全表扫描,首先应考虑在 where 及 order by 涉及的列上建立索引。


案例分析:


2、应尽量避免在 where 子句中对字段进行 null 值判断,否则将导致引擎放弃使用索引而进行全表扫描


案例分析:


3、应尽量避免在 where 子句中使用 != 或 <> 操作符,否则将引擎放弃使用索引而进行全表扫描。


案例分析:


4.应尽量避免在 where 子句中使用 or 来连接条件,如果一个字段有索引,一个字段没有索引,将导致引擎放弃使用索引而进行全表扫描


案例分析:


5.in 和 not in 也要慎用,否则会导致全表扫描


案例分析


案例分析2:


案例分析3:


6、like模糊全匹配也将导致全表扫描


案例分析


项目背景

有三张百万级数据表


知识点表(ex_subject_point)9,316条数据


试题表(ex_question_junior)2,159,519条数据 有45个字段


知识点试题关系表(ex_question_r_knowledge)3,156,155条数据


测试数据库为:mysql (5.7)



1.对查询进行优化,要尽量避免全表扫描,首先应考虑在 where 及 order by 涉及的列上建立索引。

案例分析:

image.png    执行时间:17.609s (多次执行,在17s左右徘徊)


 优化后:给GRADE_ID字段添加索引后


 执行时间为:11.377s(多次执行,在11s左右徘徊)


 备注:我们一般在什么字段上建索引?


 这是一个非常复杂的话题,需要对业务及数据充分分析后再能得出结果。主键及外键通常都要有索引,其它需要建索引的字段应满足以下条件:


   a、字段出现在查询条件中,并且查询条件可以使用索引;


   b、语句执行频率高,一天会有几千次以上;


   c、通过字段条件可筛选的记录集很小,那数据筛选比例是多少才适合?


 这个没有固定值,需要根据表数据量来评估,以下是经验公式,可用于快速评估:


 小表(记录数小于10000行的表):筛选比例<10%;


 大表:(筛选返回记录数)<(表总记录数*单条记录长度)/10000/16


 单条记录长度≈字段平均内容长度之和+字段数*2


 以下是一些字段是否需要建B-TREE索引的经验分类:image.png2、应尽量避免在 where 子句中对字段进行 null 值判断,否则将导致引擎放弃使用索引而进行全表扫描

select id from t where num is null


最好不要给数据库留NULL,尽可能的使用 NOT NULL填充数据库.


备注、描述、评论之类的可以设置为 NULL,其他的,最好不要使用NULL。


不要以为 NULL 不需要空间,比如:char(100) 型,在字段建立时,空间就固定了, 不管是否插入值(NULL也包含在内),都是占用 100个字符的空间的,如果是varchar这样的变长字段, null 不占用空间。


可以在num上设置默认值0,确保表中num列没有null值,然后这样查询:


select id from t where num = 0


案例分析:

在mysql数据库中对字段进行null值判断,是不会放弃使用索引而进行全表扫描的。image.png执行时间是12.253s

时间几乎一样。

3、应尽量避免在 where 子句中使用 != 或 <> 操作符,否则将引擎放弃使用索引而进行全表扫描。

案例分析:

在mysql数据库中where 子句中使用 != 或 <> 操作符,引擎不会放弃使用索引。image.png

4.应尽量避免在 where 子句中使用 or 来连接条件,如果一个字段有索引,一个字段没有索引,将导致引擎放弃使用索引而进行全表扫描

案例分析:

GRADE_ID字段有索引,QUESTION_TYPE没索引

image.png执行时间是:11.811s


但是,非索引字段依然查询速度会很慢,所以查询条件,能加索引的尽量加索引


5.in 和 not in 也要慎用,否则会导致全表扫描

案例分析

注:在mysql数据库中where 子句中对索引字段使用 in 和 not in操作符,引擎不会放弃使用索引。

image.png


执行时间为0.924s



时间上是相差不多的


案例分析3:

用exists 和 in区别:结论


用exists 和 in区别:结论


1. in()适合B表比A表数据大的情况(A


select * from A


where id in(select id from B)


2. exists()适合B表比A表数据小的情况(A>B)


 select * from A


 where exists(


 select 1 from B where B.id = A.id


 )


3.当A表数据与B表数据一样大时,in与exists效率差不多,可任选一个使用.语法


select * from A


where id in(select id from B)


ex_question_r_knowledge表数据量大,ex_subject_point表数据量小


****************************************************************************


ex_question_r_knowledge(A)表数据量大,ex_subject_point表数据量小(B)(A>B)


用exists适合

image.pngimage.pngimage.png若要提高效率,可以考虑全文检索。lucene了解一下。或者其他可以提供全文索引的nosql数据库,比如tt server或MongoDB


还会陆续更新,还有几个小节。



昨天晚上突发奇想,like 模糊全匹配,会导致全表扫描,那模糊后匹配和模糊前匹配也会是全表扫描吗?


今天开电脑,做了下测试。结果如下:


like模糊后匹配,不会导致全表扫描

image.pngimage.pngMY SQL的原理就是这样的,LIKE模糊全匹配会导致索引失效,进行全表扫描;LIKE模糊前匹配也会导致索引失效,进行全表扫描;但是LIKE模糊后匹配,索引就会有效果。



参考:



https://mp.weixin.qq.com/s?__biz=MzIxMjg4NDU1NA==&mid=2247483684&idx=1&sn=f5abc60e696b2063e43cd9ccb40df101&chksm=97be0c01a0c98517029ff9aa280b398ab5c81fa1fcfe0e746222a3bfe75396d9eea1e249af38&mpshare=1&scene=1&srcid=0606XGHeBS4RBZloVv786wBY#rd



***************************************************************************


作者:小虚竹

欢迎任何形式的转载,但请务必注明出处。

限于本人水平,如果文章和代码有表述不当之处,还请不吝赐教。



我不是个伟大的程序员,我只是个有着一些优秀习惯的好程序员而己


image.png


相关实践学习
每个IT人都想学的“Web应用上云经典架构”实战
本实验从Web应用上云这个最基本的、最普遍的需求出发,帮助IT从业者们通过“阿里云Web应用上云解决方案”,了解一个企业级Web应用上云的常见架构,了解如何构建一个高可用、可扩展的企业级应用架构。
MySQL数据库入门学习
本课程通过最流行的开源数据库MySQL带你了解数据库的世界。 &nbsp; 相关的阿里云产品:云数据库RDS MySQL 版 阿里云关系型数据库RDS(Relational Database Service)是一种稳定可靠、可弹性伸缩的在线数据库服务,提供容灾、备份、恢复、迁移等方面的全套解决方案,彻底解决数据库运维的烦恼。 了解产品详情:&nbsp;https://www.aliyun.com/product/rds/mysql&nbsp;
目录
相关文章
|
9月前
|
关系型数据库 MySQL 数据库
阿里云数据库RDS费用价格:MySQL、SQL Server、PostgreSQL和MariaDB引擎收费标准
阿里云RDS数据库支持MySQL、SQL Server、PostgreSQL、MariaDB,多种引擎优惠上线!MySQL倚天版88元/年,SQL Server 2核4G仅299元/年,PostgreSQL 227元/年起。高可用、可弹性伸缩,安全稳定。详情见官网活动页。
1453 152
|
9月前
|
关系型数据库 MySQL 数据库
阿里云数据库RDS支持MySQL、SQL Server、PostgreSQL和MariaDB引擎
阿里云数据库RDS支持MySQL、SQL Server、PostgreSQL和MariaDB引擎,提供高性价比、稳定安全的云数据库服务,适用于多种行业与业务场景。
1065 156
|
9月前
|
SQL 人工智能 Linux
SQL Server 2025 RC1 发布 - 从本地到云端的 AI 就绪企业数据库
SQL Server 2025 RC1 发布 - 从本地到云端的 AI 就绪企业数据库
726 5
SQL Server 2025 RC1 发布 - 从本地到云端的 AI 就绪企业数据库
|
8月前
|
SQL 存储 监控
SQL日志优化策略:提升数据库日志记录效率
通过以上方法结合起来运行调整方案, 可以显著地提升SQL环境下面向各种搜索引擎服务平台所需要满足标准条件下之数据库登记作业流程综合表现; 同时还能确保系统稳健运行并满越用户体验预期目标.
414 6
|
9月前
|
关系型数据库 分布式数据库 数据库
阿里云数据库收费价格:MySQL、PostgreSQL、SQL Server和MariaDB引擎费用整理
阿里云数据库提供多种类型,包括关系型与NoSQL,主流如PolarDB、RDS MySQL/PostgreSQL、Redis等。价格低至21元/月起,支持按需付费与优惠套餐,适用于各类应用场景。
|
9月前
|
SQL Oracle 关系型数据库
Oracle数据库创建表空间和索引的SQL语法示例
以上SQL语法提供了一种标准方式去组织Oracle数据库内部结构,并且通过合理使用可以显著改善查询速度及整体性能。需要注意,在实际应用过程当中应该根据具体业务需求、系统资源状况以及预期目标去合理规划并调整参数设置以达到最佳效果。
608 8
|
SQL Oracle 关系型数据库
本机不安装Oracle客户端,使用PL/SQL Developer连接远程数据库
本机不安装Oracle客户端,使用PL/SQL Developer连接远程数据库
1210 0
|
SQL 开发框架 .NET
ASP.NET连接SQL数据库:详细步骤与最佳实践指南ali01n.xinmi1009fan.com
随着Web开发技术的不断进步,ASP.NET已成为一种非常流行的Web应用程序开发框架。在ASP.NET项目中,我们经常需要与数据库进行交互,特别是SQL数据库。本文将详细介绍如何在ASP.NET项目中连接SQL数据库,并提供最佳实践指南以确保开发过程的稳定性和效率。一、准备工作在开始之前,请确保您
973 3
|
11月前
|
SQL XML Java
配置Spring框架以连接SQL Server数据库
最后,需要集成Spring配置到应用中,这通常在 `main`方法或者Spring Boot的应用配置类中通过加载XML配置或使用注解来实现。
772 0
Java连接SQL Server数据库的详细操作流程
Java连接SQL Server数据库的详细操作流程

热门文章

最新文章