SQL优化之使用正确的去重方法-阿里云开发者社区

开发者社区> 茶什i> 正文

SQL优化之使用正确的去重方法

简介: DISTINCT到底该不该使用
+关注继续查看

作者:丶平凡世界 SQL数据库开发

上一讲我们使用DISTINCT来去掉重复行以提高查询效率,没看过的小伙伴戳这里

原创 | SQL优化之不查询多余的行和列》。

这和小伙伴们平常听到的一条优化建议:尽量少使用DISTINCT相悖。下面我们来看看DISTINCT到底该不该使用。如果不想看处理过程的可以直接跳到红色结论部分。

1.使用DISTINCT去掉重复数据
我们重复一下上一讲的例子:

SELECT DISTINCT UnitPrice
FROM [Sales].[SalesOrderDetail]
WHERE UnitPrice>1000;

执行完之后的结果如下:
image.png

接下来,我们将这个表里的数据增大到194万条,再重复上面的实验。

--将表SalesOrderDetail插入到一张物理表中

SELECT * INTO Sales.Temp_SalesOrder
FROM [Sales].[SalesOrderDetail] ;

--通过新增的物理表进行自循环插入3次,将数据增加到1941072行

DECLARE @i INT;
SET @i=0
WHILE @i<4
BEGIN
--这里没有将SalesOrderDetailID这个自增长的放在列中,是为了让系统自动填充不同的数字进去,保证唯一性。
INSERT INTO Sales.Temp_SalesOrder
(SalesOrderID,CarrierTrackingNumber,OrderQty,ProductID,SpecialOfferID,
UnitPrice,UnitPriceDiscount,LineTotal,rowguid,ModifiedDate)

SELECT
SalesOrderID,CarrierTrackingNumber,OrderQty,ProductID,SpecialOfferID,
UnitPrice,UnitPriceDiscount,LineTotal,NEWID(),ModifiedDate
FROM Sales.Temp_SalesOrder
SET @i=@i+1;
END;

SELECT COUNT(1) FROM Sales.Temp_SalesOrder;

(提示:可以左右滑动代码)

将SalesOrderDetailID的自增长属性取消掉之后,插入1000条自身的数据,这样我们就可以得到1000条重复的SalesOrderDetailID,相比1942072条记录占比很小了

如下图,将自增长标识的是换成否后即可插入了。

image.png

INSERT INTO sales.Temp_Salesorder
SELECT TOP 1000 * FROM sales.Temp_Salesorder;

数据插入完整后,我们在将上一讲的内容重复一下,看看效果如何?

A.在没建索引的情况下,我们只查询UnitPrice这一列

SELECT UnitPrice FROM Sales.Temp_SalesOrder ;

我们看一下执行情况:

image.png

接下来是鉴证奇迹的时刻了,我们加DISTINCT在UnitPrice前面试试

SELECT  DISTINCT  UnitPrice FROM sales.Temp_Salesorder;

image.png

和之前的实验结果一致,在执行时间没有多大差别的情况下,分析时间成倍的减少了。

B.当SalesOrderDetailID取消掉自增长属性后就和普通列一样了。

我们来重复上面的步骤:

SELECT   SalesOrderDetailID FROM sales.Temp_Salesorder

执行完后结果如下:

image.png

与上面的UnitPrice没使用DISTINCT情况基本一致。

然后我们给SalesOrderDetailID加上DISTINCT后会怎么样呢?

SELECT DISTINCT  SalesOrderDetailID
FROM sales.Temp_Salesorder

我们可以看到如下执行情况:

image.png

从上图可以看到,DISTINCT已经排除了1000条记录,但是在执行时花的时间比没加DISTINCT更久了。

通过上述两个实验,我们可以得出这样一条结论:在重复量比较高的表中,使用DISTINCT可以有效提高查询效率,而在重复量比较低的表中,使用DISTINCT会严重降低查询效率。所以并不是所有的DISTINCT都是降低效率的,当然你得提前判断数据的重复量。

2.GROUP BY与DISTINCT去掉重复数据的对比

GROUP BY与DISTINCT类似,经常会有一些针对这两个哪个效率高的争议,今天我们就将这两个在不同重复数据量的效率作下对比。

A.重复数据量多的情况下,对UnitPrice进行去重

SELECT  DISTINCT  UnitPrice FROM sales.Temp_Salesorder;
SELECT  UnitPrice FROM sales.Temp_Salesorder GROUP BY UnitPrice;

将上述两条语句一起执行,结果如下:

image.png

可以看出两条语句对应的执行时间GROUP BY比DISTINCT效率高一点点。

B.重复数据量少的情况下,对SalesOrderDetailID进行去重

SELECT  DISTINCT SalesOrderDetailID FROM sales.Temp_Salesorder
SELECT   SalesOrderDetailID FROM sales.Temp_Salesorder
GROUP BY SalesOrderDetailID

也是同时执行上述两条语句,其结果如下:

image.png

作者对上述语句同时执行多次,针对重复量多的UnitPrice,GROUP BY总的处理效率比DISTINCT高一点点,但是针对重复量低的SalesOrderDetailID,DISTINCT就比GROUP BY快一点了,而如果随着整体数据量的增加,效果会越来越明显。

版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。

相关文章
SQL优化常用方法2
访问Table的方式
755 0
SQL优化常用方法1
选用适合的ORACLE优化器
881 0
mysql | 去重查询
今天在实际开发过程中遇到一个数据库去重查询的问题,在这里给大家分享一下。 类似于上面这张数据表,我们发现id=5和id=6的数据passWord和userName数据是一样的。
2562 0
转载:30多条mysql数据库优化方法,千万级数据库记录查询轻松解决
1.对查询进行优化,应尽量避免全表扫描,首先应考虑在 where 及 order by 涉及的列上建立索引。 2.应尽量避免在 where 子句中对字段进行 null 值判断,否则将导致引擎放弃使用索引而进行全表扫描, Sql 代码 : select id from t where num is null; 可以在 num 上设置默认值 0,确保表中 num 列没有 null 值,然后这样查询: Sql 代码 : select id from t where num=0; 3.应尽量避免在 where 子句中使用!=或操作符,否则将引擎放弃使用索引而进行全表扫描。
830 0
SqlServer性能检测和优化工具使用详细
工具概要         如果你的数据库应用系统中,存在有大量表,视图,索引,触发器,函数,存储过程,sql语句等等,又性能低下,而苦逼的你又要对其优化,那么你该怎么办?哥教你,首先你要知道问题出在哪里?如果想知道问题出在哪里,并且找到他,咱们可以借助本文中要讲述的性能检测工具--sql server profiler(处在sql安装文件--性能工具--sql server profiler)     如果知道啦问题出现在哪里,如果你又是绝世高手,当然可以直中要害,写段代码给处理解决掉,但是如果你不行,你做不到,那么也无所谓,可以借助哥的力量给你解决问题。
930 0
SQL优化常用方法10
删除重复记录
659 0
SQL优化常用方法45
需要当心的WHERE子句
1166 0
SQL游标原理和使用方法
版权声明:本文为博主原创文章,未经博主允许不得转载。 https://blog.csdn.net/chinahuyong/article/details/3552248  SQL游标原理和使用方法     在数据库开发过程中,当你检索的数据只是一条记录时,你所编写的事务语句代码往往使用SELECT INSERT 语句。
779 0
+关注
204
文章
1654
问答
文章排行榜
最热
最新
相关电子书
更多
《Nacos架构&原理》
立即下载
《看见新力量:二》电子书
立即下载
云上自动化运维(CloudOps)白皮书
立即下载