查询同一表内多字段同时重复记录的SQL语句

简介:

 

 
  1. 比如现在有一人员表 (表名:peosons)  
  2. 若想将姓名、身份证号、住址这三个字段完全相同的记录查询出来   
  3. select p1.* from persons p1,persons p2 where p1.id<>p2.id and p1.cardid = p2.cardid and p1.pname = p2.pname and p1.address = p2.address   
  4.  
  5. 可以实现上述效果.   
  6.  
  7. 几个删除重复记录的SQL语句  
  8.  
  9. 1.用rowid方法   
  10.  
  11. 2.用group by方法   
  12.  
  13. 3.用distinct方法   
  14.  
  15.  
  16. 1。用rowid方法   
  17.  
  18. 据据Oracle带的rowid属性,进行判断,是否存在重复,语句如下:  
  19. 查数据:  
  20. select * from table1 a where rowid !=(select max(rowid)   
  21. from table1 b where a.name1=b.name1 and a.name2=b.name2......)  
  22. 删数据:  
  23. delete from table1 a where rowid !=(select max(rowid)   
  24. from table1 b where a.name1=b.name1 and a.name2=b.name2......)   
  25.  
  26. 2.group by方法   
  27.  
  28. 查数据:  
  29. select count(num), max(namefrom student --列出重复的记录数,并列出他的name属性   
  30. group by num   
  31. having count(num) >1 --按num分组后找出表中num列重复,即出现次数大于一次   
  32. 删数据:  
  33. delete from student   
  34. group by num   
  35. having count(num) >1  
  36. 这样的话就把所有重复的都删除了。   
  37.  
  38. 3.用distinct方法 -对于小的表比较有用   
  39.  
  40. create table table_new as select distinct * from table1 minux   
  41. truncate table table1;  
  42. insert into table1 select * from table_new;  
  43.  
  44.  
  45.  
  46. 查询及删除重复记录的方法大全  
  47.  
  48. 1、查找表中多余的重复记录,重复记录是根据单个字段(peopleId)来判断  
  49. select * from people  
  50. where peopleId in (select peopleId from people group by peopleId having count(peopleId) > 1)  
  51.  
  52.  
  53. 2、删除表中多余的重复记录,重复记录是根据单个字段(peopleId)来判断,只留有rowid最小的记录  
  54. delete from people   
  55. where peopleId in (select peopleId from people group by peopleId having count(peopleId) > 1)  
  56. and rowid not in (select min(rowid) from people group by peopleId having count(peopleId )>1)  
  57.  
  58.  
  59. 3、查找表中多余的重复记录(多个字段)   
  60. select * from vitae a  
  61. where (a.peopleId,a.seq) in (select peopleId,seq from vitae group by peopleId,seq having count(*) > 1)  
  62.  
  63.  
  64. 4、删除表中多余的重复记录(多个字段),只留有rowid最小的记录   
  65. delete from vitae a  
  66. where (a.peopleId,a.seq) in (select peopleId,seq from vitae group by peopleId,seq having count(*) > 1)  
  67. and rowid not in (select min(rowid) from vitae group by peopleId,seq having count(*)>1)  
  68.  
  69.  
  70. 5、查找表中多余的重复记录(多个字段),不包含rowid最小的记录  
  71. select * from vitae a  
  72. where (a.peopleId,a.seq) in (select peopleId,seq from vitae group by peopleId,seq having count(*) > 1)  
  73. and rowid not in (select min(rowid) from vitae group by peopleId,seq having count(*)>1)  
  74.  
  75.  
  76. (二)  
  77. 比方说  
  78. 在A表中存在一个字段“name”,  
  79. 而且不同记录之间的“name”值有可能会相同,  
  80. 现在就是需要查询出在该表中的各记录之间,“name”值存在重复的项;  
  81. Select Name,Count(*) From A Group By Name Having Count(*) > 1  
  82. 如果还查性别也相同大则如下:  
  83. Select Name,sex,Count(*) From A Group By Name,sex Having Count(*) > 1   
  84.  
  85.  
  86. (三)  
  87. 方法一  
  88. declare @max integer,@id integer 
  89. declare cur_rows cursor local for select 主字段,count(*) from 表名 group by 主字段 having count(*) >; 1  
  90. open cur_rows  
  91. fetch cur_rows into @id,@max 
  92. while @@fetch_status=0  
  93. begin 
  94. select @max = @max -1  
  95. set rowcount @max 
  96. delete from 表名 where 主字段 = @id  
  97. fetch cur_rows into @id,@max 
  98. end 
  99. close cur_rows  
  100. set rowcount 0  
  101.  
  102.  
  103. 方法二  
  104. "重复记录"有两个意义上的重复记录,一是完全重复的记录,也即所有字段均重复的记录,二是部分关键字段重复的记录,比如Name字段重复,而其他字段不一定重复或都重复可以忽略。   
  105.  
  106.  
  107. 1、对于第一种重复,比较容易解决,使用  
  108. select distinct * from tableName  
  109. 就可以得到无重复记录的结果集。  
  110. 如果该表需要删除重复的记录(重复记录保留1条),可以按以下方法删除  
  111. select distinct * into #Tmp from tableName  
  112. drop table tableName  
  113. select * into tableName from #Tmp  
  114. drop table #Tmp  
  115. 发生这种重复的原因是表设计不周产生的,增加唯一索引列即可解决。  
  116.  
  117.  
  118. 2、这类重复问题通常要求保留重复记录中的第一条记录,操作方法如下  
  119. 假设有重复的字段为Name,Address,要求得到这两个字段唯一的结果集  
  120. select identity(int,1,1) as autoID, * into #Tmp from tableName  
  121. select min(autoID) as autoID into #Tmp2 from #Tmp group by Name,autoID  
  122. select * from #Tmp where autoID in(select autoID from #tmp2)  
  123. 最后一个select即得到了Name,Address不重复的结果集(但多了一个autoID字段,实际写时可以写在select子句中省去此列)   
  124.  
  125.  
  126. (四)  
  127. 查询重复  
  128. select * from tablename where id in (  
  129. select id from tablename   
  130. group by id   
  131. having count(id) > 1  

 本文转自sucre03 51CTO博客,原文链接:http://blog.51cto.com/sucre/380143,如需转载请自行联系原作者

相关文章
|
17天前
|
SQL 存储 人工智能
Vanna:开源 AI 检索生成框架,自动生成精确的 SQL 查询
Vanna 是一个开源的 Python RAG(Retrieval-Augmented Generation)框架,能够基于大型语言模型(LLMs)为数据库生成精确的 SQL 查询。Vanna 支持多种 LLMs、向量数据库和 SQL 数据库,提供高准确性查询,同时确保数据库内容安全私密,不外泄。
84 7
Vanna:开源 AI 检索生成框架,自动生成精确的 SQL 查询
|
24天前
|
SQL Java
使用java在未知表字段情况下通过sql查询信息
使用java在未知表字段情况下通过sql查询信息
35 8
|
1月前
|
SQL 安全 PHP
PHP开发中防止SQL注入的方法,包括使用参数化查询、对用户输入进行过滤和验证、使用安全的框架和库等,旨在帮助开发者有效应对SQL注入这一常见安全威胁,保障应用安全
本文深入探讨了PHP开发中防止SQL注入的方法,包括使用参数化查询、对用户输入进行过滤和验证、使用安全的框架和库等,旨在帮助开发者有效应对SQL注入这一常见安全威胁,保障应用安全。
54 4
|
1月前
|
SQL 监控 关系型数据库
SQL语句当前及历史信息查询-performance schema的使用
本文介绍了如何使用MySQL的Performance Schema来获取SQL语句的当前和历史执行信息。Performance Schema默认在MySQL 8.0中启用,可以通过查询相关表来获取详细的SQL执行信息,包括当前执行的SQL、历史执行记录和统计汇总信息,从而快速定位和解决性能瓶颈。
|
1月前
|
SQL 存储 缓存
如何优化SQL查询性能?
【10月更文挑战第28天】如何优化SQL查询性能?
122 10
|
1月前
|
SQL 关系型数据库 MySQL
|
1月前
|
SQL 关系型数据库 MySQL
mysql编写sql脚本:要求表没有主键,但是想查询没有相同值的时候才进行插入
mysql编写sql脚本:要求表没有主键,但是想查询没有相同值的时候才进行插入
35 0
|
SQL 存储 索引
下一篇
DataWorks