开发者社区> 涂宗勋> 正文

mongodb去除重复的数据

2016-06-28 2994

简介： 里边的内容在某些情况下不可行，可以参考下一篇。 今天出现了一个新的需求，有个部门需要拿到mongodb中的数据，要求去掉其中一个字段内容相同的数据。 虽然mongodb中有distinct来去重，但是和mysql的distinct不同的是，mysql中能用distinct * 返回整条记录的信息，而mongodb的distinct我却只是返回去重的那个字段的数据（或许mongodb也可以返
+关注继续查看
里边的内容在某些情况下不可行，可以参考下一篇。

今天出现了一个新的需求，有个部门需要拿到mongodb中的数据，要求去掉其中一个字段内容相同的数据。

虽然mongodb中有distinct来去重，但是和mysql的distinct不同的是，mysql中能用distinct * 返回整条记录的信息，而mongodb的distinct我却只是返回去重的那个字段的数据（或许mongodb也可以返回整条，但是我不知道）。

mysql中的distinct返回完整记录：


mongodb中distinct去重某个字段：


上边的内容并不是我想看到的结果，因此便想了一个办法，去掉重复的数据后重新保存不重复的数据到某张表中，以下是个例子：
1、进入mongo shell：
./mongo

2、切换到需要去重的集合所在的数据库：
use admin

3、在mongo shell中编写并执行js代码：
var res=db.test.find();
while(res.hasNext()){
      var res1=db.test.find(); 
      var re=res.next();
      while(res1.hasNext()){
              var re1=res1.next();
              if(re.age==re1.age){ 
                   db.test.remove({"age":re1.age}); 
               }
       } 
       db.test.insert(re); 
}



如上图，第一次执行循环的时候由于res没有定义而失败，第二次定义了res后，执行成功。那么在新的集合中，就完全没有该字段重复的数据了（这里只是测试以下，因此就用了同一个集合）。

版权声明：本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。

NoSQL 关系型数据库 MySQL MongoDB Shell JavaScript 数据库
云数据库 MongoDB 版数据
开发者社区 > 数据库 > 文章
数据库备份
作者高分内容
更多
springboot（maven）项目打包问题 2411 记一次开发过程中的思维转换 1351 c3p0和druid性能测试过程中sybase卡死的问题解决过程记录 1980 org.springframework.orm.jpa.JpaSystemException问题记录 10624 《设计模式》学习笔记7——观察者模式 1689
相关文章
auqbllxiu
《MongoDB处理大量级用户行为数据》电子版地址
MongoDB处理大量级用户行为数据
25 0
金雪人
MongoDB数据的导出导入及日志分析
MongoDB数据的导出导入及日志分析
87 0
auqbllxiu
《Data as a Service - 数据即服务 -- MongoDB⾼级应⽤模式》电子版地址
Data as a Service - 数据即服务 -- MongoDB⾼级应⽤模式
9 0
auqbllxiu
《MongoDB处理大量级用户行为数据-企业数字营销平台应用》电子版地址
MongoDB处理大量级用户行为数据-企业数字营销平台应用
28 0
liuyunshengsir
MongoDB数据的导入与导出
MongoDB数据的导入与导出
186 0
go-Jack
MongoDB数据的安装与启动
MongoDB数据的安装与启动
69 0
恒宇少年的知识库
SpringBoot2.x使用MongoDB的Rest端点访问数据
在之前项目中我们想要读取`MongoDB`内的内容需要使用`MongoDBTemplate`来完成数据的`CRUD`，那如果我们想要通过`RestController`的形式获取`MongoDB`内的数据就更麻烦了，还需要自行去创建对应的控制器，然后使用`MongoDBTemplate`从`MongoDB`内读取出数据后返回给前端。
92 0
bqospzg5rfs7g
Mongodb的修改数据讲解|学习笔记
快速学习 Mongodb 的修改数据讲解
87 0
auqbllxiu
《MongoDB 应用数据平台助力快速构建您的应用》电子版地址
MongoDB 应用数据平台助力快速构建您的应用.ppt
18 0
MongoDB小助手
MongoDB新愿景及功能：致力成为开发者数据平台提供商
MongoDB Atlas引入一套统一的新功能， 以满足开发者在构建现代应用程序方面日益增长的数据需求
102 0
+关注
涂宗勋
认真生活，快乐工作，保持理想！https://blog.csdn.net/tuzongxun
文章
问答
视频
作者高分内容
更多
springboot（maven）项目打包问题 2411 记一次开发过程中的思维转换 1351 c3p0和druid性能测试过程中sybase卡死的问题解决过程记录 1980 org.springframework.orm.jpa.JpaSystemException问题记录 10624 《设计模式》学习笔记7——观察者模式 1689
文章排行榜
最热
最新
1 「开源人说」第五期 | KubeVela：一场向应用交付标准的“冲锋” 199279
2 一个业务前端关于成长的心路历程 64242
3 C语言 | 数据结构—约瑟夫环问题 58995
4 快速开发光伏电站数字孪生运维系统（一） 44683
5 使用 DataAnnotations（数据注解）实现模型的通用数据校验 43167
6 阿里云智能语音交互产品测评：基于语音识别、语音合成、自然语言理解等技术 41957
7 一文深度解读音视频行业技术发展历程 35748
8 Hive数据倾斜的原因以及常用解决方案 33200
9 高并发编程之阻塞队列 32762
10 Java的Stream操作详解 31673
11 Spring 事务【隔离级别与传播机制】 30516
12 性能优化之使用vue-worker插件（基于Web Worker）开启多线程运算提高效率 29515
13 计网之初识网络(理解网络传输的基本流程) 28031
14 Android体系课之--LeakCanary内存泄露检测原理解析 25947
15 零基础快速开发Vue图书管理系统—登录注册篇（一） 22692
16 IoT设备数据的存储、解析和价值挖掘实践 22661
17 【实战企业级Java二】渐进式理解Redis分布式锁 22540
18 IoT Studio 物联网可视化应用搭建开发实践 21328
19 虚拟数字人之《手语翻译官》的技术实践 19510
20 实现人机协同高稳定性，阿里云5G专网IoT方案入选工信部优秀解决方案 54136
1 OpenSearch上线实时热搜、个性化底纹功能 58
2 ChatGpt与EdgeGpt 129
3 JAVA中如何高效的实现SQL的like语法? 5843
4 RocketMQ x OpenTelemetry 分布式全链路追踪最佳实践 75
5 这才叫开箱即用！ 491
6 运维工程师工作时最常用的20个Linux命令有哪些？建议收藏 17678
7 玖章算术CEO叶正盛在杭州人工智能小镇AIGC论坛发表主题演讲 86
8 Linux基础IO【文件理解与操作】 16877
9 Flink 流批一体方案在数禾的实践 7444
10 超丰厚奖池｜天池达人积分榜，有你而不凡！ 187
11 今天出门你查老黄历了吗？包括万年历在内的超多免费可用 API 推荐（一） 103
12 关于几天前出的 MinIO 敏感信息泄露漏洞，分享两种扫描方法 219
13 五分钟！获得轻量级的云原生应用控制平面 169
14 域名资讯 - XYZ注册局域名报告-2023年2月 70
15 数据备份浅谈 145
16 ChatGPT软件技术栈解密 91
17 阿里云com和cn域名注册代金券免费领取 95
18 灵魂一问：一个Java文件的执行全部过程你确定都清楚吗？ 59
19 简要聊聊UNIX,MINIX,LINUX,BSD的区别与特质 27377
20 Flink Table Store 独立孵化启动 ，Apache Paimon 诞生 537
相关课程
更多
云数据库MongoDB版使用教程
6169
7
去学习
MongoDB完全自学手册
2486
45
去学习
MongoDB精讲课程（上）
254
24
去学习
MongoDB精讲课程（下）
175
25
去学习
场景实践 - 基于MongoDB实现商品管理系统
179
13
去学习
Java Spring Boot 2.6.0开发实战-1024程序员节创造营公益课
941
5
去学习
推荐文章
参与OCR文档自学习产品评测，赢Airpods 2 参与云效代码管理Codeup评测，赢Redmi Watch 3 参与IoT小程序框架评测，赢CHERRY机械键盘 乘风者计划邀您入驻社区，精彩权益即刻享
相关电子书
更多
MongoDB 应用数据平台助力快速构建您的应用
立即下载
MongoDB与大数据
立即下载
阿里云MongoDB备份恢复功能说明和原理介绍
立即下载
相关实验场景
更多
使用交互方式实现数据查询、插入、修改和删除操作
6
1.0小时
去实验
Tair for Redis数据闪回：任意时间点数据恢复
273
1.0小时
去实验
如何开通MongoDB的专属集群
46
0.5小时
去实验
MongoDB数据库入门
1348
2.0小时
去实验
相关镜像
mongodb postgresql clickhouse