mongodb去除重复的数据（二）
前天因为工作需要，开始着手对数据库中两千多万的数据中其中一个字段重复的数据进行去重。
原本使用一些测试的数据测试后，前天写的那个方法是可行的，但是当面对这个两千万的真实数据时，我却发现这方法有些不顶用了，最终只好又经过若干次的尝试，总算成功去重。
最终总结一下整个过程：
1、这个方法就是上一篇所讲的，利用mongodb的游标dbcursor和while循环的方式。
var res=db
基于MongoDB与NodeJS构建物联网系统
目标
基于阿里云服务快速构建物联网系统
准备工作
ECS
MongoDB
EMR
Alinode
中间件代码
注意事项：ECS,MongoDB 可以选择按量计费的服务。
实例申请
Step1 拿到阿里云账号，登陆
Step2 控制台新建实例
新建实例： https://mongodb.console.aliyun.com/#/buy/mongodb?chargeType=PostPaid
新建实例时，请选择『按量付费』类型，并需要选择合适的CPU 内存规格，磁盘空间、并设置 root 密码（后续连接实例需要用到）。
利用MongoDB的SplitVector命令实现并发数据迁移
数据迁移是数据库运维中一个很常见的场景。数据迁移分为全量和增量。为了追求速度，通常我们会采用并发的方式对数据进行全量迁移。在全量导出数据时，通常都会选择做到记录级的并发，因此通常会涉及到对需要导出的某个表（集合）按照并发度进行切分（分区）的过程。现有常用做法是通过若干个skip加limit来找到一些分区点，然后就可以并发同时导出多个分区。事实上MongoDB还有一个SplitVector命令特别适合用来做集合的分区。本文将介绍一下如何利用这个命令来对集合做分区，实现并发数据迁移。
mongodb复制原理透析
文章转载自：http://www.mongoing.com/archives/5200笔者最近在生产环境中遇到许多复制相关问题，查阅网上资料发现官方文档虽然系统但是不够有深度，网上部分深度文章则直接以源码展示，不利于大家了解。
springboot(五)：spring data jpa的使用
在上篇文章 springboot(二)：web综合开发 中简单介绍了一下spring data jpa的基础性使用，这篇文章将更加全面的介绍spring data jpa 常见用法以及注意事项
使用spring data jpa 开发时，发现国内对spring boot jpa全面介绍的文章比较少案例也比较零碎，因此写文章总结一下。