如何遍历数据量亿级别Mongo库

简介:

场景介绍

在使用Mongo这种非关系型数据库过程中,往往存储了海量的数据,这些数据的数据结构非常松散,数据类型比较复杂。对于从海量数据中提取或分析数据,需要遍历Mongo库的情况经常出现,这里介绍两种比较有效的方法,均在亿级别的生产库中,多次使用过。

方法一:利用时间戳

在存储的数据中,对时间戳字段,建立索引,如下方数据时间戳字段为update_time

 {
    "_id" : "6214627359000222889",
    "_class" : "com.alibaba.fastjson.JSONObject",
    "update_time" : ISODate("2018-07-05T14:26:42.018Z"),
    "idcard" : "342522199406220025",
    "gender" : "女",
    "age" : "24",
    "name" : "曹××"
}

这种方法遍历,我们需要一个起点时间,和结束时间,然后按照这个时间段进行扫库,亿级别的数据,不可能全部取出,可每次取出一定数量,比如1K条,排序后根据最后一条的时间戳,与结束时间根据你是逆序遍历,还是顺序遍历进行判断,如此循环,Demo如下。

   //顺序遍历,所以结束时间为当前时间
   Date endDate = new Date();
  //开始时间
   Date startDate = minDate;
   while(startDate < endDate ){
       Query query = new Query();
       query.addCriteria(Criteria.where("update_time").gt(startDate));
       //这里可以自己写一些查询条件

       //对时间的排序
       query.with(new Sort(new Sort.Order(Sort.Direction.ASC,"update_time")));
       query.limit(1000);
       List<JSONObject> list =  mongoTemplate.find(query,JSONObject.class,"collectionName");
       //将每次取出的最后时间,赋值,然后跟结束时间比较
       startDate = list.get(list.size()-1).getDate("update_time");
       //处理数据
       for(JSONObject json:list){
            
        }
    }
   

要点

  • 必须拥有时间戳字段,且必须建立索引;
  • 需要查出最大时间和最小时间;

这两个点,也是这种方法的缺点,有些库中时间戳字段没有建立索引,或者库中的有些数据也没有时间戳,或者时间戳错误,这些情况就没法使用这种方法扫库遍历。可以使用第二种方法。

方法二:Mongo 游标的使用(推荐)

Mongo的游标无论是功能还是使用的便捷上,都比MySQL强上许多,在MySQL中使用游标还需要PL/SQL编程,比较麻烦而Mongo却不用。Mongo中的游标可以实现根据条件查询和指定使用投影运算符返回匹配文档中的所有字段。并返回到匹配文档的游标,可以随意修改查询限制、跳跃、和排序顺序的功能。Demo如下

BasicDBObject query = new BasicDBObject();
//查询条件,比如年龄,性别之内的,比如筛选,性别男性,年龄30岁以下,20岁以上。
query.put("gender", "男");
query.put("age",new BasicDBObject().append("$gte",20).append("$lt",30));
DBCursor cursor = mongoTemplate.getCollection("collectionName").find(query);
//防止超时
cursor.addOption(Bytes.QUERYOPTION_NOTIMEOUT);
while (cursor.hasNext()) {
   //数据取出
   DBObject reuslt =  cursor.next();
}

使用cursor来进行遍历,cursor会每次取出一定的数据量,也已经对库中的数据进行了排序,在进行数据处理同时cursor一直都在进行遍历的操作,极大的增快了效率。

优点

相较于第一种根据时间戳来进行遍历的方法,使用游标的会比较方便,不用建立索引,不用考虑分页的操作。

备注

无论是哪种方法,在遍历跑批过程中最好记录一下当前遍历的位置,一旦程序出现异常中断,避免从头跑批。比如,使用时间戳来遍历,记录一下当前遍历到了数据的时间,程序异常中断时根据记录的时间来重新遍历,使用游标的时候,定义一个计数器,异常中断时,重启后,可以用skip从中断点开始。

目录
相关文章
|
存储 关系型数据库 MySQL
海量数据存储与查询 MyCat(未完成)(二)
海量数据存储与查询 MyCat(未完成)(二)
|
4月前
|
运维 关系型数据库 分布式数据库
PolarDB产品使用问题之将部分表设置为压缩表,是否会对节点的整体性能影响
PolarDB产品使用合集涵盖了从创建与管理、数据管理、性能优化与诊断、安全与合规到生态与集成、运维与支持等全方位的功能和服务,旨在帮助企业轻松构建高可用、高性能且易于管理的数据库环境,满足不同业务场景的需求。用户可以通过阿里云控制台、API、SDK等方式便捷地使用这些功能,实现数据库的高效运维与持续优化。
|
6月前
|
NoSQL MongoDB 数据库
通过优化索引以消除 MongoDB 中的 "查询目标已超过1000个扫描对象/返回的文档数" 警告
MongoDB NoSQL数据库在处理复杂查询时可能出现“查询目标已超过1000个扫描对象/返回的文档数”警告。文章分析了该问题,展示了一个示例集合和相关索引,并提供了查询示例。通过`explain`命令发现查询未有效利用索引。解决方案是遵循ESR规则,创建新索引从而优化查询并消除警告。
159 1
|
5月前
|
存储 监控 NoSQL
MongoDB 覆盖索引查询:提升性能的完整指南
MongoDB 覆盖索引查询:提升性能的完整指南
|
6月前
|
存储 分布式计算 固态存储
starrocks导入性能和分区分桶介绍
starrocks导入性能和分区分桶介绍
starrocks导入性能和分区分桶介绍
|
6月前
|
缓存 NoSQL MongoDB
MongoDB数据库查询性能提高40倍?
MongoDB数据库查询性能提高40倍?
153 0
|
存储 关系型数据库 MySQL
30分布式电商项目 - 一亿条数据插入MySQL,耗时多少?
30分布式电商项目 - 一亿条数据插入MySQL,耗时多少?
203 0
|
存储 SQL 算法
海量数据存储与查询 MyCat(未完成)(三)
海量数据存储与查询 MyCat(未完成)(三)
|
SQL 关系型数据库 MySQL
海量数据存储与查询 MyCat(未完成)(一)
海量数据存储与查询 MyCat(未完成)(一)
|
存储 关系型数据库 MySQL
mysql百万级数量插入、删除、分组、分页、更新语句优化
mysql百万级数量插入、删除、分组、分页、更新语句优化