Java操作MongoDB(聚合函数)向Mongo插入及查询数据( 下)

本文涉及的产品
云数据库 MongoDB,独享型 2核8GB
推荐场景:
构建全方位客户视图
简介: Java操作MongoDB(聚合函数)向Mongo插入及查询数据

Java操作Mongo(聚合函数)使用


2.1 插入(插入后数据库结构见最上方)


废话不多说 上代码(主要代码):

@Override
    public void addDocument(String identity, String applicationKey, List<Map<String, String>> list) {
        //创建一个连接,自带连接池效果
        MongoClient mongoClient = MongoClients.create("mongodb://192.168.10.8:27017");
        //操作一个数据库,如果数据库不存在,当您为该数据库首次存储数据时,会自动创建数据库。
        MongoDatabase spitdbDatabase = mongoClient.getDatabase(applicationKey);
        //得到一个集合对象,如果集合不存在,当您为该数据库首次存储数据时,会自动创建集合。
        MongoCollection<Document> collection = spitdbDatabase.getCollection(identity);
        //创建一个文档,参数可以接收键值对,也可以直接接收一个Map对象
        //文档对象的本质是BSON类型,该类型对应java.util.Map;BSON数组对应的是java.util.List
        List<Document> documentList = MongoUtils.listForDocument(list);
        Map<String, List<Document>> map = new HashMap<>();
        //int size = documentList.size();
        double number = 10.0;
        int n = 1;
        String[] s;
        for (Document document : documentList) {
            String gmtTarget = document.get("gmtTarget") + "";
            s = gmtTarget.split(" ");
            if (map.containsKey(s[0])) {
                if (map.get(s[0]).size() < number) {
                    map.get(s[0]).add(document);
                } else {
                    List<Document> documents = new ArrayList<>();
                    documents.add(document);
                    map.put(s[0] + "." + n, documents);
                    n++;
                }
            } else {
                List<Document> documents = new ArrayList<>();
                documents.add(document);
                map.put(s[0], documents);
            }
        }
        FindIterable<Document> documents = collection.find();
        Map<String, Object> map1 = new LinkedHashMap<>();
        int val = 0;
        for (Document document1 : documents) {
            map1.put("_id" + "." + val, document1.get("_id"));
            val++;
        }
        for (String key : map.keySet()) {
            collectionDemo(map.get(key));
            Document document = new Document();
            //当数组在表中不存在时 就新建数组
            if (documents == null || map1.containsValue(key) == false) {
                document.append("_id", key).append("gmtStart", map.get(key).get(0).get("gmtTarget")).append("gmtEnd", map.get(key).get(map.get(key).size() - 1).get("gmtTarget"))
                        .append("count", map.get(key).size()).append("records", map.get(key));
                collection.insertOne(document);
            } else {
                //若存在 则在原有对应数组后插入新数据
                Document y2 = null;
                List<Document> list2 = map.get(key);
                for (int i = 0; i < map.get(key).size(); i++) {
                    String gmtTarget = (String) map.get(key).get(i).get("gmtTarget");
                    String[] s1 = gmtTarget.split(" ");
                    y2 = new Document("_id", s1[0]);
                }
                //在数组后加入新数据 若数据存在 则不会存入
                Document update = new Document().append("$addToSet", new Document().append("records", new Document().append("$each", list2)));
                //获取数据的时间判断其所属数组 并将数据存入对应数组中
                collection.updateMany(y2, update);
                FindIterable<Document> documents1 = collection.find(y2);
                ArrayList<Document> records = null;
                for (Document document1 : documents1) {
                    //获取对应数组相关信息
                    records = (ArrayList<Document>) document1.get("records");
                }
                //System.out.println(records);
                collectionDemo(records);
                //向新数组新增数据后数组对应参数随之改变 给各个参数分别赋值
                Document update2 = new Document().append("$set", new Document().append("count", records.size()).append("gmtStart",
                        records.get(0).get("gmtTarget")).append("gmtEnd", records.get(records.size() - 1).get("gmtTarget")).append("records", records));
                collection.updateOne(y2, update2);
            }
        }
        //释放资源
        mongoClient.close();
    }

2.2 查询


废话不多说 上代码(主要代码):

@RequestMapping(value = "/findMongo", method = RequestMethod.POST)
    public ResponseMessage findMongo(Integer index, @RequestBody Map<String, String> map) {
        if (index == null || index < 1) {
            index = 1;
        }
        MongoClient mongoClient = new MongoClient(host, port);
        MongoDatabase db = mongoClient.getDatabase(map.get("applicationKey"));
        //MongoDatabase db = mongoClient.getDatabase("dgg8be05077d4890910ed2ce8b481");
        //MongoCollection<Document> doc = db.getCollection(map.get("identity"));
        MongoCollection<Document> doc = db.getCollection(map.get("identity"));
        Page<Document> page = new Page<>();
        Map<String, String> mapKey = new HashMap<>();
        for (Map.Entry<String, String> entry : map.entrySet()) {
            if (StringUtils.isNotEmpty(entry.getValue())) {
                mapKey.put(entry.getKey(), entry.getValue());
            }
        }
        String identity = mapKey.get("identity");
        String applicationKey = mapKey.get("applicationKey");
        //Query query = new Query();
        //SimpleDateFormat format = new SimpleDateFormat("yyyy-MM-dd HH-mm-ss");
        if (map != null && map.size() != 0 && !mapKey.isEmpty()) {
            // match(相当于 WHERE 或者 HAVING )
            BasicDBObject query = new BasicDBObject();
            List<BasicDBObject> list = new ArrayList<>();
            for (Map.Entry<String, String> entry : mapKey.entrySet()) {
                String key = entry.getKey();
                if (key.equals("identity") || key.equals("applicationKey") || key.equals("pageUrl")) {
                } else {
                    String value = entry.getValue();
                    if (value.contains("~")) {
                        String[] split = value.split("~");
                        String startTime = null;
                        String endTime = null;
                        try {
                            startTime = split[0];
                            endTime = split[1];
                        } catch (Exception e) {
                            e.printStackTrace();
                        }
                        list.add(new BasicDBObject("records.gmtTarget", new BasicDBObject("$gte", startTime)));
                        list.add(new BasicDBObject("records.gmtTarget", new BasicDBObject("$lte", endTime)));
                    } else {
                        list.add(new BasicDBObject(("records") + "." + key, value));
                    }
                }
            }
            if (list != null && list.size() > 0) {
                BasicDBObject[] array = new BasicDBObject[list.size()];
                list.toArray(array);
                query.append("$and", array);
                BasicDBObject match = new BasicDBObject("$match", query);
                BasicDBObject unwind = new BasicDBObject("$unwind", "$records");
                // BasicDBObject project = new BasicDBObject("$project", new BasicDBObject("count", new BasicDBObject("$size","$records")));
                BasicDBObject project = new BasicDBObject("$project", new BasicDBObject("records", 1));
                //sort(排序)
                BasicDBObject sort = new BasicDBObject("$sort", new BasicDBObject("count", -1));//1:正序,-1倒序
                //skip(跳过前面多少条数据,分页时使用)
                //limt(只要前多少条数据,分页时使用)
                BasicDBObject limit = new BasicDBObject("$limit", 15);
                BasicDBObject skip = new BasicDBObject("$skip", 0);
                List<BasicDBObject> aggregateList = new ArrayList<>();
                aggregateList.add(unwind);
                aggregateList.add(project);
                aggregateList.add(match);
                aggregateList.add(sort);
                aggregateList.add(limit);
                aggregateList.add(skip);
                AggregateIterable<Document> aggregate = mongoClient.getDatabase(applicationKey).getCollection(identity).aggregate(aggregateList);
                List<Document> list1 = new ArrayList<>();
                int totalCount = 0;
                for (Document document : aggregate) {
                    list1.add(document);
                    if (list1 != null) {
                        totalCount++;
                    }
                    int totalPage = totalCount % 15 == 0 ? totalCount / 15 : totalCount / 15 + 1;
                    page.setStartIndex((index - 1) * 15);
                    page.setTotalRecords(totalCount);
                    page.setTotalPage(totalPage);
                    page.setRecords(list1);
                }
                page.setCurrentPage(index);
                page.setPageSize(Page.DEFAULT_VALUE);
                return success(page);
            } else {
                FindIterable<Document> iter = doc.find().skip(0).limit(15);
                int totalCount = 0;
                Page<Document> page1 = new Page<>();
                List<Document> list1 = new ArrayList<>();
                for (Document document : iter) {
                    MongoCursor<Document> iterator = iter.iterator();
                    iterator.next();
                    if (document.get("_id") != null) {
                        totalCount++;
                    }
                    document.remove("_id");
                    Object records = document.get("records");
                    document.put("records", records);
                    list1.add(document);
                    page1.setCurrentPage(index);
                    page1.setPageSize(Page.DEFAULT_VALUE);
                    int totalPage = totalCount % 15 == 0 ? totalCount / 15 : totalCount / 15 + 1;
                    page1.setStartIndex((index - 1) * 15);
                    page1.setTotalRecords(totalCount);
                    page1.setTotalPage(totalPage);
                    page1.setRecords(list1);
                }
                return success(page1);
            }
        } else {
            FindIterable<Document> iter = doc.find().skip(0).limit(15);
            int totalCount = 0;
            Page<Document> page1 = new Page<>();
            List<Document> list = new ArrayList<>();
            for (Document document : iter) {
                MongoCursor<Document> iterator = iter.iterator();
                iterator.next();
                if (document.get("_id") != null) {
                    totalCount++;
                }
                document.remove("_id");
                Object records = document.get("records");
                document.put("records", records);
                list.add(document);
                page1.setCurrentPage(index);
                page1.setPageSize(Page.DEFAULT_VALUE);
                int totalPage = totalCount % 15 == 0 ? totalCount / 15 : totalCount / 15 + 1;
                page1.setStartIndex((index - 1) * 15);
                page1.setTotalRecords(totalCount);
                page1.setTotalPage(totalPage);
                page1.setRecords(list);
            }
            return success(page1);
        }
    }


目录
相关文章
|
3月前
|
Java API 开发工具
【Azure Developer】Java代码实现获取Azure 资源的指标数据却报错 "invalid time interval input"
在使用 Java 调用虚拟机 API 获取指标数据时,因本地时区设置非 UTC,导致时间格式解析错误。解决方法是在代码中手动指定时区为 UTC,使用 `ZoneOffset.ofHours(0)` 并结合 `withOffsetSameInstant` 方法进行时区转换,从而避免因时区差异引发的时间格式问题。
209 3
|
4月前
|
数据采集 JSON Java
Java爬虫获取1688店铺所有商品接口数据实战指南
本文介绍如何使用Java爬虫技术高效获取1688店铺商品信息,涵盖环境搭建、API调用、签名生成及数据抓取全流程,并附完整代码示例,助力市场分析与选品决策。
|
4月前
|
数据采集 存储 前端开发
Java爬虫性能优化:多线程抓取JSP动态数据实践
Java爬虫性能优化:多线程抓取JSP动态数据实践
|
3月前
|
算法 Java
Java多线程编程:实现线程间数据共享机制
以上就是Java中几种主要处理多线程序列化资源以及协调各自独立运行但需相互配合以完成任务threads 的技术手段与策略。正确应用上述技术将大大增强你程序稳定性与效率同时也降低bug出现率因此深刻理解每项技术背后理论至关重要.
239 16
|
8月前
|
自然语言处理 Java 关系型数据库
Java|小数据量场景的模糊搜索体验优化
在小数据量场景下,如何优化模糊搜索体验?本文分享一个简单实用的方案,虽然有点“土”,但效果还不错。
179 0
|
5月前
|
Java Apache 开发者
解决java.lang.IllegalArgumentException: Invalid uri由无效查询引起的问题
最后,当你修改代码以避免这个异常时,保持代码的整洁和可读性同样重要。注释你的代码,用意图清晰的方法名,并确保逻辑简单明了,这样在未来你或其他开发者需要时可以轻松地维护它。
588 20
|
4月前
|
存储 JSON NoSQL
查询 MongoDB--SPL 轻量级多源混算实践 4
SPL 支持多种数据源连接,包括 MongoDB 等 NoSQL 数据库。通过外部库形式提供驱动,灵活扩展,可实现实时数据计算与混合分析。
|
6月前
|
SQL Java 数据库
解决Java Spring Boot应用中MyBatis-Plus查询问题的策略。
保持技能更新是侦探的重要素质。定期回顾最佳实践和新技术。比如,定期查看MyBatis-Plus的更新和社区的最佳做法,这样才能不断提升查询效率和性能。
246 1
|
传感器 分布式计算 安全
Java 大视界 -- Java 大数据在智能安防入侵检测系统中的多源数据融合与分析技术(171)
本文围绕 Java 大数据在智能安防入侵检测系统中的应用展开,剖析系统现状与挑战,阐释多源数据融合及分析技术,结合案例与代码给出实操方案,提升入侵检测效能。
|
5月前
|
NoSQL MongoDB 数据库
数据库数据恢复—MongoDB数据库数据恢复案例
MongoDB数据库数据恢复环境: 一台操作系统为Windows Server的虚拟机上部署MongoDB数据库。 MongoDB数据库故障: 工作人员在MongoDB服务仍然开启的情况下将MongoDB数据库文件拷贝到其他分区,数据复制完成后将MongoDB数据库原先所在的分区进行了格式化操作。 结果发现拷贝过去的数据无法使用。管理员又将数据拷贝回原始分区,MongoDB服务仍然无法使用,报错“Windows无法启动MongoDB服务(位于 本地计算机 上)错误1067:进程意外终止。”

推荐镜像

更多