Java操作MongoDB(聚合函数)向Mongo插入及查询数据( 下)

本文涉及的产品
云数据库 MongoDB,独享型 2核8GB
推荐场景:
构建全方位客户视图
简介: Java操作MongoDB(聚合函数)向Mongo插入及查询数据

Java操作Mongo(聚合函数)使用


2.1 插入(插入后数据库结构见最上方)


废话不多说 上代码(主要代码):

@Override
    public void addDocument(String identity, String applicationKey, List<Map<String, String>> list) {
        //创建一个连接,自带连接池效果
        MongoClient mongoClient = MongoClients.create("mongodb://192.168.10.8:27017");
        //操作一个数据库,如果数据库不存在,当您为该数据库首次存储数据时,会自动创建数据库。
        MongoDatabase spitdbDatabase = mongoClient.getDatabase(applicationKey);
        //得到一个集合对象,如果集合不存在,当您为该数据库首次存储数据时,会自动创建集合。
        MongoCollection<Document> collection = spitdbDatabase.getCollection(identity);
        //创建一个文档,参数可以接收键值对,也可以直接接收一个Map对象
        //文档对象的本质是BSON类型,该类型对应java.util.Map;BSON数组对应的是java.util.List
        List<Document> documentList = MongoUtils.listForDocument(list);
        Map<String, List<Document>> map = new HashMap<>();
        //int size = documentList.size();
        double number = 10.0;
        int n = 1;
        String[] s;
        for (Document document : documentList) {
            String gmtTarget = document.get("gmtTarget") + "";
            s = gmtTarget.split(" ");
            if (map.containsKey(s[0])) {
                if (map.get(s[0]).size() < number) {
                    map.get(s[0]).add(document);
                } else {
                    List<Document> documents = new ArrayList<>();
                    documents.add(document);
                    map.put(s[0] + "." + n, documents);
                    n++;
                }
            } else {
                List<Document> documents = new ArrayList<>();
                documents.add(document);
                map.put(s[0], documents);
            }
        }
        FindIterable<Document> documents = collection.find();
        Map<String, Object> map1 = new LinkedHashMap<>();
        int val = 0;
        for (Document document1 : documents) {
            map1.put("_id" + "." + val, document1.get("_id"));
            val++;
        }
        for (String key : map.keySet()) {
            collectionDemo(map.get(key));
            Document document = new Document();
            //当数组在表中不存在时 就新建数组
            if (documents == null || map1.containsValue(key) == false) {
                document.append("_id", key).append("gmtStart", map.get(key).get(0).get("gmtTarget")).append("gmtEnd", map.get(key).get(map.get(key).size() - 1).get("gmtTarget"))
                        .append("count", map.get(key).size()).append("records", map.get(key));
                collection.insertOne(document);
            } else {
                //若存在 则在原有对应数组后插入新数据
                Document y2 = null;
                List<Document> list2 = map.get(key);
                for (int i = 0; i < map.get(key).size(); i++) {
                    String gmtTarget = (String) map.get(key).get(i).get("gmtTarget");
                    String[] s1 = gmtTarget.split(" ");
                    y2 = new Document("_id", s1[0]);
                }
                //在数组后加入新数据 若数据存在 则不会存入
                Document update = new Document().append("$addToSet", new Document().append("records", new Document().append("$each", list2)));
                //获取数据的时间判断其所属数组 并将数据存入对应数组中
                collection.updateMany(y2, update);
                FindIterable<Document> documents1 = collection.find(y2);
                ArrayList<Document> records = null;
                for (Document document1 : documents1) {
                    //获取对应数组相关信息
                    records = (ArrayList<Document>) document1.get("records");
                }
                //System.out.println(records);
                collectionDemo(records);
                //向新数组新增数据后数组对应参数随之改变 给各个参数分别赋值
                Document update2 = new Document().append("$set", new Document().append("count", records.size()).append("gmtStart",
                        records.get(0).get("gmtTarget")).append("gmtEnd", records.get(records.size() - 1).get("gmtTarget")).append("records", records));
                collection.updateOne(y2, update2);
            }
        }
        //释放资源
        mongoClient.close();
    }

2.2 查询


废话不多说 上代码(主要代码):

@RequestMapping(value = "/findMongo", method = RequestMethod.POST)
    public ResponseMessage findMongo(Integer index, @RequestBody Map<String, String> map) {
        if (index == null || index < 1) {
            index = 1;
        }
        MongoClient mongoClient = new MongoClient(host, port);
        MongoDatabase db = mongoClient.getDatabase(map.get("applicationKey"));
        //MongoDatabase db = mongoClient.getDatabase("dgg8be05077d4890910ed2ce8b481");
        //MongoCollection<Document> doc = db.getCollection(map.get("identity"));
        MongoCollection<Document> doc = db.getCollection(map.get("identity"));
        Page<Document> page = new Page<>();
        Map<String, String> mapKey = new HashMap<>();
        for (Map.Entry<String, String> entry : map.entrySet()) {
            if (StringUtils.isNotEmpty(entry.getValue())) {
                mapKey.put(entry.getKey(), entry.getValue());
            }
        }
        String identity = mapKey.get("identity");
        String applicationKey = mapKey.get("applicationKey");
        //Query query = new Query();
        //SimpleDateFormat format = new SimpleDateFormat("yyyy-MM-dd HH-mm-ss");
        if (map != null && map.size() != 0 && !mapKey.isEmpty()) {
            // match(相当于 WHERE 或者 HAVING )
            BasicDBObject query = new BasicDBObject();
            List<BasicDBObject> list = new ArrayList<>();
            for (Map.Entry<String, String> entry : mapKey.entrySet()) {
                String key = entry.getKey();
                if (key.equals("identity") || key.equals("applicationKey") || key.equals("pageUrl")) {
                } else {
                    String value = entry.getValue();
                    if (value.contains("~")) {
                        String[] split = value.split("~");
                        String startTime = null;
                        String endTime = null;
                        try {
                            startTime = split[0];
                            endTime = split[1];
                        } catch (Exception e) {
                            e.printStackTrace();
                        }
                        list.add(new BasicDBObject("records.gmtTarget", new BasicDBObject("$gte", startTime)));
                        list.add(new BasicDBObject("records.gmtTarget", new BasicDBObject("$lte", endTime)));
                    } else {
                        list.add(new BasicDBObject(("records") + "." + key, value));
                    }
                }
            }
            if (list != null && list.size() > 0) {
                BasicDBObject[] array = new BasicDBObject[list.size()];
                list.toArray(array);
                query.append("$and", array);
                BasicDBObject match = new BasicDBObject("$match", query);
                BasicDBObject unwind = new BasicDBObject("$unwind", "$records");
                // BasicDBObject project = new BasicDBObject("$project", new BasicDBObject("count", new BasicDBObject("$size","$records")));
                BasicDBObject project = new BasicDBObject("$project", new BasicDBObject("records", 1));
                //sort(排序)
                BasicDBObject sort = new BasicDBObject("$sort", new BasicDBObject("count", -1));//1:正序,-1倒序
                //skip(跳过前面多少条数据,分页时使用)
                //limt(只要前多少条数据,分页时使用)
                BasicDBObject limit = new BasicDBObject("$limit", 15);
                BasicDBObject skip = new BasicDBObject("$skip", 0);
                List<BasicDBObject> aggregateList = new ArrayList<>();
                aggregateList.add(unwind);
                aggregateList.add(project);
                aggregateList.add(match);
                aggregateList.add(sort);
                aggregateList.add(limit);
                aggregateList.add(skip);
                AggregateIterable<Document> aggregate = mongoClient.getDatabase(applicationKey).getCollection(identity).aggregate(aggregateList);
                List<Document> list1 = new ArrayList<>();
                int totalCount = 0;
                for (Document document : aggregate) {
                    list1.add(document);
                    if (list1 != null) {
                        totalCount++;
                    }
                    int totalPage = totalCount % 15 == 0 ? totalCount / 15 : totalCount / 15 + 1;
                    page.setStartIndex((index - 1) * 15);
                    page.setTotalRecords(totalCount);
                    page.setTotalPage(totalPage);
                    page.setRecords(list1);
                }
                page.setCurrentPage(index);
                page.setPageSize(Page.DEFAULT_VALUE);
                return success(page);
            } else {
                FindIterable<Document> iter = doc.find().skip(0).limit(15);
                int totalCount = 0;
                Page<Document> page1 = new Page<>();
                List<Document> list1 = new ArrayList<>();
                for (Document document : iter) {
                    MongoCursor<Document> iterator = iter.iterator();
                    iterator.next();
                    if (document.get("_id") != null) {
                        totalCount++;
                    }
                    document.remove("_id");
                    Object records = document.get("records");
                    document.put("records", records);
                    list1.add(document);
                    page1.setCurrentPage(index);
                    page1.setPageSize(Page.DEFAULT_VALUE);
                    int totalPage = totalCount % 15 == 0 ? totalCount / 15 : totalCount / 15 + 1;
                    page1.setStartIndex((index - 1) * 15);
                    page1.setTotalRecords(totalCount);
                    page1.setTotalPage(totalPage);
                    page1.setRecords(list1);
                }
                return success(page1);
            }
        } else {
            FindIterable<Document> iter = doc.find().skip(0).limit(15);
            int totalCount = 0;
            Page<Document> page1 = new Page<>();
            List<Document> list = new ArrayList<>();
            for (Document document : iter) {
                MongoCursor<Document> iterator = iter.iterator();
                iterator.next();
                if (document.get("_id") != null) {
                    totalCount++;
                }
                document.remove("_id");
                Object records = document.get("records");
                document.put("records", records);
                list.add(document);
                page1.setCurrentPage(index);
                page1.setPageSize(Page.DEFAULT_VALUE);
                int totalPage = totalCount % 15 == 0 ? totalCount / 15 : totalCount / 15 + 1;
                page1.setStartIndex((index - 1) * 15);
                page1.setTotalRecords(totalCount);
                page1.setTotalPage(totalPage);
                page1.setRecords(list);
            }
            return success(page1);
        }
    }


相关实践学习
MongoDB数据库入门
MongoDB数据库入门实验。
快速掌握 MongoDB 数据库
本课程主要讲解MongoDB数据库的基本知识,包括MongoDB数据库的安装、配置、服务的启动、数据的CRUD操作函数使用、MongoDB索引的使用(唯一索引、地理索引、过期索引、全文索引等)、MapReduce操作实现、用户管理、Java对MongoDB的操作支持(基于2.x驱动与3.x驱动的完全讲解)。 通过学习此课程,读者将具备MongoDB数据库的开发能力,并且能够使用MongoDB进行项目开发。 &nbsp; 相关的阿里云产品:云数据库 MongoDB版 云数据库MongoDB版支持ReplicaSet和Sharding两种部署架构,具备安全审计,时间点备份等多项企业能力。在互联网、物联网、游戏、金融等领域被广泛采用。 云数据库MongoDB版(ApsaraDB for MongoDB)完全兼容MongoDB协议,基于飞天分布式系统和高可靠存储引擎,提供多节点高可用架构、弹性扩容、容灾、备份回滚、性能优化等解决方案。 产品详情: https://www.aliyun.com/product/mongodb
目录
相关文章
|
30天前
|
前端开发 JavaScript Java
java常用数据判空、比较和类型转换
本文介绍了Java开发中常见的数据处理技巧,包括数据判空、数据比较和类型转换。详细讲解了字符串、Integer、对象、List、Map、Set及数组的判空方法,推荐使用工具类如StringUtils、Objects等。同时,讨论了基本数据类型与引用数据类型的比较方法,以及自动类型转换和强制类型转换的规则。最后,提供了数值类型与字符串互相转换的具体示例。
|
1天前
|
存储 NoSQL MongoDB
【赵渝强老师】MongoDB写入数据的过程
在MongoDB数据更新时,WiredTiger存储引擎通过预写日志(Journal)机制先将更新写入日志文件,再通过检查点操作将日志中的操作刷新到数据文件,确保数据持久化和一致性。检查点定期创建,缩短恢复时间,并保证异常终止后可从上一个有效检查点恢复数据。视频讲解及图示详细说明了这一过程。
35 22
【赵渝强老师】MongoDB写入数据的过程
|
4天前
|
存储 Java BI
java怎么统计每个项目下的每个类别的数据
通过本文,我们详细介绍了如何在Java中统计每个项目下的每个类别的数据,包括数据模型设计、数据存储和统计方法。通过定义 `Category`和 `Project`类,并使用 `ProjectManager`类进行管理,可以轻松实现项目和类别的数据统计。希望本文能够帮助您理解和实现类似的统计需求。
40 17
|
11天前
|
SQL NoSQL Java
Java使用sql查询mongodb
通过使用 MongoDB Connector for BI 和 JDBC,开发者可以在 Java 中使用 SQL 语法查询 MongoDB 数据库。这种方法对于熟悉 SQL 的团队非常有帮助,能够快速实现对 MongoDB 数据的操作。同时,也需要注意到这种方法的性能和功能限制,根据具体应用场景进行选择和优化。
39 9
|
2月前
|
SQL Java
使用java在未知表字段情况下通过sql查询信息
使用java在未知表字段情况下通过sql查询信息
39 8
|
2月前
|
JSON Java 程序员
Java|如何用一个统一结构接收成员名称不固定的数据
本文介绍了一种 Java 中如何用一个统一结构接收成员名称不固定的数据的方法。
27 3
|
2月前
|
Java 程序员 容器
Java中的变量和常量:数据的‘小盒子’和‘铁盒子’有啥不一样?
在Java中,变量是一个可以随时改变的数据容器,类似于一个可以反复打开的小盒子。定义变量时需指定数据类型和名称。例如:`int age = 25;` 表示定义一个整数类型的变量 `age`,初始值为25。 常量则是不可改变的数据容器,类似于一个锁死的铁盒子,定义时使用 `final` 关键字。例如:`final int MAX_SPEED = 120;` 表示定义一个名为 `MAX_SPEED` 的常量,值为120,且不能修改。 变量和常量的主要区别在于变量的数据可以随时修改,而常量的数据一旦确定就不能改变。常量主要用于防止意外修改、提高代码可读性和便于维护。
|
2月前
|
存储 缓存 安全
在 Java 编程中,创建临时文件用于存储临时数据或进行临时操作非常常见
在 Java 编程中,创建临时文件用于存储临时数据或进行临时操作非常常见。本文介绍了使用 `File.createTempFile` 方法和自定义创建临时文件的两种方式,详细探讨了它们的使用场景和注意事项,包括数据缓存、文件上传下载和日志记录等。强调了清理临时文件、确保文件名唯一性和合理设置文件权限的重要性。
128 2
|
Java Android开发
WSDL2Java操作指南
1. 安装JDK1.5, 配置系统环境变量:     下载安装JDK后, 设置环境变量:     JAVA_HOME=C:\Program Files\Java\jdk1.5.0_02     Path=%Path%;%JAVA_HOME%\bin(这里的%Path%指你系统已经有的一系列配置)     CLASSPATH=%JAVA_HOME%\lib  2. 下载axis,
1432 0
|
10天前
|
Java
Java—多线程实现生产消费者
本文介绍了多线程实现生产消费者模式的三个版本。Version1包含四个类:`Producer`(生产者)、`Consumer`(消费者)、`Resource`(公共资源)和`TestMain`(测试类)。通过`synchronized`和`wait/notify`机制控制线程同步,但存在多个生产者或消费者时可能出现多次生产和消费的问题。 Version2将`if`改为`while`,解决了多次生产和消费的问题,但仍可能因`notify()`随机唤醒线程而导致死锁。因此,引入了`notifyAll()`来唤醒所有等待线程,但这会带来性能问题。
Java—多线程实现生产消费者