在MongoDB中使用聚合操作筛选与修改字段

本文涉及的产品
云数据库 MongoDB,通用型 2核4GB
简介: 在MongoDB中使用聚合操作筛选与修改字段

本文摘录自我的书《左手MongoDB,右手Redis 从入门到商业实战》

对图7-1所示的数据集exampledata1,使用聚合操作实现以下功能:

(1)不返回_id字段,只返回age和sex字段。

(2)所有age大于28的记录,只返回age和sex。

(3)在$match返回的字段中,添加一个新的字段“hello”,值为“world”。

(4)在$match返回的字段中,添加一个新的字段“hello”,值复制age的值。

(5)在$match返回的字段中,把age的值修改为一个固定字符串。

(6)把user.name和user.user_id变成普通的字段并返回。

(7)在返回的数据中,添加一个字段“hello”,值为“$normalstring”,再添加一个字段“abcd”,值为1。

“$match”可以筛选出需要的记录,那么如果想只返回部分字段,又应该怎么做呢?这时就需要使用关键字“$project”。

返回部分字段

首先用“$project”来实现一个已经有的功能——只返回部分字段。格式如下:

  1. collection.aggregate([{'$project':{字段过滤语句}}])

这里的字段过滤语句与“find()”第2个参数完全相同,也是一个字典。字段名为Key,Value为1或者0(需要的字段Value为1,不需要的字段Value为0)。

例如,对于图7-1所示的数据集,不返回“_id”字段,只返回age和sex字段,则聚合语句如下:

db.getCollection('example_data_1').aggregate([
    {'$project': {'_id': 0, 'sex': 1, 'age': 1}}
])

查询结果如图7-22所示。

结合“$match”实现“先筛选记录,再过滤字段”。例如,选择所有age大于28的记录,只返回age和sex,则聚合语句写为:

db.getCollection('example_data_1').aggregate([
    {'$match': {'age': {'$gt': 28}}},
    {'$project': {'_id': 0, 'sex': 1, 'age': 1}}
])

查询结果如图7-23所示。

到目前为止,使用“$match”加上“$project”,多敲了几十次键盘,终于实现了“find()”的功能。使用聚合操作复杂又繁琐,好处究竟是什么?

添加新字段

添加固定文本

在“$project”的Value字典中添加一个不存在的字段,看看效果会怎么样。例如:

db.getCollection('example_data_1').aggregate([
    {'$match': {'age': {'$gt': 28}}},
    {'$project': {'_id': 0, 'sex': 1, 'age': 1, 'hello': 'world'}}
  ])

注意这里的字段名“hello”,exampledata1数据集是没有这个字段的,而且它的值也不是“0”或者“1”,而是一个字符串。

查询结果如图7-24所示。在查询的结果中直接增加了一个新的字段。

复制现有字段。

现在把上面代码中的“world”修改为“$age”,变为:

db.getCollection('example_data_1').aggregate([
    {'$match': {'age': {'$gt': 28}}},
    {'$project': {'_id': 0, 'sex': 1, 'age': 1, 'hello': '$age'}}
  ])

查询结果如图7-25所示。

修改现有字段的数据

接下来,把原有的age的值“1”改为其他数据,代码变为:

db.getCollection('example_data_1').aggregate([
    {'$match': {'age': {'$gt': 28}}},
    {'$project': {'_id': 0, 'sex': 1, 'age': "this is age"}}
  ])

查询结果如图7-26所示。

从图7-25和图7-26可以看出,在“$project”中,如果一个字段的值不是“0”或“1”,而是一个普通的字符串,那么最后的结果就是直接输出这个普通字符串,无论数据集中原本是否有这个字段。

从图7-26可以看出,如果一个字段后面的值是“$+一个已有字段的名字”(例如“$age”),那么这个字段就会把“$”标记的字段的内容逐行复制过来。这个复制功能初看起来似乎没有什么用,原样复制能干什么?那么现在来看看exampledata2的嵌套字段。

抽取嵌套字段

对于如下图所示的数据集 example_data_2:

如果直接使用find(),想返回“user_id”和“name”,则查询语句为:

db.getCollection('example_data_2').find({}, {'user.name': 1, 'user.user_id': 1})

查询结果如图7-27所示。

返回的结果仍然是嵌套字段,这样处理起来非常不方便。而如果使用“$project”,则可以把嵌套字段中的内容“抽取”出来,变成普通字段,具体代码如下:

db.getCollection('example_data_2').aggregate([
    {'$project': {'name': '$user.name', 'user_id': '$user.user_id'}}
   ])

查询结果如图7-28所示。

普通字段处理起来显然是要比嵌套字段方便不少,这就是“复制字段”的妙用。

处理字段特殊值

看到这里,可能有读者要问:

如果想添加一个字段,但是这个字段的值就是数字“1”会怎么样?

如果添加一个字段,这个字段的值就是一个普通的字符串,但不巧正好以“$”开头,又会怎么样呢?

下面这段代码是图7-1所示的数据集的查询结果。

db.getCollection('example_data_1').aggregate([
    {'$match': {'age': {'$gt': 28}}},
    {'$project': {'_id': 0, 'id': 1, 'hello': '$normalstring', 'abcd': 1}}
  ])

查询结果如图7-29所示。

由于特殊字段的值和“$project”的自身语法冲突了,导致所有以“$”开头的普通字符串和数字都不能添加。要解决这个问题,就需要使用另一个关键字“$literal”,代码如下:

db.getCollection('example_data_1').aggregate([
    {'$match': {'age': {'$gt': 28}}},
    {'$project': {'_id': 0, 'id': 1, 'hello': {'$literal': '$normalstring'}, 'abcd': {'$literal': 1}}}
  ])

查询结果如图7-30所示。


相关实践学习
MongoDB数据库入门
MongoDB数据库入门实验。
快速掌握 MongoDB 数据库
本课程主要讲解MongoDB数据库的基本知识,包括MongoDB数据库的安装、配置、服务的启动、数据的CRUD操作函数使用、MongoDB索引的使用(唯一索引、地理索引、过期索引、全文索引等)、MapReduce操作实现、用户管理、Java对MongoDB的操作支持(基于2.x驱动与3.x驱动的完全讲解)。 通过学习此课程,读者将具备MongoDB数据库的开发能力,并且能够使用MongoDB进行项目开发。   相关的阿里云产品:云数据库 MongoDB版 云数据库MongoDB版支持ReplicaSet和Sharding两种部署架构,具备安全审计,时间点备份等多项企业能力。在互联网、物联网、游戏、金融等领域被广泛采用。 云数据库MongoDB版(ApsaraDB for MongoDB)完全兼容MongoDB协议,基于飞天分布式系统和高可靠存储引擎,提供多节点高可用架构、弹性扩容、容灾、备份回滚、性能优化等解决方案。 产品详情: https://www.aliyun.com/product/mongodb
目录
相关文章
|
4月前
|
NoSQL MongoDB Python
深入了解 Python MongoDB 操作:排序、删除、更新、结果限制全面解析
使用 sort() 方法对结果进行升序或降序排序。 sort() 方法接受一个参数用于“字段名”,一个参数用于“方向”(升序是默认方向)。
72 0
|
1天前
|
NoSQL 数据挖掘 数据处理
【MongoDB 专栏】MongoDB 聚合管道:数据分析利器
【5月更文挑战第10天】MongoDB的聚合管道是数据分析利器,它通过一系列阶段(如\$match、\$group、\$project等)处理和转换数据,实现过滤、分组、统计等功能。适用于复杂的数据分析任务,能高效处理大量数据并提供实时洞察。在电商、日志和金融等领域有广泛应用。注意索引优化和避免过度聚合,以确保准确性和效率。借助聚合管道,我们可以深入挖掘数据价值,驱动业务发展。
【MongoDB 专栏】MongoDB 聚合管道:数据分析利器
|
11天前
|
NoSQL 大数据 数据处理
MongoDB聚合框架与复杂查询优化:技术深度解析
【4月更文挑战第30天】本文深入探讨了MongoDB的聚合框架和复杂查询优化技术。聚合框架包含$match、$group、$sort和$project阶段,用于数据处理和分析,提供灵活性和高性能。优化查询涉及创建合适索引、使用聚合框架、简化查询语句、限制返回结果数、避免跨分片查询、只查询所需字段及使用$inc操作符。理解这些技术有助于提升MongoDB在大数据和复杂查询场景下的性能。
|
12天前
|
存储 JSON DataWorks
DataWorks产品使用合集之DataWorks将 MongoDB 中的数组类型写入到 DataWorks 的单个字段时,表示为字符串格式而非 JSON 格式如何解决
DataWorks作为一站式的数据开发与治理平台,提供了从数据采集、清洗、开发、调度、服务化、质量监控到安全管理的全套解决方案,帮助企业构建高效、规范、安全的大数据处理体系。以下是对DataWorks产品使用合集的概述,涵盖数据处理的各个环节。
25 3
|
13天前
|
NoSQL MongoDB
MongoDB代码操作
MongoDB代码操作
|
23天前
|
NoSQL MongoDB 数据库
MongoDB黑窗口操作(CRUD)
MongoDB黑窗口操作(CRUD)
|
1月前
|
JSON NoSQL MongoDB
mongodb导出聚合查询的数据
mongodb导出聚合查询的数据
|
1月前
|
NoSQL 数据挖掘 BI
【MongoDB】MongoDB 聚合框架
【4月更文挑战第3天】【MongoDB】MongoDB 聚合框架
|
1月前
|
缓存 NoSQL 关系型数据库
【MongoDB】MongoDB更新操作时是否立刻fsync到磁盘?
【4月更文挑战第2天】【MongoDB】MongoDB更新操作时是否立刻fsync到磁盘?
|
1月前
|
消息中间件 NoSQL Kafka
云原生最佳实践系列 5:基于函数计算 FC 实现阿里云 Kafka 消息内容控制 MongoDB DML 操作
该方案描述了一个大数据ETL流程,其中阿里云Kafka消息根据内容触发函数计算(FC)函数,执行针对MongoDB的增、删、改操作。