MongoDB 聚合管道(Aggregation Pipeline)

本文涉及的产品
云数据库 MongoDB,独享型 2核8GB
推荐场景:
构建全方位客户视图
简介: MongoDB 聚合管道(Aggregation Pipeline)

1. 聚合管道

使用聚合管道可对集合中的文档进行变换和组合。

应用场景:表关联查询、数据的统计。

MongoDB 中使用 db.COLLECTION_NAME.aggregate([{< stage >},…]) 方法 来构建和使用聚合管道。

先看下官网给的实例,感受一下聚合管道的用法。

2020062310470442.png

2. 管道操作符与表达式

image.png

image.png

管道表达式:

管道操作符作为“键”,所对应的“值”叫做管道表达式。

{ $match:{status:"A"}},$match 称为管道操作符,而 status:"A" 称为管道表达式, 是管道操作符的操作数(Operand)。 
每个管道表达式是一个文档结构,它是由字段名、字段值、和一些表达式操作符组成的。
常用表达式操作符 描述
$addToSet 将文档指定字段的值去重
$max 文档指定字段的最大值
$min 文档指定字段的最小值
$sum 文档指定字段求和
$avg 文档指定字段求平均
$gt 大于给定值
$lt 小于给定值
$eq 等于给定值

3. 数据模拟

db.order.insert({"order_id":"1","uid":10,"trade_no":"111","all_price":100,"all_num":2}) 
db.order.insert({"order_id":"2","uid":7,"trade_no":"222","all_price":90,"all_num":2}) 
db.order.insert({"order_id":"3","uid":9,"trade_no":"333","all_price":20,"all_num":6}) 
db.order_item.insert({"order_id":"1","title":"商品鼠标 1","price":50,num:1})
db.order_item.insert({"order_id":"1","title":"商品键盘 2","price":50,num:1})
db.order_item.insert({"order_id":"1","title":"商品键盘 3","price":0,num:1}) 
db.order_item.insert({"order_id":"2","title":"牛奶","price":50,num:1}) 
db.order_item.insert({"order_id":"2","title":"酸奶","price":40,num:1}) 
db.order_item.insert({"order_id":"3","title":"矿泉水","price":2,num:5}) 
db.order_item.insert({"order_id":"3","title":"毛巾","price":10,num:1})

2020062310470442.png

$project

作用:修改文档的结构,可以用来重命名、增加或删除文档中的字段;

要求查找 order 只返回文档中 trade_no 和 all_price 字段

db.order.aggregate([ { $project:{ trade_no:1, all_price:1 } } ])

2020062310470442.png

$match

作用:用于过滤文档。用法类似于 find() 方法中的参数。

db.order.aggregate([ { $project:{ trade_no:1, all_price:1 } }, { $match:{"all_price":{$gte:90}} } ])

2020062310470442.png

$group

作用:将集合中的文档进行分组,可用于统计结果

统计每个订单的订单数量,按照订单号分组

db.order_item.aggregate( [ { $group: {_id: "$order_id", total: {$sum: "$num"}} } ])

2020062310470442.png

$sort

作用:将集合中的文档进行排序

db.order.aggregate([ 
  { $project:{ trade_no:1, all_price:1 } }, 
  { $match:{"all_price":{$gte:90}} },
  { $sort:{"all_price":-1} } 
])

2020062310470442.png

$limit

作用:限制结果的数量

db.order.aggregate([ 
  { $project:{ trade_no:1, all_price:1 } }, 
  { $match:{"all_price":{$gte:90}} }, 
  { $sort:{"all_price":-1} }, 
  { $limit:1 } 
])

2020062310470442.png

$skip

作用:跳过文档的数量

db.order.aggregate([ 
  { $project:{ trade_no:1, all_price:1 } }, 
  { $match:{"all_price":{$gte:90}} }, 
  { $sort:{"all_price":-1} },
  { $skip:1 } 
])

2020062310470442.png

$lookup

作用:表关联

eg1:

db.order.aggregate([ 
 { 
  $lookup: { 
    from: "order_item", 
    localField: "order_id",  # 主表
    foreignField: "order_id", 
    as: "items" 
  } 
 } 
])

结果:

{ 
  "_id": ObjectId("5b743d8c2c327f8d1b360540"), 
  "order_id": "1", 
  "uid": 10, 
  "trade_no": "111", 
  "all_price": 100, 
  "all_num": 2, 
  "items": [
    { "_id": ObjectId("5b743d9c2c327f8d1b360543"), "order_id": "1", "title": "商品鼠标 1", "price": 50, "num": 1 }, 
    { "_id": ObjectId("5b743da12c327f8d1b360544"), "order_id": "1", "title": "商品键盘 2", "price": 50, "num": 1 }, 
    { "_id": ObjectId("5b74f457089f78dc8f0a4f3b"), "order_id": "1", "title": "商品键盘 3", "price": 0, "num": 1 }
  ] 
} ,{ 
  "_id": ObjectId("5b743d902c327f8d1b360541"), 
  "order_id": "2", 
  "uid": 7, 
  "trade_no": "222", 
  "all_price": 90, 
  "all_num": 2, 
  "items": [
    { "_id": ObjectId("5b743da52c327f8d1b360545"), "order_id": "2", "title": "牛奶", "price": 50, "num": 1 }, 
    { "_id": ObjectId("5b743da92c327f8d1b360546"), "order_id": "2","title": "酸奶", "price": 40, "num": 1 }
  ]
}, { 
  "_id": ObjectId("5b743d962c327f8d1b360542"),  
  "order_id": "3", 
  "uid": 9, 
  "trade_no": "333", 
  "all_price": 20, 
  "all_num": 6, 
  "items": [
    { "_id": ObjectId("5b743dad2c327f8d1b360547"), "order_id": "3", "title": "矿泉水", "price": 2, "num": 5 }, 
    { "_id": ObjectId("5b743dff2c327f8d1b360548"), "order_id": "3", "title": "毛巾", "price": 10, "num": 1 }
  ] 
}

eg2

db.order.aggregate([ 
  { 
  $lookup: { 
    from: "order_item", 
    localField: "order_id", 
    foreignField: "order_id", 
    as: "items" 
  } 
  }, 
  { 
    $project:{ trade_no:1, all_price:1,items:1 } 
  }, 
  { 
    $match:{"all_price":{$gte:90}} 
  }, 
  { 
    $sort:{"all_price":-1}
  }, 
])

结果:

{ 
  "_id": ObjectId("5b743d8c2c327f8d1b360540"), 
  "trade_no": "111", 
  "all_price": 100, 
  "items": [
    { "_id": ObjectId("5b743d9c2c327f8d1b360543"), "order_id": "1", "title": "商品鼠标 1", "price": 50, "num": 1 }, 
    {"_id": ObjectId("5b743da12c327f8d1b360544"), "order_id": "1", "title": "商品键盘 2", "price": 50, "num": 1 }, 
      {"_id": ObjectId("5b74f457089f78dc8f0a4f3b"), "order_id": "1", "title": "商 品键盘 3", "price": 0, "num": 1 }
  ] 
}, { 
  "_id": ObjectId("5b743d902c327f8d1b360541"), 
  "trade_no": "222", 
  "all_price": 90, 
  "items": [
    { "_id": ObjectId("5b743da52c327f8d1b360545"), "order_id": "2", "title": "牛奶", "price": 50, "num": 1 }, 
    {"_id": ObjectId("5b743da92c327f8d1b360546"), "order_id": "2", "title": "酸奶", "price": 40, "num": 1}
  ] 
}


相关实践学习
MongoDB数据库入门
MongoDB数据库入门实验。
快速掌握 MongoDB 数据库
本课程主要讲解MongoDB数据库的基本知识,包括MongoDB数据库的安装、配置、服务的启动、数据的CRUD操作函数使用、MongoDB索引的使用(唯一索引、地理索引、过期索引、全文索引等)、MapReduce操作实现、用户管理、Java对MongoDB的操作支持(基于2.x驱动与3.x驱动的完全讲解)。 通过学习此课程,读者将具备MongoDB数据库的开发能力,并且能够使用MongoDB进行项目开发。 &nbsp; 相关的阿里云产品:云数据库 MongoDB版 云数据库MongoDB版支持ReplicaSet和Sharding两种部署架构,具备安全审计,时间点备份等多项企业能力。在互联网、物联网、游戏、金融等领域被广泛采用。 云数据库MongoDB版(ApsaraDB for MongoDB)完全兼容MongoDB协议,基于飞天分布式系统和高可靠存储引擎,提供多节点高可用架构、弹性扩容、容灾、备份回滚、性能优化等解决方案。 产品详情: https://www.aliyun.com/product/mongodb
相关文章
|
2月前
|
NoSQL 数据挖掘 数据处理
深入浅出:MongoDB聚合管道的技术详解
深入浅出:MongoDB聚合管道的技术详解
|
2月前
|
存储 NoSQL 数据挖掘
深入探索MongoDB聚合操作:解析数据之美
深入探索MongoDB聚合操作:解析数据之美
111 1
|
3月前
|
NoSQL 数据挖掘 数据处理
【MongoDB 专栏】MongoDB 聚合管道:数据分析利器
【5月更文挑战第10天】MongoDB的聚合管道是数据分析利器,它通过一系列阶段(如\$match、\$group、\$project等)处理和转换数据,实现过滤、分组、统计等功能。适用于复杂的数据分析任务,能高效处理大量数据并提供实时洞察。在电商、日志和金融等领域有广泛应用。注意索引优化和避免过度聚合,以确保准确性和效率。借助聚合管道,我们可以深入挖掘数据价值,驱动业务发展。
63 3
【MongoDB 专栏】MongoDB 聚合管道:数据分析利器
|
2月前
|
监控 NoSQL 大数据
深入解析 MongoDB Map-Reduce:强大数据聚合与分析的利器
深入解析 MongoDB Map-Reduce:强大数据聚合与分析的利器
|
3月前
|
NoSQL 大数据 数据处理
MongoDB聚合框架与复杂查询优化:技术深度解析
【4月更文挑战第30天】本文深入探讨了MongoDB的聚合框架和复杂查询优化技术。聚合框架包含$match、$group、$sort和$project阶段,用于数据处理和分析,提供灵活性和高性能。优化查询涉及创建合适索引、使用聚合框架、简化查询语句、限制返回结果数、避免跨分片查询、只查询所需字段及使用$inc操作符。理解这些技术有助于提升MongoDB在大数据和复杂查询场景下的性能。
|
3月前
|
NoSQL Oracle 关系型数据库
MongoDB与Oracle:管道函数兼容之道
【4月更文挑战第20天】
31 2
|
3月前
|
JSON NoSQL MongoDB
mongodb导出聚合查询的数据
mongodb导出聚合查询的数据
|
4天前
|
JSON NoSQL Ubuntu
在Ubuntu 14.04上如何备份、恢复和迁移MongoDB数据库
在Ubuntu 14.04上如何备份、恢复和迁移MongoDB数据库
14 1
|
11天前
|
NoSQL 大数据 MongoDB
云中对决:Amazon DocumentDB 与 MongoDB的终极较量,谁将主宰云端数据库的未来?
【8月更文挑战第8天】在云计算与大数据时代,文档数据库因灵活高效备受开发者青睐。本文作为指南,全面对比Amazon DocumentDB与MongoDB。DocumentDB兼容MongoDB,便于迁移;在AWS环境下,它提供卓越的性能与自动伸缩能力。MongoDB则侧重于自定义部署与成本控制。DocumentDB作为托管服务简化管理但成本较高,而MongoDB需自行处理安全性与备份。根据需求与预算,开发者可作出最佳选择。
27 3
|
12天前
|
存储 NoSQL 物联网
MongoDB:改变游戏规则的数据库,看它如何统治数据世界的每一个角落
【8月更文挑战第7天】MongoDB是一款高性能、开源的NoSQL数据库,采用文档数据模型,支持丰富查询语言及二级索引。其灵活的数据模型和扩展性使其在大数据应用、实时分析、物联网、内容管理系统及电子商务平台等多种现代场景中广泛应用。例如,在大数据应用中,它可以高效存储社交媒体的非结构化数据;在实时分析中,能快速处理新数据并即时更新结果;在物联网应用中,则适用于存储大量非结构化传感器数据;而在内容管理和电子商务平台中,能提供灵活的内容存储和高效的商品搜索功能。
29 2

热门文章

最新文章