mongodb aggregate mapReduce and group

Aggregate

    MongoDB中聚合(aggregate)主要用于处理数据(诸如统计平均值,求和等)，并返回计算后的数据结果，类似sql语句中的 count(*)

语法如下:

    db.collection.aggregate()

    db.collection.aggregate(pipeline,options)

    db.runCommand({

    aggregate: "<collection>",

    pipeline: [ <stage>, <...> ],

    explain: <boolean>,

    allowDiskUse: <boolean>,

    cursor: <document>

    })

在使用aggregate实现聚合操作之前,我们首先来认识下几个常用的聚合操作符。 

$project:：可以对结果集中的键 重命名，控制键是否显示,对列进行计算。 

$match:  过滤结果集，只输出符合条件的文档。

$skip:  在显示结果的时候跳过前几行，并返回余下的文档。

$sort:  对即将显示的结果集排序 

$limit:  控制结果集的大小

$unwind：将文档中的某一个数组类型字段拆分成多条，每条包含数组中的一个值。

$geoNear：输出接近某一地理位置的有序文档。

$group:  分组，聚合，求和，平均数，最大值，最小值，第一个，最后一个，等

表达式    描述                实例

$sum    计算总和            db.mycol.aggregate([{$group : {_id : "$by_user", num_tutorial : {$sum : "$likes"}}}])

$avg     计算平均值          db.mycol.aggregate([{$group : {_id : "$by_user", num_tutorial : {$avg : "$likes"}}}])

$min     获取集合中所有文档对应值得最小值    db.mycol.aggregate([{$group : {_id : "$by_user", num_tutorial : {$min : "$likes"}}}])

$max    获取集合中所有文档对应值得最大值    db.mycol.aggregate([{$group : {_id : "$by_user", num_tutorial : {$max : "$likes"}}}])

$push    在结果文档中插入值到一个数组中     db.mycol.aggregate([{$group : {_id : "$by_user", url : {$push: "$url"}}}])

$addToSet在结果文档中插入值到一个数组中，但不创建副本    db.mycol.aggregate([{$group : {_id : "$by_user", url : {$addToSet : "$url"}}}])

$first    根据资源文档的排序获取第一个文档数据       db.mycol.aggregate([{$group : {_id : "$by_user", first_url : {$first : "$url"}}}])

$last    根据资源文档的排序获取最后一个文档数据    db.mycol.aggregate([{$group : {_id : "$by_user", last_url : {$last : "$url"}}}])

实例：

db.createCollection("emp")

db.emp.insert({_id:1,"ename":"tom","age":25,"department":"Sales","salary":6000})

db.emp.insert({_id:2,"ename":"eric","age":24,"department":"HR","salary":4500})

db.emp.insert({_id:3,"ename":"robin","age":30,"department":"Sales","salary":8000})

db.emp.insert({_id:4,"ename":"jack","age":28,"department":"Development","salary":8000})

db.emp.insert({_id:5,"ename":"Mark","age":22,"department":"Development","salary":6500})

db.emp.insert({_id:6,"ename":"marry","age":23,"department":"Planning","salary":5000})

db.emp.insert({_id:7,"ename":"hellen","age":32,"department":"HR","salary":6000})

db.emp.insert({_id:8,"ename":"sarah","age":24,"department":"Development","salary":7000})

Map Reduce

Map-Reduce是一种计算模型，简单的说就是将大批量的工作（数据）分解（MAP）执行，然后再将结果合并成最终结果(REDUCE)

MongoDB提供的Map-Reduce非常灵活，对于大规模数据分析也相当实用。

以下是MapReduce的基本语法：

>db.collection.mapReduce(

   function() {emit(key,value);},  //map 函数

   function(key,values) {return reduceFunction},   //reduce 函数

   {

      out: collection,

      query: document,

      sort: document,

      limit: number

   }

)

使用 MapReduce 要实现两个函数 Map 函数和 Reduce 函数,Map 函数调用 emit(key, value), 遍历 collection 中所有的记录, 将key 与 value 传递给 Reduce 函数进行处理。

Map 函数必须调用 emit(key, value) 返回键值对。

参数说明:

    map ：映射函数 (生成键值对序列,作为 reduce 函数参数)。

    reduce 统计函数，reduce函数的任务就是将key-values变成key-value，也就是把values数组变成一个单一的值value。。

    out 统计结果存放集合 (不指定则使用临时集合,在客户端断开后自动删除)。

    query 一个筛选条件，只有满足条件的文档才会调用map函数。（query。limit，sort可以随意组合）

    sort 和limit结合的sort排序参数（也是在发往map函数前给文档排序），可以优化分组机制

    limit 发往map函数的文档数量的上限（要是没有limit，单独使用sort的用处不大）

Group

基本语法如下：

    db.runCommand({group:{

        ns:集合名称,

        key:分组的键对象,

        initial:初始化累加器,

        $reduce:组分解器,

        condition:条件,

        finalize:组完成器}})

分组首先会按照key进行分组，每组的每个文档全要执行$reduce方法，该方法接收2 个参数：一个是组内本条记录，一个是累加器数据

实例：

按照部门分组，计算每个部门的工资总和，如下所示：