4 MapReduce
MongoDB的聚合操作主要是对数据的批量处理，一般都是将记录按条件分组之后进行一系列求最大值，最小值，平均值的简单操作，也可以对记录进行数据统计，数据挖掘的复杂操作，聚合操作的输入是集中的文档，输出可以是一个文档也可以是多个文档。 Pipeline查询速度快于MapReduce，但是MapReduce的强大之处在于能够在多台Server上并行执行复杂的聚合逻辑，MongoDB不允许Pipeline的单个聚合操作占用过多的系统内存，如果一个聚合操作消耗20%以上的内存，那么MongoDB直接停止操作，并向客户端输出错误消息。
4.1 什么是MapReduce
MapReduce是一种计算模型，简单的说就是将大批量的工作（数据）分解（MAP）执行，然后再将结果合并成最终结果（REDUCE）
mapreduce使用javascript语法编写，其内部也是基于javascript V8引擎解析并执行，javascript语言的灵活性也让mapreduce可以处理更加
4.1.1 执行阶段
mapreduce有2个阶段：map和reduce；
- mapper处理每个document，然后emits一个或者多个objects，object为key-value对；
ducer将map操作的结果进行联合操作（combine）。此外mapreduce还可以有一个finalize阶段，这是可选的，它可以调整reducer计算的结果。在进行mapreduce之前，mongodb支持使用query来筛选文档，也支持sort排序和limit。
4.1.2 语法
MapReduce 的基本语法如下：
db.collection.mapReduce( function() { this -- document emit(key,value); }, //map 函数 function(key,values) { key,values return reduceFunction }, //reduce 函数 { out: collection, query: document, sort: document, limit: number, finalize: <function>, scope: <document>, jsMode: <boolean>, verbose: <boolean> } )
使用 MapReduce 要实现两个函数 Map 函数和 Reduce 函数,Map 函数调用 emit(key, value), 遍历 collection 中所有的记录, 将 key 与 value 传递给 Reduce 函数进行处理。
参数说明
- map：是JavaScript 函数，负责将每一个输入文档转换为零或多个文档，通过key进行分组，生成键值对序列,作为 reduce 函数参数
- reduce：是JavaScript 函数，对map操作的输出做合并的化简的操作（将key-values变成key-value，也就是把values数组变成一个单一的值value）
- out：统计结果存放集合 (不指定则使用临时集合,在客户端断开后自动删除)。
- query： 一个筛选条件，只有满足条件的文档才会调用map函数。（query。limit，sort可以随意组合）
- sort： 和limit结合的sort排序参数（也是在发往map函数前给文档排序），可以优化分组机制
- limit： 发往map函数的文档数量的上限（要是没有limit，单独使用sort的用处不大）
- finalize：可以对reduce输出结果再一次修改，跟group的finalize一样，不过MapReduce没有group的4MB文档的输出限制
- scope：向map、reduce、finalize导入外部变量
- verbose：是否包括结果信息中的时间信息，默认为fasle
4.1.3 使用示例
按照state分组统计
样例SQL
select by,count(1) from blog group by by having likes>100
mapReduce写法
这是统计每一个作者的博客分数是100以上的文章数
db.zips.mapReduce( function(){ emit(this.state,1); }, function(key,values){ return Array.sum(values); }, { query:{pop:{$gt:100}}, out:"result001", } )
输出结果
将结果输出
# 显示集合 show tables; # 查询结果集数据 db.result001.find({})
4.1.4 编程语法
在mongodb中，mapreduce除了包含mapper和reducer之外，还包含其他的一些选项，不过整体遵循mapreduce的规则：
map
javascript方法，此方法中可以使用emit(key,value)，一次map调用中允许返回调用多次emit（也可以不调用），它不需要返回值；其中key用来分组，value将来会被传递给reducer用于“聚合计算”。
每条document都会调用一次map方法。
mapper中输入的是当前document，可以通过this.<filedName>来获取字段的值。mapper应该是封闭的，它不能访问外部资源，比如collection
function() { this.items.forEach(function(item) {emit(item.sku,1);}); //多次emit }
reduce
javascript方法，此方法接收key和values两个参数，经过mapper处理和“归并之后”，一个key将会对应一组values（分组，key:values），此values将会在reduce中进行“聚合计算”，比如：sum、平均数、数据分拣等等。
reducer和mapper一样是封闭的，它内部不允许访问database、collection等外部资源，不能修改外部值，但可以访问“scope”中的变量；
//mapper function() { emit(this.categoryId,{'count' : 1}); } //reducer function(key,values) { var current = {'count' : 0}; values.forEach(function(item) { current.count += item.count;}); return current; }
此外reduce内的算法需要是幂等的，且与输入values的顺序无关的，因为即使相同的input文档，也无法保证map-reduce的每个过程都是逐字节相同的，但应该确保计算的结果是一致的。
out
document结构，包含一些配置选项；用于指定reduce的结果最终如何保存。可以将结果以inline的方式直接输出（cursor），或者写入一个collection中。
out : { <action> : <collectionName> [,db:<dbName>] [,sharded:<boolean>] [,nonAtomic:<boolean>]
out方式默认为inline，即不保存数据，而是返回一个cursor，客户端直接读取数据即可。
action
表示如果保存结果的已经存在时，将如何处理：
- replace：替换，替换原collection中的内容；先将数据保存在临时collection，此后rename，再将旧collection删除
- merge：将结果与原有内容合并，如果原有文档中持有相同的key（即_id字段），则直接覆盖原值
- reduce：将结果与原有内容合并，如果原有文档中有相同的key，则将新值、旧值合并后再次应用reduce方法，并将得到的值覆盖原值（对于“用户留存”、“数据增量统计”非常有用）。
db
结果数据保存在哪个database中，默认为当前db；开发者可能为了进一步使用数据，将统计结果统一放在单独的database中
sharded
输出结果的collection将使用sharding模式，使用_id作为shard key；不过首先需要开发者对<collection>所在的database开启sharding
nonAtomic
“非原子性”，仅对“merge”和“replace”有效，控制output collection，默认为false，即“原子性”；
即mapreduce在输出阶段将会对output collection所在的数据库加锁，直到输出结束，可能性能会有影响； 如果为true，则不会对db加锁，其他客户端可以读取到output collection的中间状态数据。我们通常将ouput collection单独放在一个db中，和application数据分离开，而且nonAtomic为false，我们也不希望用户读到“中间状态数据”。 可以通过指定“out:{inline : 1}”将输出结果保存在内存中，并返回一个cursor，客户端可以直接读取即可。
query
筛选文档，只需要将符合条件的documents传递给mapper
sort
对筛选之后的文档排序，然后才传递给mapper。如果根据map的key进行排序，则可以减少reduce的操作次数。排序必须能够使用index。
limit
限定输入到map的文档条数
finalize
终结操作，在输出之前调整reduce的结果。它和map、reduce一样，也是一个javascript方法，接收key和value，其中value为reduce输出结
function(key,value) { var final = {count : 0,key:""}; final.key = key; return final; }
scope
document结构，保存一些global级别的变量值，它们可以在map、reduce、finalize中被访问。
jsMode
可选值为true或者false；表示是否将map执行的中间结果数据由javascript对象转换成BSON对象，默认为false。
false表示，在mapper中emit最终输出的是javascript对象，因为是javascript引擎处理的，不过mapper 可能产生大量的数据，这些数据将会被保存在临时的存储中（collection），所以需要将javascript对象转换成BSON；在reduce阶段，这些BSON结果再被转换成javascript对象，传递给reduce方法，转换意味着性能消耗和慢速，它解决的问题就是“临时存储”以适应较大数据集的数据分析。
- 如果为true，将不会进行类型转换，数据被暂存在内存中，reduce阶段直接使用mapper的结果即可，但是key的个数不能超过50W个。在production环境中，此值建议为false。
mongo特性、 搭建 、 springboot 、 索引调优 、 explain分析工具、索引设计，高级特性： geo 、 聚合查询 、 集群，mongodbshell
