MongoDB学习：备份恢复（一）

本文主要介绍MongoDB副本集备份恢复的方法、常用命令，以及一些具体的操作过程，最后介绍一种备份方案。

一、备份方法

0、oplog

0.1 oplog是什么
oplog是一个 capped collection（有上限的集合），位于local库里

0.2 local库
local库是MongoDB的系统库，记录着时间戳和索引和复制集等信息
0.2.1 没有建立副本集的时候

> show collections
startup_log

0.2.2 建立的副本集之后(3.4、3.6和4.0都是这些集合)

replSet27017:PRIMARY> use local
switched to db local
replSet27017:PRIMARY> show collections
me       # me集合保存了服务器名称                 
oplog.rs    # oplog.rs集合记录对节点的所有操作
replset.election
replset.minvalid    #replset.minvalid集合保存了数据库最新操作的时间戳
replset.oplogTruncateAfterPoint
startup_log         #startup_log集合记录这mongod每一次的启动信息
system.replset      #system.replset记录着复制集的成员配置信息,rs.conf()读取这个集合
system.rollback.id

0.3 查看oplog
0.3.1 oplog字段说明

replSet27017:PRIMARY> db.oplog.rs.find().pretty().limit(1)
{
    "ts" : Timestamp(1558940829, 599),
    "t" : NumberLong(12),
    "h" : NumberLong("6800425020320237930"),
    "v" : 2,
    "op" : "i",
    "ns" : "config.system.sessions",
    "ui" : UUID("10b4d6ac-37df-4586-8a2d-83a3389d7406"),
    "wall" : ISODate("2019-05-16T08:44:39.629Z"),
    "o" : {
        "_id" : {
            "id" : UUID("fa4f2ff2-8251-4dec-b517-ebcab6db2eca"),
            "uid" : BinData(0,"LkqZkoMQbGtpaIwmLLkI3wtgnsDvRhwXsdiic1EAMLE=")
        },
        "lastUse" : ISODate("2019-05-16T08:44:39.629Z"),
        "user" : {
            "name" : "test@test01"
        }
    }

ts： 操作时间，8字节的时间戳，由4字节unix timestamp + 4字节自增计数表示(表示某一秒内的第几次操作)
h：操作的全局唯一标识
v：oplog版本信息
op：1字节的操作类型
    i：插入操作
    u：更新操作
    d：删除操作
    c：执行命令（如createDatabase，dropDatabase）
    n：空操作，会定期执行以确保时效性
ns：操作针对的集合
o：操作内容
o2：在执行更新操作时的where条件，仅限于update时才有该属性

#查看oplog的信息
replSet27017:PRIMARY> db.printReplicationInfo()
configured oplog size:   1024MB
log length start to end: 1866871secs (518.58hrs)
oplog first event time:  Tue May 14 2019 23:15:10 GMT+0800 (CST)
oplog last event time:   Wed Jun 05 2019 13:49:41 GMT+0800 (CST)
now:                     Mon May 20 2019 03:20:48 GMT+0800 (CST)

#查看slave的同步状态
replSet27017:PRIMARY> db.printSlaveReplicationInfo()
source: 192.168.1.12:27017
    syncedTo: Wed Jun 05 2019 13:49:41 GMT+0800 (CST)
    0 secs (0 hrs) behind the primary
source: 192.168.1.13:27017
    syncedTo: Wed Jun 05 2019 13:49:41 GMT+0800 (CST)
    0 secs (0 hrs) behind the primary

0.3.2 根据操作类型查操作

查询oplog里的insert记录，对应op为i的记录:
replSet27017:PRIMARY> db.oplog.rs.find({"op" : "i"}).pretty().limit(3)

查update操作命令：
replSet27017:PRIMARY> db.oplog.rs.find({"op" : "u"}).pretty().limit(3)
test:PRIMARY>
查delete操作命令:
replSet27017:PRIMARY> db.oplog.rs.find({"op" : "d"}).pretty().limit(3)

0.3.3 根据时间查询操作

mongodb里的时间
#操作系统时间
#date
Mon May 20 02:33:45 CST 2019

#mongo里显示当地时间
replSet27017:PRIMARY> Date()
Mon May 20 2019 02:34:21 GMT+0800 (CST)
#构建一个格林尼治时间，我们是东八区，所以需要减去8个小时
replSet27017:PRIMARY> new Date
ISODate("2019-05-19T18:34:24.157Z")
#也是格林尼治时间
replSet27017:PRIMARY> ISODate()
ISODate("2019-05-19T18:34:28.820Z")

#时间戳
ISODate().valueOf()
1558291032161

1、复制文件

1.1 文件系统快照
要创建一致的备份，必须锁定数据库，并且必须在备份过程中暂停对数据库的所有写入；
快照反映了所有的数据和journal log开始的时刻，没有增量备份。
1.1.1 使用LVM创建快照

lvcreate --size 100M --snapshot --name mdb-snap01 /dev/vg0/mdb-snap01

--snapshot 创建一个LVM快照
--size 快照的上限大小，如果耗尽空间，快照将无法使用

1.1.2 归档快照
如将上述快照挂载后压缩

umount /dev/vg0/mdb-snap01
dd if=/dev/vg0/mdb-snap01 | gzip > mdb-snap01.gz

1.1.3 恢复快照

lvcreate --size 1G --name mdb-new vg0
gzip -d -c mdb-snap01.gz | dd of=/dev/vg0/mdb-new
mount /dev/vg0/mdb-new /srv/mongodb

将mdb-snap01.gz 解压并放到mdb-new里
将mdb-new挂载到 /srv/mongodb目录， 根据需要修改挂载点以对应MongoDB数据文件位置

• 注意：

  还原的快照将具有mongod.lock文件。如果不从快照中删除此文件，MongoDB可能会认为是正常关闭。
  如果在启用storage.journal.enabled的情况下运行，并且不使用db.fsyncLock（），则无需删除mongod.lock文件；如果使用db.fsyncLock（），则需要删除mongod.lock文件。
  

1.1.4 将备份放到远程存储
过程与上述相同，只是使用SSH在远程系统上归档和压缩备份。

umount /dev/vg0/mdb-snap01
dd if=/dev/vg0/mdb-snap01 | ssh username@example.com gzip > /opt/backup/mdb-snap01.gz
lvcreate --size 1G --name mdb-new vg0
ssh username@example.com gzip -d -c /opt/backup/mdb-snap01.gz | dd of=/dev/vg0/mdb-new
mount /dev/vg0/mdb-new /srv/mongodb

1.1.5 大体过程

• 锁定数据库，使用db.fsyncLock()
• 执行上述快照备份命令
• 快照完成，解锁数据库，使用db.fsyncUnlock()

1.2 直接复制文件
相比于文件系统快照，直接复制文件更为简单
1.2.1 复制数据文件
直接cp数据文件无法复制所有的文件，所以需要在备份的时候防止数据文件发生改变，做法也使用fsynclock命令。

replSet27017:PRIMARY> db.fsyncLock()

该命令会锁定（lock）数据库，禁止任何写入，并进行同步（fsync），即将所有的脏页刷到磁盘。Mongod会将之后的所有写操作加入等待队列

 cp -R  /data1/mongodb27017/* /backup/mongodb27017_20190704

数据复制完成后，解锁数据库：

replSet27017:PRIMARY> db.fsyncUnlock();

• 注意：
         如果启用了身份验证，则在调用fsyncLock()和fsynUnlock()期间不要关闭shell。如果断开了连接，则可能无法进行重新连接，并不得不重启mongod。FsyncLok()的设定是在重启后不会保持生效，mongod总是以非锁定模式启动的。

当然，除了使用fsyncLock()外，关闭mongod，复制文件，再启动mongod，也是一种方法。

2、mongodump 与 mongorestore

2.1 mongodump
2.1.1 常用参数

  -d：数据库名
  -c：集合名
  -o：要导出的文件名
  -q：导出数据的过滤条件
  --authenticationDatabase：保存用户凭证的数据库
  --gzip：备份时压缩
  --oplog：导出的同时生成一个oplog.bson文件，存放在你开始进行dump到dump结束之间所有的oplog

2.1.2常用备份操作

#备份所有库
./mongodump -h192.168.1.11:27017 -uroot -prootroot --authenticationDatabase admin -o /data/mongodb/backup/full_20190525
#备份test01库
./mongodump -h192.168.1.11:27017 -uroot -prootroot --authenticationDatabase admin -d test01 -o /data/mongodb/backup/20190525
#备份test01库下 testCollection集合
./mongodump -h192.168.1.11:27017 -uroot -prootroot --authenticationDatabase admin -d test01 -c testCollection -o /data/mongodb/backup/20190525

2.2 mongorestore
2.2.1 常用参数

--drop：  恢复每个集合之前先删除
--oplogReplay： 重放oplog.bson中的操作内容
--oplogLimit：  与--oplogReplay一起使用时，可以限制重放到的时间点

2.3 模拟不断插入操作过程中备份和恢复（恢复到单节点）
模拟不断插入集合test.table

use test1
for(var i = 0; i < 10000; i++) {
db.test.table.insert({a: i});
}

在插入过程中mongodump备份并指定--oplog:

./mongodump -vv -h127.0.0.1:27017 -uroot -prootroot --authenticationDatabase admin --oplog -o /data/mongodb/backup

恢复test1库（在一个单节点恢复）

./mongorestore -h127.0.0.1:27018  -d test1 /data/backup1/test1

查看插入了多少条

> db.test.table.count()
4029

应用插入期间记录的oplog
mongorestore -vv -h127.0.0.1:27018 --oplogReplay /data/backup1
查看应用了oplog后插入了多少条（说明这些是在备份期间插入的）

> db.test.table.count()
4044

注意：--oplog选项只对全库导出有效，所以不能指定-d选项

查看oplog.bson内容

./bsondump /data/mongodb/backup1/oplog.bson

3、mongoexport 与 mongoimport

3.1 mongoexport
参数：

-csv：指明要导出为csv格式
-f：指明需要导的字段

备份集合collection1

./mongoexport -h 192.168.1.12:27017 -uroot -prootroot --authenticationDatabase admin -d db01 -c collection1 -o /data/mongodb/backup1/collection1.json

导出的数据

{"_id":{"$oid":"5cf8c674bd10185cb185067f"},"name":"hushi","num":0.0}
...

导出为csv格式

./mongoexport -h 192.168.1.12:27017 -uroot -prootroot --authenticationDatabase admin -d db01 -c collection1 --type=csv -f _id,name,num  -o /data/mongodb/backup1/collection1.csv

导出的数据

_id,name,num
ObjectId(5cf8c674bd10185cb185067f),hushi,0
ObjectId(5cf8c674bd10185cb185068b),hushi,12
...

3.2 mongoimport
参数：

--headerline： 指明第一行是列名，不需要导入
-csv：指明要导入的是csv格式
-f：指明需要导入的字段

恢复之前备份的集合

mongoimport -h192.168.1.14:27018 -d test -c collection1 /data/collection1.json

恢复之前备份的集合

mongoimport -h 127.0.0.1:27018  -d test1 -c collection1 --type=csv --headerline --file /data/collection1.csv

4、Percona Server for MongoDB

4.1 热备原理
可以想象成xtrabackup工具

备份：

首先会启动一个后台检测的进程，实时检测MongoDB Oplog的变化，一旦发现oplog有新的日志写入，立刻将日志写入到日志文件WiredTiger.backup中（你可以strings WiredTiger.backup查看oplog操作日志的变化）；

复制MongoDB dbpath的数据文件和索引文件到指定的备份目录里；

恢复：

将WiredTiger.backup日志进行回放，将操作日志变更应用到WiredTiger引擎里，最终得到一致性快照恢复；把备份目录里的数据文件直接拷贝到你的dbpath下，然后启动MongoDB即可，会自动接入副本集集群。

4.2 下载安装
4.2.1 下载
热备由percon的mongodb版本实现，所以可以直接用percona版的mongodb，也可以将percona mongo当做一个副本集的二级节点。
https://www.percona.com/downloads/percona-server-mongodb-3.6/LATEST/
4.2.2 安装启动
因为是要加入副本集，所以修改配置文件并启动：

cp mongodb27017/mg27017.conf mongodb27018/mg27018.conf

cp ../mongodb27017/mongo.keyfile .
./mongod -f /data1/mongodb27018/mg27018.conf

4.2.3 加入副本集
percona 从节点：

在主节点上执行：

replSet27017:PRIMARY> rs.add({host: "192.168.1.12:27018", priority: 1, hidden: false})

percona 从变为：

>
replSet27017:OTHER>

执行slaveOk(),为进行过验证

replSet27017:OTHER> rs.slaveOk()
replSet27017:SECONDARY>

4.3 备份
从节点进行备份：

replSet27017:SECONDARY> use admin
switched to db admin
replSet27017:SECONDARY> db.runCommand({createBackup: 1, backupDir: "/backup/mongodb_20180704"})
{
    "ok" : 1,
...
开始备份后，立即开始往一个新集合里写数据：
replSet27017:PRIMARY> for (i = 0; i < 10000; i++){ db.test6.save({'name':'hushi','num':i,date:new Date()}); }

备份完成后的数据目录：
[root@vm4 /backup/mongodb_20180722]#ll -ht
total 240K

drwx------ 2 root root  221 Jul 22 14:43 test1
drwx------ 2 root root 4.0K Jul 22 14:43 test01
drwx------ 2 root root 4.0K Jul 22 14:43 test
drwx------ 2 root root 4.0K Jul 22 14:43 mms_test
drwx------ 2 root root 4.0K Jul 22 14:43 local
drwx------ 2 root root   38 Jul 22 14:43 journal
drwx------ 2 root root  301 Jul 22 14:43 db01
drwx------ 2 root root  216 Jul 22 14:43 config
drwx------ 2 root root 4.0K Jul 22 14:43 admin
-rw------- 1 root root  44K Jul 22 14:43 sizeStorer.wt
-rw------- 1 root root  114 Jul 22 14:43 storage.bson
-rw------- 1 root root  44K Jul 22 14:43 _mdb_catalog.wt
-rw------- 1 root root 123K Jul 22 14:43 WiredTiger.backup
-rw------- 1 root root   45 Jul 22 14:43 WiredTiger

4.4 恢复
恢复都单节点，所以去掉配置文件里面的副本集信息
传输
rsync -r /backup/mongodb_20180704 192.168.1.13:/backup/

将文件复制到配置文件目录下
cp -R /backup/mongodb_20180704/* /data1/mongodb27018

将keyFile和配置文件也复制过来（也可以直接去掉验证，将security相关的参数都注释）
修改配置文件后，启动
./mongod -f /data1/mongodb27018/mg27018.conf

发现最后一条数据的日期晚于开始备份日期，所以验证了恢复后会直接进行日志重放

5、MongoDB Cloud Manager

5.1 介绍
MongoDB Cloud Manager是官方推出的运维自动化管理系统，是企业版才支持的功能，社区用户也可以下载试用。
Cloud Manager 主要功能包括

• MongoDB 集群（复制集、分片）的自动化部署
• 集群监控、及报警定制
• 自动数据备份与还原

5.2 部署MongoDB Cloud Manager
5.2.1 下载agent和安装

curl -OL https://cloud.mongodb.com/download/agent/automation/mongodb-mms-automation-agent-10.2.0.5851-1.rhel7_x86_64.tar.gz
tar -xvf mongodb-mms-automation-agent-10.2.0.5851-1.rhel7_x86_64.tar.gz

cd mongodb-mms-automation-agent-10.2.0.5851-1.rhel7_x86_64

5.2.2 配置

vi local.config
    mmsGroupId=5d2f52fc9ccf64f3c73b2188
    mmsApiKey=          #生成ApiKey
mkdir /var/lib/mongodb-mms-automation   #创建目录，按照配置文件里的路径
mkdir /var/log/mongodb-mms-automation
chown `whoami` /var/lib/mongodb-mms-automation      #修改归属
chown `whoami` /var/log/mongodb-mms-automation

5.2.3 启动agent

nohup ./mongodb-mms-automation-agent --config=local.config >> /var/log/mongodb-mms-automation/automation-agent-fatal.log 2>&1 &

5.3 进行备份
5.3.1 备份原理

部署了agent后，会将整个副本集的数据同步到MongoDB的数据中心。初始同步完成后，agent会将加密和压缩的oplog数据流式传输到Cloud Manager，以提供数据的连续备份。

5.3.2 开始备份
点击start即可开始备份

可以看到oplog一直是延迟极小的

mongodb的备份，默认6小时一次。然后oplog一直备份，秒级延迟。

备份完成后的数据目录：
[root@vm4 /backup/replSet27017]#ll -ht
total 288K

drwxr-xr-x 2 root root  176 Jul 18 16:04 test1
drwxr-xr-x 2 root root 4.0K Jul 18 16:04 test01
drwxr-xr-x 2 root root 4.0K Jul 18 16:04 test
drwxr-xr-x 2 root root  172 Jul 18 16:04 mms_test
drwxr-xr-x 2 root root  299 Jul 18 16:04 db01
drwxr-xr-x 2 root root 4.0K Jul 18 16:04 admin
-rw-r--r-- 1 root root  114 Jul 18 16:04 storage.bson
-rw-r--r-- 1 root root  36K Jul 18 16:04 sizeStorer.wt
-rw-r--r-- 1 root root  40K Jul 18 16:04 _mdb_catalog.wt
-rw-r--r-- 1 root root  373 Jul 18 16:04 restoreInfo.txt
-rw-r--r-- 1 root root  755 Jul 18 16:04 seedSecondary.bat
-r-x---r-x 1 root root  768 Jul 18 16:04 seedSecondary.sh
-rw-r--r-- 1 root root 4.0K Jul 18 16:04 WiredTigerLAS.wt
-rw-r--r-- 1 root root 168K Jul 18 16:04 WiredTiger.wt
-rw-r--r-- 1 root root   45 Jul 18 16:04 WiredTiger
-rw-r--r-- 1 root root   21 Jul 18 16:04 WiredTiger.lock
-rw-r--r-- 1 root root 1.2K Jul 18 16:04 WiredTiger.turtle

下载到本地恢复，可以发现oplog应用点和快照点时间基本是一致的：

[root@vm4 /backup/replSet27017]#cat restoreInfo.txt 
Restore Information
Group Name: testProject1
Replica Set: replSet27017
Snapshot timestamp: Thu Jul 18 04:12:24 GMT 2019
Last Oplog Applied: Thu Jul 18 04:12:23 GMT 2019 (1563423143, 1)

可以发现没有local库和journal库，所以不能直接恢复加入到副本集里，更适合数据误删恢复。

5.4 进行恢复
5.4.1 恢复原理
备份后的文件，是物理文件，下载后的数据是备份结束时刻的数据（应用了备份期间oplog）
因为mongodb的备份，默认6小时一次。然后oplog一直备份，秒级延迟。所以恢复的时候有了任何时刻的oplog了。
恢复有三种选项：

• 恢复快照（也就是恢复到备份结束时刻）
• 恢复到oplog timestamp
• 恢复到point in time（也是转换成oplog timestamp）
  5.4.2 开始恢复

在线恢复只能恢复到一个新的副本集

只下载备份，就是备份结束时刻；选择oplog点，就是继续应用oplog
按照上图所示选择时间点，会生成一条对应的命令：

./mongodb-backup-restore-util --host --port  --rsId replSet27017 --groupId 5d2d88adf2a30bbee892ef0d --opStart 1563423143:1 --opEnd 1563430620:502 --oplogSourceAddr https://api-backup.us-east-1.mongodb.com --apiKey

是直接调用了mongodb官方的API，应用oplog。
mongodb-backup-restore-util 是官方提供的恢复工具。

选择point time：

./mongodb-backup-restore-util --host --port --rsId replSet27017 --groupId 5d2d88adf2a30bbee892ef0d --opStart 1563423143:1 --opEnd 1563429600:0 --oplogSourceAddr https://api-backup.us-east-1.mongodb.com --apiKey

发现生成的命令和选择oplog timestamp是一样的，只是把point time转换成oplog timestamp。

seedSecondary.sh文件：
因为mongodb cloud manager提供的全备恢复后没有local库，所以会自动生成一个创建oplog的文件。用于创建oplog，插入一条数据，指定副本集复制的点。

[root@vm4 /backup/replSet27017]#cat seedSecondary.sh 
#!/bin/sh
if [ "$#" -ne 4 ]; then
    echo "Usage: $0 MONGODB_PORT OPLOG_SIZE_GB RS_NAME PRIMARY_HOST:PRIMARY_PORT"
    exit 1
fi
mongo --port ${1} --eval "var res=db.getSiblingDB('local').runCommand({ create: 'oplog.rs', capped: true, size: (${2} * 1024 * 1024 * 1024)}); if(!res.ok){throw res.errmsg;} else{db.getSiblingDB('local').oplog.rs.insert({ts : Timestamp((db.version().match(/^2\.[012]/) ? 1000 : 1) * 1563423143, 1), h : NumberLong('8796150802864664169'), t : NumberLong('113'), op : 'n', ns : '', o : { msg : 'seed from backup service' }});if (db.getSiblingDB('local').system.replset.count({'_id': '${3}'}) == 0) { db.getSiblingDB('local').system.replset.insert({'_id' : '${3}','version' : 1,'members' : [{'_id' : 0,'host' :'${4}'}],'settings' : {}});}}"

二、备份恢复演练

1、还原到副本集

MongoDB运行了一段时间之后，为了新加一个节点，就需要先将备份数据恢复到一个单节点，再将单节点加入到副本集里，下面将演示使用percona server备份的数据进行还原。
1.1 得到全部物理备份

replSet27017:SECONDARY> db.runCommand({createBackup: 1, backupDir: "/backup/mongodb_20180722"})
开始备份后立即开始往新集合里写数据：
replSet27017:PRIMARY> for (i = 0; i < 10000; i++){ db.test5.save({'name':'hushi','num':i,date:new Date()}); }
WriteResult({ "nInserted" : 1 })

将备份传输到新的物理机：
rsync -r /backup/mongodb_20180722 192.168.1.14:/backup/

1.2 进行恢复
为了加入到副本集，所以启动的时候直接用配置文件启动，将mg27017.conf和mongo.keyfile复制到本地，再将数据文件复制到配置文件设置的目录下。
配置文件进行相应的修改，先将副本集相关的参数去掉
启动
./mongod -f /data1/mongodb27017/mg27017.conf
查看恢复之后最后一条非空的oplog

> db.oplog.rs.find({op:{$ne:'n'}}).sort({$natural:-1}).limit(1).pretty()
{
    "ts" : Timestamp(1563777601, 5),
    "t" : NumberLong(123),
    "h" : NumberLong("-6583634829168454121"),
    "v" : 2,
    "op" : "i",
    "ns" : "config.system.sessions",
    "ui" : UUID("10b4d6ac-37df-4586-8a2d-83a3389d7406"),
    "wall" : ISODate("2019-07-22T06:40:01.172Z"),
    "o" : {
        "_id" : {
            "id" : UUID("9805a821-9a88-43bf-a85d-9a0b63b98632"),
            "uid" : BinData(0,"Y5mrDaxi8gv8RmdTsQ+1j7fmkr7JUsabhNmXAheU0fg=")
        },
        "lastUse" : ISODate("2019-07-22T06:40:01.175Z"),
        "user" : {
            "name" : "root@admin"
        }
    }
}

发现是系统库的，所以直接查找对test5集合的操作：

> db.getSiblingDB('local').oplog.rs.find({op:{$ne:'n'},ns:'mms_test.test5'}).sort({$natural:-1}).limit(1).pretty()
{
    "ts" : Timestamp(1563777479, 674),
    "t" : NumberLong(123),
    "h" : NumberLong("6274301431493104273"),
    "v" : 2,
    "op" : "i",
    "ns" : "mms_test.test5",
    "ui" : UUID("3fd00235-24ea-447a-96c5-2d79071ad9df"),
    "wall" : ISODate("2019-07-22T06:37:59.619Z"),
    "o" : {
        "_id" : ObjectId("5d3559c7dde424d0301c3d21"),
        "name" : "hushi",
        "num" : 41015,
        "date" : ISODate("2019-07-22T06:37:59.623Z")
    }
}

1.3 增备备份
因为oplog的特性，多跑一些没有关系，所以上述是直接找到了对test5集合操作的oplog点，现在去找到最新的点。主要要保证上述点和最新的点之间的oplog必须存在。
先副本集里找到离现在较近的点：
replSet27017:SECONDARY> db.oplog.rs.find({op:{$ne:'n'}}).sort({$natural:-1}).limit(1).pretty()

{
    "ts" : Timestamp(1563780036, 337),
    "t" : NumberLong(123),
    "h" : NumberLong("-2687468098839248386"),
    "v" : 2,
    "op" : "i",
    "ns" : "admin.test10",
    "ui" : UUID("083637d7-6209-4d28-9b4d-529ba26e836c"),
    "wall" : ISODate("2019-07-22T07:20:36.370Z"),
    "o" : {
        "_id" : ObjectId("5d3563c4fc6d8027c7545934"),
        "name" : "hushi",
        "num" : 41881,
        "date" : ISODate("2019-07-22T07:20:36.373Z")
    }

按照上述的oplog点进行dump：

./mongodump -vv -h192.168.1.11:27017 -uroot -prootroot --authenticationDatabase admin  -d local -c oplog.rs  -o /backup --query='{ts:{$gte:Timestamp(1563777479, 674),$lt:Timestamp(1563780036, 337)}}'
2019-07-22T15:42:40.338+0800    done dumping local.oplog.rs (52140 documents)
2019-07-22T15:42:40.342+0800    dump phase III: the oplog
2019-07-22T15:42:40.342+0800    finishing dump

1.4 将增量进行恢复
mv /backup/local/oplog.rs.bson
rsync /backup/local/oplog.bson 192.168.1.14:/backup/local/
恢复的时候报错：

Failed: restore error: error applying oplog: applyOps: not authorized on admin to execute command { applyOps: [ { ts: Timestamp(1563777601, 1), h: 2702590434054582905, v: 2, op: "d", ns: "config.system.sessions", o: { _id: { id: UUID("9f7a5b0b-a1e1-407a-b9dd-7506a3220d9e"), uid: BinData(0, 6399AB0DAC62F20BFC466753B10FB58FB7E692BEC952C69B84D997021794D1F8) } }, o2: {} } ], $db: "admin" }

解决方法（在admin数据库中执行）：

db.createRole({role:'sysadmin',roles:[], privileges:[ {resource:{anyResource:true},actions:['anyAction']}]})
db.grantRolesToUser( "root" , [ { role: "sysadmin", db: "admin" } ]) 

进行恢复

#./mongorestore -vv -h127.0.0.1:27017 -uroot -prootroot --authenticationDatabase admin --oplogReplay /backup/local/
2019-07-22T16:11:03.901+0800    oplog  7.71MB
2019-07-22T16:11:06.401+0800    applied 51899 ops
2019-07-22T16:11:06.401+0800    oplog  9.13MB
2019-07-22T16:11:06.401+0800    done

数据已经进行了恢复：

switched to db admin
> db.test10.find().sort({$natural:-1}).limit(1).pretty()
{
    "_id" : ObjectId("5d3563c4fc6d8027c7545933"),
    "name" : "hushi",
    "num" : 41880,
    "date" : ISODate("2019-07-22T07:20:36.373Z")
}

如果将单节点以一个新的单节点副本集去启动，那就需要删除掉所有的oplog，再重新启动。那就是跟直接将节点加入副本集是一样的。

> db.getSiblingDB('local').oplog.rs.find({op:{$ne:'n'}}).sort({$natural:-1}).limit(1).pretty()
{
    "ts" : Timestamp(1563777601, 5),
    "t" : NumberLong(123),
    "h" : NumberLong("-6583634829168454121"),
    "v" : 2,
    "op" : "i",
    "ns" : "config.system.sessions",
    "ui" : UUID("10b4d6ac-37df-4586-8a2d-83a3389d7406"),
    "wall" : ISODate("2019-07-22T06:40:01.172Z"),
    "o" : {
        "_id" : {
            "id" : UUID("9805a821-9a88-43bf-a85d-9a0b63b98632"),
            "uid" : BinData(0,"Y5mrDaxi8gv8RmdTsQ+1j7fmkr7JUsabhNmXAheU0fg=")
        },
        "lastUse" : ISODate("2019-07-22T06:40:01.175Z"),
        "user" : {
            "name" : "root@admin"
        }
    }
}

如果将单节点以一个新的单节点副本集去启动，那就需要删除掉所有的oplog，再重新启动。那就是跟直接将节点加入副本集是一样的。

1.5 加入到副本集

replSet27017:PRIMARY> rs.add({host: "192.168.1.14:27017", priority: 1, hidden: false})
{
    "ok" : 1,

加入之后，oplog记录也一样了：

replSet27017:SECONDARY> db.getSiblingDB('local').oplog.rs.find({op:{$ne:'n'},ts:{$lte:Timestamp(1563780036, 337)}}).sort({$natural:-1}).limit(1).pretty()
{
    "ts" : Timestamp(1563780036, 337),
    "t" : NumberLong(123),
    "h" : NumberLong("-2687468098839248386"),
    "v" : 2,
    "op" : "i",
    "ns" : "admin.test10",
    "ui" : UUID("083637d7-6209-4d28-9b4d-529ba26e836c"),
    "wall" : ISODate("2019-07-22T07:20:36.370Z"),
    "o" : {
        "_id" : ObjectId("5d3563c4fc6d8027c7545934"),
        "name" : "hushi",
        "num" : 41881,
        "date" : ISODate("2019-07-22T07:20:36.373Z")
    }
}

2、恢复误删的单个集合

插入数据
for (i = 0; i < 10000; i++){ db.collection1.save({'name':'hushi','num':i}); }
collection1集合备份
./mongodump -vv -h192.168.1.11:27017 -uroot -prootroot --authenticationDatabase admin -d db01 -c collection1  -o /data/mongodb/backup
再次插入数据（进行一些操作）
for (i = 0; i < 1000; i++){ db.collection1.save({'name':'hushi','num':i,date:new Date()}); }
误删
db.collection1.drop()
查找删除

db.oplog.rs.find({op:{$ne:'n'},o:{'drop':'collection1'}}).sort({ts:-1}).pretty().limit(5)
{
    "ts" : Timestamp(1559803854, 1),
    "t" : NumberLong(44),
    "h" : NumberLong("-514875429754097077"),
    "v" : 2,
    "op" : "c",
    "ns" : "db01.$cmd",
    "ui" : UUID("b8fe3553-8249-4f18-b652-5bba86760d43"),
    "wall" : ISODate("2019-06-06T06:50:54.406Z"),
    "o" : {
        "drop" : "collection1"
    }
}

备份oplog

./mongodump -vv -h192.168.1.11:27017 -uroot -prootroot --authenticationDatabase admin -d local -c oplog.rs -o /tmp

restore的时候需要是oplog.bson
mv /tmp/local/oplog.rs.bson /data/mongodb/backup/oplog.bson

恢复collection1
./mongorestore -v -h127.0.0.1:27018  -d db01 -c collection1 /data/backup1/db01/collection1.bson
查看已经恢复前1w插入记录

db.collection1.count()

10000

应用oplog
mongorestore -vv  -h127.0.0.1:27018  --oplogReplay  --oplogLimit=1559803854:1  /data/backup1/
再次查看插入记录

db.collection1.count()

11000

3、恢复误删的文档

文档误删除

replSet27017:PRIMARY> for (i = 0; i < 1000; i++){ db.test4.save({'name':'hushi','num':i,date:new Date()}); }

replSet27017:PRIMARY> db.test4.remove({$and:[{num:{$gte:100,$lte:300}}]})
WriteResult({ "nRemoved" : 201 })

replSet27017:PRIMARY> for (i = 1000; i < 1500; i++){ db.test4.save({'name':'hushi','num':i,date:new Date()}); }
WriteResult({ "nInserted" : 1 })

找到删除开始时间点

replSet27017:PRIMARY> db.getSiblingDB('local').oplog.rs.find({op:{$ne:'n'},ns:'mms_test.test4'},{ts:1,op:1}).sort({$natural:-1}).limit(10).skip(695)
{ "ts" : Timestamp(1563431039, 6), "op" : "d" }
{ "ts" : Timestamp(1563431039, 5), "op" : "d" }
{ "ts" : Timestamp(1563431039, 4), "op" : "d" }
{ "ts" : Timestamp(1563431039, 3), "op" : "d" }
{ "ts" : Timestamp(1563431039, 2), "op" : "d" }
{ "ts" : Timestamp(1563431039, 1), "op" : "d" }
{ "ts" : Timestamp(1563430620, 502), "op" : "i" }
{ "ts" : Timestamp(1563430620, 501), "op" : "i" }
{ "ts" : Timestamp(1563430620, 500), "op" : "i" }
{ "ts" : Timestamp(1563430620, 499), "op" : "i" }

大于等于这个时间点，删除了201条数据

replSet27017:PRIMARY> db.getSiblingDB('local').oplog.rs.find({op:{$ne:'n'},ns:'mms_test.test4',op:'d',ts:{$gte:Timestamp(1563431039, 1)}}).sort({$natural:-1}).limit(1).count()
201

replSet27017:PRIMARY> db.getSiblingDB('local').oplog.rs.find({op:{$ne:'n'},ns:'mms_test.test4',op:'d',ts:{$gte:Timestamp(1563431039, 1)}}).sort({$natural:-1}).limit(1).pretty()
{
    "ts" : Timestamp(1563431039, 201),
    "t" : NumberLong(113),
    "h" : NumberLong("-1345379834581505732"),
    "v" : 2,
    "op" : "d",
    "ns" : "mms_test.test4",
    "ui" : UUID("9a3dbae7-4f7c-465d-b420-1b7818531fc8"),
    "wall" : ISODate("2019-07-18T06:23:59.997Z"),
    "o" : {
        "_id" : ObjectId("5d300edb42389abced5f7bae")
    }
}
replSet27017:PRIMARY> db.getSiblingDB('local').oplog.rs.find({op:{$ne:'n'},ns:'mms_test.test4',op:'d',ts:{$gte:Timestamp(1563431039, 1)}}).sort({$natural:1}).limit(1).pretty()
{
    "ts" : Timestamp(1563431039, 1),
    "t" : NumberLong(113),
    "h" : NumberLong("-4777761962883174315"),
    "v" : 2,
    "op" : "d",
    "ns" : "mms_test.test4",
    "ui" : UUID("9a3dbae7-4f7c-465d-b420-1b7818531fc8"),
    "wall" : ISODate("2019-07-18T06:23:59.997Z"),
    "o" : {
        "_id" : ObjectId("5d300edb42389abced5f7ae6")
    }
}

这里最后试用了一下ongodb-backup-restore-util，如果使用mongorestore是一样的，但是需要先将oplog按照时间点进行dump下来，再去进行恢复。

#./mongodb-backup-restore-util --host 127.0.0.1 --port 27017  --rsId replSet27017 --groupId 5d2d88adf2a30bbee892ef0d --opStart 1563423143:1 --opEnd 1563430620:502   --oplogSourceAddr https://api-backup.us-east-1.mongodb.com --apiKey 5d2f0fbbff7a252987d03c00086f7a1040706ba4c6c634b8f4c09b9e
[2019/07/18 19:13:55.843] [pit-restore.debug] [pit-restore/standalone-pit-restore.go:main:116] Creating restore
[2019/07/18 19:14:05.406] [pit-restore.debug] [pit-restore/standalone-pit-restore.go:main:137] Successfully completed restore.
[2019/07/18 19:14:05.406] [pit-restore.debug] [pit-restore/standalone-pit-restore.go:main:138] Successfully completed restore.
[2019/07/18 19:14:05.406] [pit-restore.info] [restore/restore.go:Stop:121] Stopping Restore

已经进行了恢复

db.test4.find({$and:[{num:{$gte:100,$lte:300}}]}).count()

201

三、备份恢复方案

1、备份策略

1.1 MongoDB Cloud Manager的备份策略：
The rate is based on your having 28 snapshots at steady state:

The six-hour snapshots are kept for two days;
The daily snapshots for one week,
The weekly snapshots for one month,
The monthly for one year.

这是官方提供的全备和全备保留的时间点。
oplog是一直备份，秒级延迟。

1.2 全备 + oplog
顺着这个思路，全备可以和增备分开，全备照需要，每6个小时或者每一天备份一次。然后oplog每秒或者每5秒或者每1分钟进行一次备份。
全备可以使用percona server进行物理热备，oplog可以按照设定的时间间隔一直备份。
再可以按将一些重要的文档使用mysqldump进行备份，这样万一有误操作可以快速恢复。

2、增备oplog

2.1 进行增备

#./mongodump -vv -h192.168.1.11:27017 -uroot -prootroot --authenticationDatabase admin  -d local -c oplog.rs  -o /backup --query='{ts:{$gte:Timestamp(1563703200, 1),$lt:Timestamp(1563703500, 1)}}'

这里是增备了5分钟的oplog内容
将增备oplog改名：
mv oplog.rs.bson oplog.bson.backup

./mongodump -vv -h192.168.1.11:27017 -uroot -prootroot --authenticationDatabase admin  -d local -c oplog.rs  -o /backup --query='{ts:{$gte:Timestamp(1563771600, 1),$lt:Timestamp(1563775200, 1)}}'

再次增备，将增备的oplog合到一个bson文件里
cat oplog.rs.bson >>oplog.bson.backup

接下来继续增备，继续将增备都追加到一个文件里。
可以将每一天的增备放到一个文件里。

3、验证备份

进行了备份之后肯定要进行相关的验证，验证分为两块，一个是备份文件恢复后完整性验证，一个是oplog增备是否成功验证。
一个思路是每天将全备的文件和增备的文件恢复到一个单节点。
3.1 验证全备
全备建议使用物理热备，如果使用的是percona server，那么可以WiredTiger.backup文件的最后一条插入记录在恢复的节点上是否存在；如果没有插入记录，或者WiredTiger.backup文件没有内容，可以简单比较一下副本集的集合数据和恢复后的节点是否相同。同样如果使用的是mongodb cloud manager这样的不记录oplog的工具，也是比较一下集合数量。
3.2 验证增备
验证增备可以查看bson文件里最后一条插入的数据是什么，查看恢复后的文件是否有这条数据。