mongodb数据备份脚本和日志切割脚本

本文涉及的产品
云数据库 MongoDB,独享型 2核8GB
推荐场景:
构建全方位客户视图
日志服务 SLS,月写入数据量 50GB 1个月
简介:

mongodb数据备份脚本和日志切割脚本

1.登陆mongo
mongo --port=27018

2.创建管理用户:

db.createUser(
...  {
...  user: "root",
...    pwd: "Zytest2233",
...     roles: [ { role: "root", db: "admin" } ]
...  }
...  )

3.开启认证:

[root@cacti scripts]# cat /usr/local/mongodb/mongod.cnf 
logpath=/data/mongodb/logs/mongodb.log
logappend = true
#fork and run in background
fork = true
port = 27018
dbpath=/data/mongodb/data
#location of pidfile
pidfilepath=/data/mongodb/mongod.pid
auth = true
#keyFile = /tmp/mongo-keyfile
#nohttpinterface=true
#replSet=shard1

4.mongodb日志按天切割
mongodb日志默认写在一个文件,时间久了文件太大,用cron计划任务+脚本 可以实现按日期存放log

[root@cacti scripts]# cat /data/scripts/rotatelog.sh

#!/bin/bash
#mongodb client  use admin
cd /usr/local/mongodb/bin
MongoDB='./mongo 127.0.0.1:27018'
$MongoDB <<EOF
use admin
db.auth("root","Zytest2233")
db.runCommand( { logRotate : 1 } )
exit;
EOF

再用 crontab -e 打开加入如下内容,并保存:
59 23 * * * /bin/sh /data/scripts/rotatelog.sh

[root@cacti scripts]# ll /data/mongodb/logs/
total 76

-rw-r--r--. 1 root root   982 Feb  2 15:27 mongodb.log
-rw-r--r--. 1 root root 53353 Feb  2 15:14 mongodb.log.2018-02-02T07-18-39
-rw-r--r--. 1 root root  6163 Feb  2 15:21 mongodb.log.2018-02-02T07-22-02
-rw-r--r--. 1 root root  1849 Feb  2 15:27 mongodb.log.2018-02-02T07-27-02

5.mongodb数据库备份:
指定多个数据库来进行备份脚本:
脚本1:
[root@localhost ~]# cat /data/backup/mongobackup/test.sh

mongo 127.0.0.1:27018/admin -u root -p Zytest2233  << EOF
show dbs
exit;
EOF

脚本2:
[root@localhost ~]# cat mongoback.sh

#/bin/bash
source /etc/profile
user="root"
pass="Zytest2233"
port="28018"
Cmd="/usr/local/mongodb/bin/mongodump"
Bakdir=/data/backup/mongobackup
dbs="$(/bin/sh /data/backup/mongobackup/test.sh|sed '1,2d'|grep -v "local"|awk '{ print $1 }'|xargs -n4)"
Dump="$Cmd -uroot -p$pass --port=$port -d"
for n in $dbs
do
$Dump $n -o $Bakdir 
done
 本文转自 wjw555 51CTO博客,原文链接:http://blog.51cto.com/wujianwei/2068233
相关实践学习
MongoDB数据库入门
MongoDB数据库入门实验。
快速掌握 MongoDB 数据库
本课程主要讲解MongoDB数据库的基本知识,包括MongoDB数据库的安装、配置、服务的启动、数据的CRUD操作函数使用、MongoDB索引的使用(唯一索引、地理索引、过期索引、全文索引等)、MapReduce操作实现、用户管理、Java对MongoDB的操作支持(基于2.x驱动与3.x驱动的完全讲解)。 通过学习此课程,读者将具备MongoDB数据库的开发能力,并且能够使用MongoDB进行项目开发。 &nbsp; 相关的阿里云产品:云数据库 MongoDB版 云数据库MongoDB版支持ReplicaSet和Sharding两种部署架构,具备安全审计,时间点备份等多项企业能力。在互联网、物联网、游戏、金融等领域被广泛采用。 云数据库MongoDB版(ApsaraDB for MongoDB)完全兼容MongoDB协议,基于飞天分布式系统和高可靠存储引擎,提供多节点高可用架构、弹性扩容、容灾、备份回滚、性能优化等解决方案。 产品详情: https://www.aliyun.com/product/mongodb
相关文章
|
4月前
|
Java Shell
「sh脚步模版自取」测试线排查的三个脚本:启动、停止、重启、日志保存
「sh脚步模版自取」测试线排查的三个脚本:启动、停止、重启、日志保存
61 1
|
2月前
|
存储 NoSQL 安全
【赵渝强老师】MongoDB的Journal日志
MongoDB通过Journal日志保证数据安全,记录检查点后的更新,确保数据库从异常中恢复到有效状态。每个Journal文件100M,存于--dbpath指定的journal子目录。默认已启用Journal日志,可通过--journal参数手动启用。WiredTiger存储引擎使用128KB内存缓冲区,异常关机时可能丢失最多128KB的数据。视频讲解和详细步骤参见附录。
69 17
|
3月前
|
监控 数据挖掘 数据安全/隐私保护
Python脚本:自动化下载视频的日志记录
Python脚本:自动化下载视频的日志记录
|
5月前
|
缓存 监控 算法
分析慢日志文件来优化 PHP 脚本的性能
分析慢日志文件来优化 PHP 脚本的性能
|
6月前
|
存储 NoSQL JavaScript
MongoDB存储过程实战:聚合框架、脚本、最佳实践,一文全掌握!
【8月更文挑战第24天】MongoDB是一款备受欢迎的文档型NoSQL数据库,以灵活的数据模型和强大功能著称。尽管其存储过程支持不如传统关系型数据库,本文深入探讨了MongoDB在此方面的最佳实践。包括利用聚合框架处理复杂业务逻辑、封装业务逻辑提高复用性、运用JavaScript脚本实现类似存储过程的功能以及考虑集成其他工具提升数据处理能力。通过示例代码展示如何创建订单处理集合并定义验证规则,虽未直接实现存储过程,但有效地演示了如何借助JavaScript脚本处理业务逻辑,为开发者提供更多实用指导。
113 2
|
6月前
|
存储 NoSQL MongoDB
今日分享MongoDB一键部署脚本
今日分享MongoDB一键部署脚本
53 0
|
6月前
|
Java Shell Linux
【Linux入门技巧】新员工必看:用Shell脚本轻松解析应用服务日志
关于如何使用Shell脚本来解析Linux系统中的应用服务日志,提供了脚本实现的详细步骤和技巧,以及一些Shell编程的技能扩展。
101 0
【Linux入门技巧】新员工必看:用Shell脚本轻松解析应用服务日志
|
6月前
|
运维 监控 Ubuntu
一键启动日志魔法:揭秘ELK自动安装脚本的神秘面纱!
【8月更文挑战第9天】在数据驱动时代,高效处理日志至关重要。ELK Stack(Elasticsearch、Logstash、Kibana)是强大的日志分析工具,但其复杂的安装配置常让初学者望而却步。本文介绍如何编写ELK自动安装脚本,简化部署流程。脚本适用于Ubuntu系统,自动完成ELK下载、安装及基本配置,包括依赖项安装、服务启动及自启设置,极大降低了使用门槛,助力运维人员和开发者轻松构建日志分析平台。
197 6
|
6月前
|
运维 监控 数据可视化
自动化运维:使用Python脚本进行日志分析
【8月更文挑战第31天】当系统出现问题时,我们通常会查看日志寻找线索。然而,手动阅读大量日志既费时又易出错。本文将介绍如何使用Python脚本自动分析日志,快速定位问题,提高运维效率。我们将从简单的日志读取开始,逐步深入到复杂的正则表达式匹配和错误统计,最后实现一个自动化的日志监控系统。无论你是新手还是老手,这篇文章都将为你提供有价值的参考。让我们一起探索如何用代码解放双手,让运维工作变得更加轻松吧!
|
7月前
|
Shell 测试技术 Linux
Shell 脚本循环遍历日志文件中的值进行求和并计算平均值,最大值和最小值
Shell 脚本循环遍历日志文件中的值进行求和并计算平均值,最大值和最小值
94 3