MONGODB大数据运维管理

本文涉及的产品
云数据库 MongoDB,通用型 2核4GB
简介:

数据库管理

    备份MONGODB服务器

    执行mongodump    //默认使用本地连接127及端口连接本地数据库

    数据库恢复到备份之前的状态:

    mongorestore --drop

    ##--drop选项告诉mongorestore工具,在恢复集合之前先丢弃现有的数据,如果不使用该选项,被恢复的数据将被追加到每个集合的尾部,导致数据的重复   

    备份单个数据库

    mongodump -d  database_name  -c  post ##备份指定库下集合

    --help

    恢复单个数据库

    mongorestore -d blog --drop

    恢复单个集合

    mongorestore -d blog -c posts --drop


备份大数据库

    数据库备份系统有一个必杀技,就是时间点快照,它的速度非常快,快照完成的速度越快,数据库服务器需要被冻结的时间就越短

    在MONGODB中创建隐藏辅助服务器是非常简单的,并且可以使用MONGODB的复制机制来保证他与主服务器一直

    1使用日志文件系统创建快照

    2使用隐藏的辅助服务器备份数据

    

    

    MONGODB上执行fysnc和lock,可以保证磁盘上数据库的镜像处于一致状态,并保证在完成快照之前他们仍然保持一致状态

    use admin

    db.fsyncLock()    //进入fsync和lock状态

    查看当前锁的状态

    use admin 

    db.currentOp()

    释放锁

    db.fsyncUnlock()     //锁释放之前可能有短暂的延迟

    数据导入mongoDB使用mongoimport

    mongoimport 工具可加载3种文件格式的数据

    1、CSV:此种文件格式,每行代表一个文档,字段之间由逗号分隔

    2、TSV:该文件类似CSV,它使用TAB作为分隔符

    3、JSON:该文件格式每行都办好一块JSON,代表一个文档,与其他格式不同,JSON可以支持可变模式的文档

    mongoimport --help

MONGODB支持简单的基于角色的身份验证系统,通过系统可以控制用户对数据库的访问以及他们被授予的访问级别

    添加admin

    use admin

    db.createUser({

    user:"admin",

    pwd:"root123",

    roles:[{

    role:"readWrite",

    db:"admin"},

    {role:"userAdminAnyDatabase",db:"admin"}

    ]

    })

    db.auth("admin","root123")

    db.getllsers() //用户权限相关信息

    db.serverStatus()


验证和修复数据

    修复服务器

    使用repair命令是一个代价高昂的操作,会消耗很长世间,并且要求使用两倍于MONGODB数据文件大小,因为所有的数据都被克隆岛新的文件并重建,本质上是对所有数据文件的重建

    mongod --dbpath /data/db  --repair

    在大型数据修复过程中,可以指定一个大的空间的驱动器,用于保存修复过程中创建的临时文件

    mongod -f /etc/mongodb.conf --repair --repairpath /tmp/bigdata/

    

    通过validata选项可以验证数据库中集合的内容是否存在问题

    use dblog

    db.posts.ensureIndex({Author:1})

    db.posts.validate()

    

    修复集合的索引

    db.posts.reIndex()   //在线修复会柱塞对系统的访问

    修复集合的数据文件

    use blog

    db.repairDatabase()  //不适合在线运行,因为它会重建数据文件时会组赛对数据的所有请求,修复过程中所有读写请求都被阻塞


MONGODB的优化

    启用和禁用MONGODB分析器

    use blog

    db.setProfilingLevel(1)  //0关闭

    db.setProfilingLevel(1,500)   //启动毫秒级别

    db.setProfilingLevel(2)   //所有查询启动分析器

    查找慢查询

    db.system.profile.find()

    

    增加分析器集合的大小

    1、关闭分析器

    use blog

    db.setProfilingLevel(0)

    2、删除system.profile集合

    db.system.profile.drop()

    3、创建新的集合分析器

    db.createCollection("system.profile",{capped:true,size:50*1024*1024})

    4、重新启用分析器

    db.setProfilingLevel(2)

    使用explain()分析特定的查询

    use blog 

    db.posts.find().explain(true)



本文转自 DBAspace 51CTO博客,原文链接:http://blog.51cto.com/dbaspace/2049819

相关实践学习
MongoDB数据库入门
MongoDB数据库入门实验。
快速掌握 MongoDB 数据库
本课程主要讲解MongoDB数据库的基本知识,包括MongoDB数据库的安装、配置、服务的启动、数据的CRUD操作函数使用、MongoDB索引的使用(唯一索引、地理索引、过期索引、全文索引等)、MapReduce操作实现、用户管理、Java对MongoDB的操作支持(基于2.x驱动与3.x驱动的完全讲解)。 通过学习此课程,读者将具备MongoDB数据库的开发能力,并且能够使用MongoDB进行项目开发。   相关的阿里云产品:云数据库 MongoDB版 云数据库MongoDB版支持ReplicaSet和Sharding两种部署架构,具备安全审计,时间点备份等多项企业能力。在互联网、物联网、游戏、金融等领域被广泛采用。 云数据库MongoDB版(ApsaraDB for MongoDB)完全兼容MongoDB协议,基于飞天分布式系统和高可靠存储引擎,提供多节点高可用架构、弹性扩容、容灾、备份回滚、性能优化等解决方案。 产品详情: https://www.aliyun.com/product/mongodb
相关文章
|
1月前
|
监控 NoSQL 大数据
【MongoDB】Replica 频繁插入大数据的问题
【4月更文挑战第2天】【MongoDB】Replica 频繁插入大数据的问题
|
8月前
|
存储 NoSQL 分布式数据库
Hbase+ES和MongoDB存储大数据的选用
Hbase+ES和MongoDB存储大数据的选用
237 0
|
3天前
|
存储 NoSQL 大数据
【MongoDB 专栏】MongoDB 在大数据场景下的应用
【5月更文挑战第11天】MongoDB,适用于大数据时代,以其灵活数据模型、高可扩展性和快速性能在大数据场景中脱颖而出。它处理海量、多类型数据,支持高并发,并在数据分析、日志处理、内容管理和物联网应用中广泛应用。电商和互联网公司的案例展示了其在扩展性和业务适应性上的优势,但同时也面临数据一致性、资源管理、数据安全和性能优化的挑战。
【MongoDB 专栏】MongoDB 在大数据场景下的应用
|
2月前
|
NoSQL atlas MongoDB
|
10月前
|
存储 人工智能 NoSQL
MongoDB推出五项MongoDB Atlas新功能,帮助企业使用单一开发者数据平台构建新应用程序类别
Beamable、Pureinsights、Anywhere Real Estate及Hootsuite等客户和合作伙伴,正使用MongoDB Atlas新功能构建下一代应用程序
MongoDB推出五项MongoDB Atlas新功能,帮助企业使用单一开发者数据平台构建新应用程序类别
|
11月前
|
存储 JSON NoSQL
大数据数据存储的数据库的非关系型数据库之MongoDB
当今互联网时代,数据的处理和管理已成为各行各业必不可少的一部分。尤其是在大数据领域,数据存储更是至关重要。传统关系型数据库在某些场景下并不能完全满足需求,这时非关系型数据库就应运而生。其中MongoDB作为一个非常受欢迎的非关系型数据库,备受大家关注。本文将介绍MongoDB的概念、特点以及使用方法。
93 0
|
NoSQL 大数据 MongoDB
|
NoSQL 大数据 MongoDB
|
1月前
|
存储 NoSQL MongoDB
MongoDB如何创建数据库
MongoDB如何创建数据库
|
4天前
|
存储 NoSQL 关系型数据库
【MongoDB 专栏】MongoDB 与传统关系型数据库的比较
【5月更文挑战第10天】本文对比了MongoDB与传统关系型数据库在数据模型、存储结构、扩展性、性能、事务支持、数据一致性和适用场景等方面的差异。MongoDB以其灵活的文档模型、优秀的扩展性和高性能在处理非结构化数据和高并发场景中脱颖而出,而关系型数据库则在事务处理和强一致性上更具优势。两者各有适用场景,选择应根据实际需求来定。随着技术发展,两者正相互融合,共同构建更丰富的数据库生态。
【MongoDB 专栏】MongoDB 与传统关系型数据库的比较

热门文章

最新文章