MONGODB大数据运维管理

本文涉及的产品
云数据库 MongoDB,独享型 2核8GB
推荐场景:
构建全方位客户视图
云原生大数据计算服务MaxCompute,500CU*H 100GB 3个月
云原生大数据计算服务 MaxCompute,5000CU*H 100GB 3个月
简介:

数据库管理

    备份MONGODB服务器

    执行mongodump    //默认使用本地连接127及端口连接本地数据库

    数据库恢复到备份之前的状态:

    mongorestore --drop

    ##--drop选项告诉mongorestore工具,在恢复集合之前先丢弃现有的数据,如果不使用该选项,被恢复的数据将被追加到每个集合的尾部,导致数据的重复   

    备份单个数据库

    mongodump -d  database_name  -c  post ##备份指定库下集合

    --help

    恢复单个数据库

    mongorestore -d blog --drop

    恢复单个集合

    mongorestore -d blog -c posts --drop


备份大数据库

    数据库备份系统有一个必杀技,就是时间点快照,它的速度非常快,快照完成的速度越快,数据库服务器需要被冻结的时间就越短

    在MONGODB中创建隐藏辅助服务器是非常简单的,并且可以使用MONGODB的复制机制来保证他与主服务器一直

    1使用日志文件系统创建快照

    2使用隐藏的辅助服务器备份数据

    

    

    MONGODB上执行fysnc和lock,可以保证磁盘上数据库的镜像处于一致状态,并保证在完成快照之前他们仍然保持一致状态

    use admin

    db.fsyncLock()    //进入fsync和lock状态

    查看当前锁的状态

    use admin 

    db.currentOp()

    释放锁

    db.fsyncUnlock()     //锁释放之前可能有短暂的延迟

    数据导入mongoDB使用mongoimport

    mongoimport 工具可加载3种文件格式的数据

    1、CSV:此种文件格式,每行代表一个文档,字段之间由逗号分隔

    2、TSV:该文件类似CSV,它使用TAB作为分隔符

    3、JSON:该文件格式每行都办好一块JSON,代表一个文档,与其他格式不同,JSON可以支持可变模式的文档

    mongoimport --help

MONGODB支持简单的基于角色的身份验证系统,通过系统可以控制用户对数据库的访问以及他们被授予的访问级别

    添加admin

    use admin

    db.createUser({

    user:"admin",

    pwd:"root123",

    roles:[{

    role:"readWrite",

    db:"admin"},

    {role:"userAdminAnyDatabase",db:"admin"}

    ]

    })

    db.auth("admin","root123")

    db.getllsers() //用户权限相关信息

    db.serverStatus()


验证和修复数据

    修复服务器

    使用repair命令是一个代价高昂的操作,会消耗很长世间,并且要求使用两倍于MONGODB数据文件大小,因为所有的数据都被克隆岛新的文件并重建,本质上是对所有数据文件的重建

    mongod --dbpath /data/db  --repair

    在大型数据修复过程中,可以指定一个大的空间的驱动器,用于保存修复过程中创建的临时文件

    mongod -f /etc/mongodb.conf --repair --repairpath /tmp/bigdata/

    

    通过validata选项可以验证数据库中集合的内容是否存在问题

    use dblog

    db.posts.ensureIndex({Author:1})

    db.posts.validate()

    

    修复集合的索引

    db.posts.reIndex()   //在线修复会柱塞对系统的访问

    修复集合的数据文件

    use blog

    db.repairDatabase()  //不适合在线运行,因为它会重建数据文件时会组赛对数据的所有请求,修复过程中所有读写请求都被阻塞


MONGODB的优化

    启用和禁用MONGODB分析器

    use blog

    db.setProfilingLevel(1)  //0关闭

    db.setProfilingLevel(1,500)   //启动毫秒级别

    db.setProfilingLevel(2)   //所有查询启动分析器

    查找慢查询

    db.system.profile.find()

    

    增加分析器集合的大小

    1、关闭分析器

    use blog

    db.setProfilingLevel(0)

    2、删除system.profile集合

    db.system.profile.drop()

    3、创建新的集合分析器

    db.createCollection("system.profile",{capped:true,size:50*1024*1024})

    4、重新启用分析器

    db.setProfilingLevel(2)

    使用explain()分析特定的查询

    use blog 

    db.posts.find().explain(true)



本文转自 DBAspace 51CTO博客,原文链接:http://blog.51cto.com/dbaspace/2049819

相关实践学习
MongoDB数据库入门
MongoDB数据库入门实验。
快速掌握 MongoDB 数据库
本课程主要讲解MongoDB数据库的基本知识,包括MongoDB数据库的安装、配置、服务的启动、数据的CRUD操作函数使用、MongoDB索引的使用(唯一索引、地理索引、过期索引、全文索引等)、MapReduce操作实现、用户管理、Java对MongoDB的操作支持(基于2.x驱动与3.x驱动的完全讲解)。 通过学习此课程,读者将具备MongoDB数据库的开发能力,并且能够使用MongoDB进行项目开发。   相关的阿里云产品:云数据库 MongoDB版 云数据库MongoDB版支持ReplicaSet和Sharding两种部署架构,具备安全审计,时间点备份等多项企业能力。在互联网、物联网、游戏、金融等领域被广泛采用。 云数据库MongoDB版(ApsaraDB for MongoDB)完全兼容MongoDB协议,基于飞天分布式系统和高可靠存储引擎,提供多节点高可用架构、弹性扩容、容灾、备份回滚、性能优化等解决方案。 产品详情: https://www.aliyun.com/product/mongodb
相关文章
|
10天前
|
运维 自然语言处理 算法
云栖实录 | 大模型在大数据智能运维的应用实践
云栖实录 | 大模型在大数据智能运维的应用实践
|
3月前
|
机器学习/深度学习 人工智能 运维
智能化运维:AI与大数据在IT运维中的应用探索####
本文旨在探讨人工智能(AI)与大数据分析技术如何革新传统IT运维模式,提升运维效率与服务质量。通过具体案例分析,揭示AI算法在故障预测、异常检测及自动化修复等方面的实际应用成效,同时阐述大数据如何助力实现精准运维管理,降低运营成本,提升用户体验。文章还将简要讨论实施智能化运维面临的挑战与未来发展趋势,为IT管理者提供决策参考。 ####
|
7月前
|
运维 算法 数据可视化
【2021 高校大数据挑战赛-智能运维中的异常检测与趋势预测】2 方案设计与实现-Python
文章详细介绍了参加2021高校大数据挑战赛中智能运维异常检测与趋势预测任务的方案设计与Python实现,包括问题一的异常点和异常周期检测、问题二的异常预测多变量分类问题,以及问题三的多变量KPI指标预测问题的算法过程描述和代码实现。
99 0
|
5月前
|
机器学习/深度学习 人工智能 运维
智能运维:大数据与AI的融合之道###
【10月更文挑战第20天】 运维领域正经历一场静悄悄的变革,大数据与人工智能的深度融合正重塑着传统的运维模式。本文探讨了智能运维如何借助大数据分析和机器学习算法,实现从被动响应到主动预防的转变,提升系统稳定性和效率的同时,降低了运维成本。通过实例解析,揭示智能运维在现代IT架构中的核心价值,为读者提供一份关于未来运维趋势的深刻洞察。 ###
213 10
|
8月前
|
数据采集 运维 Cloud Native
Flink+Paimon在阿里云大数据云原生运维数仓的实践
构建实时云原生运维数仓以提升大数据集群的运维能力,采用 Flink+Paimon 方案,解决资源审计、拓扑及趋势分析需求。
18572 54
Flink+Paimon在阿里云大数据云原生运维数仓的实践
|
7月前
|
C# UED 开发者
WPF与性能优化:掌握这些核心技巧,让你的应用从卡顿到丝滑,彻底告别延迟,实现响应速度质的飞跃——从布局到动画全面剖析与实例演示
【8月更文挑战第31天】本文通过对比优化前后的方法,详细探讨了提升WPF应用响应速度的策略。文章首先分析了常见的性能瓶颈,如复杂的XAML布局、耗时的事件处理、不当的数据绑定及繁重的动画效果。接着,通过具体示例展示了如何简化XAML结构、使用后台线程处理事件、调整数据绑定设置以及利用DirectX优化动画,从而有效提升应用性能。通过这些优化措施,WPF应用将更加流畅,用户体验也将得到显著改善。
541 1
|
7月前
|
监控 NoSQL 大数据
【MongoDB复制集瓶颈】高频大数据写入引发的灾难,如何破局?
【8月更文挑战第24天】在MongoDB复制集中,主节点处理所有写请求,从节点通过复制保持数据一致性。但在大量高频数据插入场景中,会出现数据延迟增加、系统资源过度消耗、复制队列积压及从节点性能不足等问题,影响集群性能与稳定性。本文分析这些问题,并提出包括优化写入操作、调整写入关注级别、采用分片技术、提升从节点性能以及持续监控调优在内的解决方案,以确保MongoDB复制集高效稳定运行。
170 2
|
7月前
|
存储 运维 Cloud Native
"Flink+Paimon:阿里云大数据云原生运维数仓的创新实践,引领实时数据处理新纪元"
【8月更文挑战第2天】Flink+Paimon在阿里云大数据云原生运维数仓的实践
330 3
|
7月前
|
机器学习/深度学习 运维 算法
【2021 高校大数据挑战赛-智能运维中的异常检测与趋势预测】1 赛后总结与分析
对2021高校大数据挑战赛中智能运维异常检测与趋势预测赛题的赛后总结与分析,涉及赛题解析、不足与改进,并提供了异常检测、异常预测和趋势预测的方法和模型选择的讨论。
169 0
【2021 高校大数据挑战赛-智能运维中的异常检测与趋势预测】1 赛后总结与分析
|
8月前
|
分布式计算 运维 DataWorks
MaxCompute操作报错合集之用户已在DataWorks项目中,并有项目的开发和运维权限,下载数据时遇到报错,该如何解决
MaxCompute是阿里云提供的大规模离线数据处理服务,用于大数据分析、挖掘和报表生成等场景。在使用MaxCompute进行数据处理时,可能会遇到各种操作报错。以下是一些常见的MaxCompute操作报错及其可能的原因与解决措施的合集。
110 8