mongodb的内存总结

本文涉及的产品
云数据库 MongoDB,独享型 2核8GB
推荐场景:
构建全方位客户视图
简介:

纯手打,只是总结了通过多种方式查看mongodb的内存使用情况,并没能提出有效的减少mongodb的内存的方法。


都说mongodb吃内存比较厉害,确实很厉害,我的数据级别到达了 4千万,数据量大概是140G,几天下来的话,130G的内存盘,到了60%,没有找到很好的办法前,每次都是重启mongodb,新手,我也不太清楚这个数据量是处于一个怎样的位置,有怎样的优良的解决办法,知道的麻烦告知一下,跪谢。


为啥这么吃内存呢,mongodb使用的是内存映射存储引擎,即Memory Mapped Storage Engine,简称MMAP,MMAP可以把磁盘文件的一部分或全部内容直接映射到内存,这样文件中的信息位置就会在内存中有对应的地址空间,把磁盘IO操作转换成内存操作,

但坏处是你没有方法很方便的控制MongoDB占多大内存,事实上MongoDB会占用所有能用的内存,所以最好不要把别的服务和MongoDB放一起。之所以会有这个总结,就是因为曾经将web服务与mongodb放在一起,导致负载间歇性的剧增,web服务直接被服务器自动重启了,当然这是后话。


如果想知道mongodb的内存使用情况,可以有一些几个操作:

  1. top

wKiom1bMIF6ibvzZAAA12zDMeao710.png

shift+m,如果不出意外的话,mongodb应该居于首位了,

VIRT:虚拟内存

RES:实际使用内存

%MEM:内存使用比

刚重启过,内存占用还不算多



2.mongostat

wKioL1bMIyuzQCyFAABI-UKDuKs771.png

mapped:映射到内存的数据大小,

vsize:虚拟内存,是mapped的2倍

res: 实际使用的内存,如果res经常突然下降,去查查是否有别的程序狂吃内存

conn:当前的连接数

这里的vsize,res与top的一致,conn如果一直都很高的话,也是有问题的,lockedb如果很高的话(经常超过),说明有问题很大了,曾经因为很多python脚本规定时间跑不完,导致连接一个接着一个,最终lockdb到了50% 


3.db.stats()

wKioL1bMKNWhWlp4AAAiC6o21ms338.png

db:当前数据库

collections:当前数据多少张表

objects:当前数据库所有表多少条数据

dataSize:所有数据的总大小

storageSize:所有数据占的磁盘大小

indexes:索引数

indexSize:索引大小

fileSize:预分配给数据库的文件大小


其实这个并不能说显示内存的什么情况,只能说能显示整个数据库的一个状态status



4.db.serverStatus()

wKioL1bMK1KTkGGqAABEE5vuWf8819.png



这个命令在单独的个别db中,并不能显示出任何结果,需要在admin 这个db中才有效,测试可以看到很多信息显示,如connections,current为当前的连接,available为可用的连接

我们常用的话,不会显示这么多的信息,一般需要什么就显示什么。如内存使用情况


5.db.serverStatus().mem

wKioL1bMLIeSuykvAAAPMe1ELvc677.png

virtual:虚拟内存的大小

mapped:映射到内存的数据大小


这里虚拟内存是mapped的两倍,是因为我们开启了Journal日志,需要在内存中多映射一次,大概就是它的两倍了。如果关闭Journal日志,虚拟内存大小将和mapped大小相当


我常用的大概就是top和mongostat,每次看到内存比较大的时候,采用的办法就是重启服务,但是这并不能解决问题,只是暂缓问题,有解决办法的麻烦告知一声,跪谢。





      本文转自布拉君君 51CTO博客,原文链接http://blog.51cto.com/5148737/1744408:,如需转载请自行联系原作者



相关实践学习
MongoDB数据库入门
MongoDB数据库入门实验。
快速掌握 MongoDB 数据库
本课程主要讲解MongoDB数据库的基本知识,包括MongoDB数据库的安装、配置、服务的启动、数据的CRUD操作函数使用、MongoDB索引的使用(唯一索引、地理索引、过期索引、全文索引等)、MapReduce操作实现、用户管理、Java对MongoDB的操作支持(基于2.x驱动与3.x驱动的完全讲解)。 通过学习此课程,读者将具备MongoDB数据库的开发能力,并且能够使用MongoDB进行项目开发。   相关的阿里云产品:云数据库 MongoDB版 云数据库MongoDB版支持ReplicaSet和Sharding两种部署架构,具备安全审计,时间点备份等多项企业能力。在互联网、物联网、游戏、金融等领域被广泛采用。 云数据库MongoDB版(ApsaraDB for MongoDB)完全兼容MongoDB协议,基于飞天分布式系统和高可靠存储引擎,提供多节点高可用架构、弹性扩容、容灾、备份回滚、性能优化等解决方案。 产品详情: https://www.aliyun.com/product/mongodb
相关文章
|
3月前
|
NoSQL MongoDB
MongoDB 内存占用过大
MongoDB 内存占用过大
40 0
|
6月前
|
缓存 监控 NoSQL
【MongoDB 专栏】MongoDB 的内存管理与优化
【5月更文挑战第11天】MongoDB的内存管理优化对性能至关重要,涉及数据缓存、索引及执行操作的内存使用。动态内存管理根据访问模式和负载调整,可通过配置参数优化,如设置合适缓存大小,调整内存分配参数。索引管理也很重要,需定期评估优化,避免内存占用过高。监控内存使用、数据清理压缩、架构规划也是优化手段。面对挑战,如高并发下的内存不足,需灵活调整策略,平衡系统资源。不断学习新方法,提升内存管理能力,以优化MongoDB性能。
311 2
【MongoDB 专栏】MongoDB 的内存管理与优化
|
存储 NoSQL 数据建模
MongoDB性能系列最佳实践-数据建模与内存优化
帮助用户在多个关键方面实现规模化性能优化
MongoDB性能系列最佳实践-数据建模与内存优化
|
存储 NoSQL MongoDB
【mongo 系列】mongodb 学习十三,内存引擎及配置
上次我们分享到了 wiredTiger 引擎以及他对于以前默认的 MMAPV1 引擎的优势 关于 wiredTiger 引擎 配置这里补充一下
326 0
|
存储 SQL NoSQL
MongoDB必备知识点全面总结(四)
MongoDB必备知识点全面总结
260 0
MongoDB必备知识点全面总结(四)
|
存储 JSON NoSQL
MongoDB必备知识点全面总结(三)
MongoDB必备知识点全面总结
308 0
MongoDB必备知识点全面总结(三)
|
存储 NoSQL JavaScript
MongoDB必备知识点全面总结(二)
MongoDB必备知识点全面总结
353 0
MongoDB必备知识点全面总结(二)
|
存储 JSON NoSQL
MongoDB必备知识点全面总结(一)
MongoDB必备知识点全面总结
661 0
MongoDB必备知识点全面总结(一)
|
存储 JSON NoSQL
为什么 MongoDB 索引选择B-树,而 Mysql 索引选择B+树(精干总结)
本文献给准备面试或者是还在面试的你。常见面试题,送分题目,不拿白不拿。
496 0
为什么 MongoDB 索引选择B-树,而 Mysql 索引选择B+树(精干总结)
|
缓存 NoSQL MongoDB
MongoDB占用内存过大频繁宕机
MongoDB占用内存过大频繁宕机
520 0