CentOS6上mongodb连接数无法突破1000的解决办法

本文涉及的产品
云数据库 MongoDB,独享型 2核8GB
推荐场景:
构建全方位客户视图
简介:

问题描述:

生产环境发现CPU满负荷运行,MongoDB的连接数始终突破不了1000。


解决方案:

1、查看mongodb的日志,报下面的错误:

1
2
Wed Nov 21 15:26:09 [initandlisten] pthread_create failed: errno:11 Resource temporarily unavailable   
Wed Nov 21 15:26:09 [initandlisten] can't create new thread, closing connection

2、在一台一样的centos5的机器上测试,发现连接2000个连接一点问题都没有。   
3、上google查找问题,关键字“mongod.conf can’t create new thread, closing connection”    
4、找到问题所在,原来centos6与之前centos5不同,多了一个默认的限制用户nproc的配置文件 :/etc/security/limits.d/90-nproc.conf ,默认把普通用户的nproc设置成1024,而mongodb正好又是使用mongod这个非root用户跑的,所以连接数一直上不去了。    
5、更改/etc/security/limits.d/90-nproc.conf ,把1024改成20480 ,问题解决。

1
2
3
4
5
[root@ test  ~] # cat /etc/security/limits.d/90-nproc.conf    
# Default limit for number of user's processes to prevent    
# accidental fork bombs.    
# See rhbz #432903 for reasoning.
*          soft    nproc     20480


打开文件句柄数和最大用户进程数限制:

在Linux下面部署应用的时候,有时候会遇上Socket/File: Can’t open so many files的问题;这个值也会影响服务器的最大并发数,其实Linux是有文件句柄限制的,而且Linux默认不是很高,一般都是1024,生产服务器用其实很容易就达到这个数量。下面说的是,如何通过正解配置来改正这个系统默认值。

  
查看方法

我们可以用ulimit -a来查看所有限制值   

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
[root@ test  ~] # ulimit -a    
core  file  size          (blocks, -c) 0    
data seg size           (kbytes, -d) unlimited    
scheduling priority             (-e) 0    
file  size               (blocks, -f) unlimited    
pending signals                 (-i) 256469    
max locked memory       (kbytes, -l) 64    
max memory size         (kbytes, -m) unlimited    
open  files                      (-n) 64000    
pipe size            (512 bytes, -p) 8    
POSIX message queues     (bytes, -q) 819200    
real- time  priority              (-r) 0    
stack size              (kbytes, -s) 10240    
cpu  time                (seconds, -t) unlimited    
max user processes              (-u) 65536    
virtual memory          (kbytes, - v ) unlimited    
file  locks                      (-x) unlimited

其中 "open files (-n)"是Linux操作系统对一个进程打开的文件句柄数量的限制,默认是1024。   
(也包含打开的SOCKET数量,可影响数据库的并发连接数目)。


正确的做法,应该是修改/etc/security/limits.conf   
里面有很详细的注释,比如    
hadoop  soft   nofile   32768    
hadoop hard nofile 65536

hadoop soft   nproc   32768   
hadoop hard nproc 65536

   
就可以将文件句柄限制统一改成软32768,硬65536。配置文件最前面的是指domain,设置为星号代表全局,另外你也可以针对不同的用户做出不同的限制。


注意:这个当中的硬限制是实际的限制,而软限制,是warnning限制,只会做出warning;其实ulimit命令本身就有分软硬设置,加-H就是硬,加-S就是软

  
默认显示的是软限制,如果运行ulimit命令修改的时候没有加上的话,就是两个参数一起改变。

RHE6及以后 nproc的修改在/etc/security/limits.d/90-nproc.conf中


如何修改连接数限制:

临时修改(当前shell下更改用户可打开进程数):   

1
# ulimit -u xxx


永久修改, 保险的做法是同时修改/etc/security/limits.d/90-nproc.conf 和 /etc/security/limits.conf如下:


limits_conf = /etc/security/limits.conf:  
*   soft   nproc    s1    
*   hard   nproc    h1


nproc_conf = /etc/security/limits.d/90-nproc.conf:   
*   soft    nproc    s2    
*   hard    nproc    h2


s1,h1,s2,h2必须是具体有意义的数. 此时ulimit -u显示的值为=min(h1,h2)

因此通常就设置s1=s2=h1=h2, 例如在limits_conf和nproc_conf中同时加入:   
*   soft   nproc   65536    
*   hard   nproc   65536


















本文转自UltraSQL51CTO博客,原文链接:http://blog.51cto.com/ultrasql/1723251 ,如需转载请自行联系原作者



相关实践学习
MongoDB数据库入门
MongoDB数据库入门实验。
快速掌握 MongoDB 数据库
本课程主要讲解MongoDB数据库的基本知识,包括MongoDB数据库的安装、配置、服务的启动、数据的CRUD操作函数使用、MongoDB索引的使用(唯一索引、地理索引、过期索引、全文索引等)、MapReduce操作实现、用户管理、Java对MongoDB的操作支持(基于2.x驱动与3.x驱动的完全讲解)。 通过学习此课程,读者将具备MongoDB数据库的开发能力,并且能够使用MongoDB进行项目开发。   相关的阿里云产品:云数据库 MongoDB版 云数据库MongoDB版支持ReplicaSet和Sharding两种部署架构,具备安全审计,时间点备份等多项企业能力。在互联网、物联网、游戏、金融等领域被广泛采用。 云数据库MongoDB版(ApsaraDB for MongoDB)完全兼容MongoDB协议,基于飞天分布式系统和高可靠存储引擎,提供多节点高可用架构、弹性扩容、容灾、备份回滚、性能优化等解决方案。 产品详情: https://www.aliyun.com/product/mongodb
相关文章
|
12天前
|
安全 网络安全
gbase8a centos8(kylinv10)加载报登录 ftp失败报错530 Login incorrect 排查过程及解决办法
centos8(kylinv10)加载报登录 ftp失败报错530 Login incorrect 排查过程及解决办法
|
6月前
|
Oracle 关系型数据库 MySQL
centos6安装mariadb失败及解决办法
centos6安装mariadb失败及解决办法
224 4
|
4月前
|
网络协议 Linux
CentOS7 yum安装报错“Could not resolve host: mirrorlist.centos.org;"之解决办法(换源)
CentOS7 yum安装报错“Could not resolve host: mirrorlist.centos.org; Name or service not known“之解决办法(换源)
|
5月前
|
NoSQL Linux MongoDB
Centos7安装MongoDB
Centos7安装MongoDB
552 0
|
7月前
|
NoSQL Linux 网络安全
【专栏】在 RHEL 8 或者 CentOS 8 上顺利安装并运行MongoDB,以处理非结构化数据和扩展技术栈
【4月更文挑战第28天】本文档介绍了如何在RHEL或CentOS 8上安装MongoDB,包括环境准备(系统更新、依赖安装、硬件需求和sudo用户)、导入MongoDB GPG公钥、创建Yum仓库、安装MongoDB社区版,以及后续的基本配置和验证(启动服务、防火墙设置和连接验证)。通过这些步骤,用户可以顺利安装并运行MongoDB,以处理非结构化数据和扩展技术栈。
283 1
|
7月前
|
存储 NoSQL Linux
CentOS7安装MongoDB
CentOS7安装MongoDB
141 0
|
7月前
centos6.0下Error:Connectionactivationfailed:DevicenotmanagedbyNetworkManager解决办法
centos6.0下Error:Connectionactivationfailed:DevicenotmanagedbyNetworkManager解决办法
187 0
|
7月前
|
NoSQL 应用服务中间件 Linux
CentOS7搭建MySQL+Redis+MongoDB+FastDF
CentOS7搭建MySQL+Redis+MongoDB+FastDF
198 0
|
7月前
|
NoSQL Linux MongoDB
centos7搭建MongoDB以及MongoDB复制集
centos7搭建MongoDB以及MongoDB复制集
155 0
|
7月前
|
NoSQL 安全 Linux
百度搜索:蓝易云【CentOS7安装MongoDB教程】
这些是在CentOS 7上安装MongoDB的基本步骤。根据您的需求和具体环境,可能还需要进行其他配置和调整。请确保在进行任何与网络连接和安全相关的操作之前,详细了解您的网络环境和安全需求,并采取适当的安全措施。
181 0