MySQL 被ulimit 所困

本文涉及的产品
云数据库 RDS SQL Server,独享型 2核4GB
云数据库 RDS MySQL Serverless,0.5-2RCU 50GB
简介:

开始:晚上十点被报警惊醒(幸好还没睡觉),报警内容:xxxxxxxxxxxxx“MySQL IS Down”;MySQL 没有任何预兆的就死啦。

勘察现场:->查看下MySQL进程---存在

->系统load,cpu,io 均很正常

->(个人觉得zabbix 不会误报)

->登录MySQL提示:ERROR 1135 (HY000): Can’t create a new thread (errno 11)

->perror 11 显示:

OS error code 11: Resource temporarily unavailable

->第一反应是 文件句柄不够用,查看文件句柄使用情况:

lsof -n | awk '{print $2}' | sort | uniq -c | grep 'pid of mysql'

-------一切正常;

ulimit -a 

显示所有的结果:

max process 为 1024;--基本可以肯定问题就出在这里,某个程序发起了过多的连接,现在可以考虑坐下限制(简单粗暴的方法是 设置ulimit -u 102400,然后再重启MySQL--):

----> 查看3306 连接数:

1
netstat  -ano |  grep  ip:3306 |  awk  '{print $5}'  awk  -F  ':'  '{print $1}'  sort  uniq  -c

可以考虑使用iptables 限制最大连接数来处理:

1
iptables -A INPUT -p tcp -m tcp --dport 3306 --tcp-flags FIN,SYN,RST,ACK SYN -m connlimit --connlimit-above 200 --connlimit-mask 32 -j REJECT --reject-with tcp-reset


每个ip并发连接不超过200个

明天可以让程序查代码啦!


故障反思:

其中漏掉的一点是:查看系统限制:/etc/security/limits.conf 中 

max process = 65535

但ulimit -a 的时候显示的是 1024

1
su  mysql  bash  -c   "ulimit -a"

这不科学的:

后经过google 大神的指点:参考http://dbahacker.com/linux/redhat5-%E5%92%8Credhat6-root%E7%94%A8%E6%88%B7%E4%B8%8D%E5%90%8C%E7%9A%84ulimits

发现在centos 6.x中,添加了一个新的文件:/etc/security/limits.d/90-nproc.conf ,只有 noproc是已这个文件为准;

总结为:在centos5里面,只要在/etc/security/limits.conf 设置好久可以啦,在Centos6里面除了上面提到的limits.conf 配置文件,还要设置好/etc/security/limits.d/90-nproc.conf

方法二:找到一个可以不重启MySQL就可以在线修改noproc的方式!

Linux 2.6.32开始可以使用echo -n "Max processes=204800:204800" > /proc/`pidof mysqld`/limits 来动态修改进程的系统资源limits信息,不用再因为修改这个而去重启实例,亲测可用!

关于更多ulimit 的实例,可以参考@淘宝褚霸的文章:

http://blog.yufeng.info/archives/2311

http://blog.yufeng.info/archives/2568






本文转自 位鹏飞 51CTO博客,原文链接:http://blog.51cto.com/weipengfei/1301858,如需转载请自行联系原作者
相关实践学习
基于CentOS快速搭建LAMP环境
本教程介绍如何搭建LAMP环境,其中LAMP分别代表Linux、Apache、MySQL和PHP。
全面了解阿里云能为你做什么
阿里云在全球各地部署高效节能的绿色数据中心,利用清洁计算为万物互联的新世界提供源源不断的能源动力,目前开服的区域包括中国(华北、华东、华南、香港)、新加坡、美国(美东、美西)、欧洲、中东、澳大利亚、日本。目前阿里云的产品涵盖弹性计算、数据库、存储与CDN、分析与搜索、云通信、网络、管理与监控、应用服务、互联网中间件、移动服务、视频服务等。通过本课程,来了解阿里云能够为你的业务带来哪些帮助     相关的阿里云产品:云服务器ECS 云服务器 ECS(Elastic Compute Service)是一种弹性可伸缩的计算服务,助您降低 IT 成本,提升运维效率,使您更专注于核心业务创新。产品详情: https://www.aliyun.com/product/ecs
目录
相关文章
|
3月前
|
SQL 关系型数据库 MySQL
MySQL NULL 值处理
MySQL NULL 值处理
|
3月前
|
存储 关系型数据库 MySQL
ES和mysql的区别
ES和mysql的区别
|
7月前
|
SQL 关系型数据库 MySQL
MySQL默认值(DEFAULT)
MySQL默认值(DEFAULT)
110 0
|
SQL 监控 关系型数据库
Metricbeat:mysql module之query metricset介绍
Elastic官网对于mysql query metricset介绍很少,也没有介绍其用法,但是在基于ELK实现mysql性能监控中,query metricset又是明显支持的指标集。本着探索学习精神,通过查阅了不少资料后,今天我们就针对query metricset来详细介绍。
113 0
|
存储 JSON 关系型数据库
解密MySQL 8.0 multi-valued indexes
解密MySQL 8.0 multi-valued indexes
108 0
|
SQL 关系型数据库 MySQL
MySQL - IS NOT NULL 和 != NULL 的区别?
MySQL - IS NOT NULL 和 != NULL 的区别?
465 0
|
SQL 存储 Oracle
为什么 MySQL 不推荐默认值为 null ?
通常能听到的答案是使用了NULL值的列将会使索引失效,但是如果实际测试过一下,你就知道IS NULL会使用索引,所以上述说法有漏洞。
|
关系型数据库 MySQL SQL