linux 内存分配参数导致的 buffer_pool 分配不出来的案例排查

本文涉及的产品
云数据库 RDS MySQL,集群系列 2核4GB
推荐场景:
搭建个人博客
RDS MySQL Serverless 基础系列,0.5-2RCU 50GB
RDS MySQL Serverless 高可用系列,价值2615元额度,1个月
简介:

原文地址:http://www.cnblogs.com/gomysql/p/6130405.html

后期参考:http://blog.csdn.net/jollyjumper/article/details/24127009


一台约128G内存的服务器,跑了1个MySQL,设置96G的bufferpool,但提示分配失败。后来发现是内核参数问题。如下:


vm.overcommit_memory

默认值为:0

cat /proc/sys/vm/overcommit_memory

从内核文档里得知,该参数有三个值,分别是:

0:当用户空间请求更多的的内存时,内核尝试估算出剩余可用的内存。【默认值】

1:当设这个参数值为1时,内核允许超量使用内存直到用完为止,主要用于科学计算.

2:当设这个参数值为2时,内核会使用一个决不过量使用内存的算法,即系统整个内存地址空间不能超过swap+50%的RAM值,50%参数的设定是在overcommit_ratio中设定。


具体的描述:

取值为0,系统在为应用进程分配虚拟地址空间时,会判断当前申请的虚拟地址空间大小是否超过剩余内存大小,如果超过,则虚拟地址空间分配失败。因此,也就是如果进程本身占用的虚拟地址空间比较大或者剩余内存比较小时,fork、malloc等调用可能会失败。

取值为1,系统在为应用进程分配虚拟地址空间时,完全不进行限制,这种情况下,避免了fork可能产生的失败,但由于malloc是先分配虚拟地址空间,而后通过异常陷入内核分配真正的物理内存,在内存不足的情况下,这相当于完全屏蔽了应用进程对系统内存状态的感知,即malloc总是能成功,一旦内存不足,会引起系统OOM杀进程,应用程序对于这种后果是无法预测的

取值为2,则是根据系统内存状态确定了虚拟地址空间的上限,由于很多情况下,进程的虚拟地址空间占用远大小其实际占用的物理内存,这样一旦内存使用量上去以后,对于一些动态产生的进程(需要复制父进程地址空间)则很容易创建失败,如果业务过程没有过多的这种动态申请内存或者创建子进程,则影响不大,否则会产生比较大的影响


vm.overcommit_ratio

默认值为:50 【 cat /proc/sys/vm/overcommit_ratio 】

这个参数值只有在vm.overcommit_memory=2的情况下,这个参数才会生效,用于虚拟内存的物理内存的百分比,数据库建议改成10。





那么我们来看一下总的内存地址不能超过多少。其实是可以直接查看的。

[root@yayundeng 3306]# cat /proc/meminfo |grep -i commit

CommitLimit:    70144396 kB  最大可用虚拟内存【就是说mysql的buffer_pool 最大差不多能分配这么多kB的内存空间】

Committed_AS:     135196 kB  已使用虚拟内存

通过查看可以得知在70G的样子。那么这个是如何计算的呢。



具体的70GB的计算方法如下:

最大可分配的虚拟内存(CommitLimit) = 总物理内存(MemTotal) × 百分比(vm.overcommit_ratio) + 交换分区大小(Swap)


对于我们上面这个环境来说,就是下面这个样子:

[root@yayundeng 3306]# cat /proc/meminfo | grep MemTotal

MemTotal:       132096808 kB  总物理内存大约125GB 


[root@yayundeng 3306]# free -k

             total       used       free     shared    buffers     cached

Mem:     132096808    1583944  130512864          0      10240     133220

-/+ buffers/cache:    1440484  130656324

Swap:      4095992          0    4095992


[root@yayundeng 3306]# cat /proc/sys/vm/overcommit_ratio 

50


最大可分配的虚拟内存 = 132096808*50% + 4095992 = 70144396 kB 差不多在70GB ,稳妥的话,设置60GB的buffer_pool即可。


文中作者后来也说了,这台服务器之前跑的是其他服务,设置了vm.overcommit_memory=2,后来作为MySQL服务器使用时候,没有重装系统,直接拿来使用的。因此这种情况下,最好还是重装个干净的系统为好。











本文转自 lirulei90 51CTO博客,原文链接:http://blog.51cto.com/lee90/1977195,如需转载请自行联系原作者
相关实践学习
如何在云端创建MySQL数据库
开始实验后,系统会自动创建一台自建MySQL的 源数据库 ECS 实例和一台 目标数据库 RDS。
全面了解阿里云能为你做什么
阿里云在全球各地部署高效节能的绿色数据中心,利用清洁计算为万物互联的新世界提供源源不断的能源动力,目前开服的区域包括中国(华北、华东、华南、香港)、新加坡、美国(美东、美西)、欧洲、中东、澳大利亚、日本。目前阿里云的产品涵盖弹性计算、数据库、存储与CDN、分析与搜索、云通信、网络、管理与监控、应用服务、互联网中间件、移动服务、视频服务等。通过本课程,来了解阿里云能够为你的业务带来哪些帮助     相关的阿里云产品:云服务器ECS 云服务器 ECS(Elastic Compute Service)是一种弹性可伸缩的计算服务,助您降低 IT 成本,提升运维效率,使您更专注于核心业务创新。产品详情: https://www.aliyun.com/product/ecs
目录
相关文章
|
14天前
|
算法 Linux 开发者
深入探究Linux内核中的内存管理机制
本文旨在对Linux操作系统的内存管理机制进行深入分析,探讨其如何通过高效的内存分配和回收策略来优化系统性能。文章将详细介绍Linux内核中内存管理的关键技术点,包括物理内存与虚拟内存的映射、页面置换算法、以及内存碎片的处理方法等。通过对这些技术点的解析,本文旨在为读者提供一个清晰的Linux内存管理框架,帮助理解其在现代计算环境中的重要性和应用。
|
1月前
|
缓存 算法 Java
JVM知识体系学习六:JVM垃圾是什么、GC常用垃圾清除算法、堆内存逻辑分区、栈上分配、对象何时进入老年代、有关老年代新生代的两个问题、常见的垃圾回收器、CMS
这篇文章详细介绍了Java虚拟机(JVM)中的垃圾回收机制,包括垃圾的定义、垃圾回收算法、堆内存的逻辑分区、对象的内存分配和回收过程,以及不同垃圾回收器的工作原理和参数设置。
65 4
JVM知识体系学习六:JVM垃圾是什么、GC常用垃圾清除算法、堆内存逻辑分区、栈上分配、对象何时进入老年代、有关老年代新生代的两个问题、常见的垃圾回收器、CMS
|
19天前
|
存储 缓存 监控
|
1月前
|
算法 Linux
Linux中内存问题
【10月更文挑战第6天】
41 2
|
1月前
|
存储 Java
JVM知识体系学习四:排序规范(happens-before原则)、对象创建过程、对象的内存中存储布局、对象的大小、对象头内容、对象如何定位、对象如何分配
这篇文章详细地介绍了Java对象的创建过程、内存布局、对象头的MarkWord、对象的定位方式以及对象的分配策略,并深入探讨了happens-before原则以确保多线程环境下的正确同步。
53 0
JVM知识体系学习四:排序规范(happens-before原则)、对象创建过程、对象的内存中存储布局、对象的大小、对象头内容、对象如何定位、对象如何分配
|
17天前
|
缓存 算法 Linux
Linux内核中的内存管理机制深度剖析####
【10月更文挑战第28天】 本文深入探讨了Linux操作系统的心脏——内核,聚焦其内存管理机制的奥秘。不同于传统摘要的概述方式,本文将以一次虚拟的内存分配请求为引子,逐步揭开Linux如何高效、安全地管理着从微小嵌入式设备到庞大数据中心数以千计程序的内存需求。通过这段旅程,读者将直观感受到Linux内存管理的精妙设计与强大能力,以及它是如何在复杂多变的环境中保持系统稳定与性能优化的。 ####
24 0
|
1月前
|
存储 缓存 固态存储
|
6月前
|
缓存 监控 Linux
linux 内存监控
linux 内存监控
57 1
|
监控 Linux
linux性能监控:内存监控命令之free命令
linux性能监控:内存监控命令之free命令
239 1
linux性能监控:内存监控命令之free命令
|
存储 监控 Shell
Linux 性能监控之CPU&内存&I/O监控Shell脚本2
Linux 性能监控之CPU&内存&I/O监控Shell脚本2
515 0