JDB2导致磁盘io使用率高

简介:

前几天碰到jbd2进程占用大量的磁盘io,用iotop查看到的情况大致如下:

系统版本:CentOS6.5-64bit

JDB2导致磁盘io使用率高

JDB2导致磁盘io使用率高       经查为ext4文件系统的一个bug:

JDB2导致磁盘io使用率高

先给出解决方案,处理此问题的优先级为:

1、yum update kernel 用yum升级系统内核,重启之后查看是否有效;

2、缓解方法:修改commit值,降低文件系统提交次数或者禁用barrier特性;

建议文件系统参数为:defaults,noatime,nodiratime,barrier=0,data=writeback,commit=60

(可以通过修改fstab表或者remount重新挂载)

3、慎用方法:关闭文件系统日志功能 tune2fs -O "^has_journal" 例如: tune2fs -O "^has_journal" /dev/mapper/VolGroup-lv_home

-----------------------------------------------------------------------

通过查资料,整理相关信息,解释如下;

1、jbd的全拼是journaling block driver 文件系统的日志功能,jbd2是ext4文件系统版本;可以肯定的是对文件系统的操作太频繁,导致IO压力过大。

常用的文件系统使用日志功能来保证文件系统的完整性,在写入新的数据到磁盘之前,会先将元数据写入日志;这样做可以保证在写入真实数据前后,一旦发生错误,

日志功能将很容易回滚到之前的状态,确保不会发生文件系统崩溃的情况;

2、而现在的磁盘上一般都配有内部缓存,以便重新调整批量数据的写入顺序,优化写入性能,因此文件系统必须在日志数据写入磁盘之后才能写commit(commit=xx 每xx秒同步所有的数据和元数据。默认是每5秒)记录;若commit记录写入在先,而日志有可能损坏,就会影响数据完整性;EXT4文件系统默认启用barrier功能,只有当barrier之前的数据全部写入磁盘,才能写barrier之后的数据;barrier的存在保证了数据完整性;

3、使用barrier特性的不利之处在于,需要付出降低性能的代价;可以通过挂载项 mount -o barrier=0来禁用此特性;

可通过查看/proc/mounts里的barrier值 为1代表启用

4、文件的写和请求会导致其中一个int型的值不断增大,最后超出了自身范围---变成负值,就会触发该bug;

具体原理参考下链接:

http://blog.donghao.org/2013/03/20/%E4%BF%AE%E5%A4%8Dext4%E6%97%A5%E5%BF%97%EF%BC%88jbd2%EF%BC%89bug/

5、所以我们可以通过降低文件系统的提交次数来缓解IO压力(相关参数commit);或者禁用barrier特性(相关参数barrier=0 );

     附上commit修改方法,不过我的修改后效果不明显。修改commit不是彻底解决方法,继续研究!

     mount -o remount,commit=60 /data

而考虑到此bug网上已经有人提出了,貌似当时还有人提供了临时修复补丁,这么长时间过去之后,官方kernel里也应该做了相应的更新;所以当大家碰到这个问题时,首先的建议是

升级下kernel(升级之前建议做好数据备份),重启之后查看是否生效!




     本文转自yzy121403725 51CTO博客,原文链接:http://blog.51cto.com/lookingdream/1791734,如需转载请自行联系原作者




相关实践学习
日志服务之使用Nginx模式采集日志
本文介绍如何通过日志服务控制台创建Nginx模式的Logtail配置快速采集Nginx日志并进行多维度分析。
相关文章
|
5天前
|
机器学习/深度学习 缓存 监控
linux查看CPU、内存、网络、磁盘IO命令
`Linux`系统中,使用`top`命令查看CPU状态,要查看CPU详细信息,可利用`cat /proc/cpuinfo`相关命令。`free`命令用于查看内存使用情况。网络相关命令包括`ifconfig`(查看网卡状态)、`ifdown/ifup`(禁用/启用网卡)、`netstat`(列出网络连接,如`-tuln`组合)以及`nslookup`、`ping`、`telnet`、`traceroute`等。磁盘IO方面,`iostat`(如`-k -p ALL`)显示磁盘IO统计,`iotop`(如`-o -d 1`)则用于查看磁盘IO瓶颈。
|
缓存 Linux Apache
网络IO和磁盘IO详解
1. 缓存IO          缓存I/O又被称作标准I/O,大多数文件系统的默认I/O操作都是缓存I/O。在Linux的缓存I/O机制中,数据先从磁盘复制到内核空间的缓冲区,然后从内核空间缓冲区复制到应用程序的地址空间。
4611 0
|
2月前
|
网络协议 Linux
【系统DFX】如何诊断占用过多 CPU、内存、IO 等的神秘进程?
【系统DFX】如何诊断占用过多 CPU、内存、IO 等的神秘进程?
110 0
|
缓存
系统编程之文件IO(八)——缓冲区的设置
系统编程之文件IO(八)——缓冲区的设置
182 0
|
存储 算法 人机交互
操作系统学习笔记_5 IO;缓冲区
学习自计算机科学单本&b站王道课程。
143 0
操作系统学习笔记_5 IO;缓冲区
|
存储 缓存 数据库
Lucene优化(解决大量磁盘IO问题) | 学习笔记
快速学习Lucene优化(解决大量磁盘IO问题)。
534 0
Lucene优化(解决大量磁盘IO问题) | 学习笔记
|
关系型数据库 MySQL Linux
Linux 查看磁盘 查看磁盘IO并找出占用 并找出占用IO读写很高的进程
Linux 查看磁盘 查看磁盘IO并找出占用 并找出占用IO读写很高的进程
419 0
Linux 查看磁盘 查看磁盘IO并找出占用 并找出占用IO读写很高的进程
|
缓存 算法 固态存储
浅淡linux的IO和磁盘IO的检测
浅淡linux的IO和磁盘IO的检测
浅淡linux的IO和磁盘IO的检测
|
缓存 监控 Java
linux 监控网络IO、磁盘、CPU、内存
linux 监控网络IO、磁盘、CPU、内存
linux 监控网络IO、磁盘、CPU、内存