十六、Linux性能优化实战学习笔记-怎么理解内存中的Buffer和Cache?

简介: 不同版本的free 所展示的结果不一样。

不同版本的free 所展示的结果不一样。

[ninesun@MiWiFi-R3L-srv ~]$ free -m
              total        used        free      shared  buff/cache   available
Mem:            972         552         161          19         257         259
Swap:          2047         130        1917
 GP]# free -g
             total       used       free     shared    buffers     cached
Mem:           125        125          0          4          0        100
-/+ buffers/cache:         25        100
Swap:           47          7         40

free 数据的来源

man free 中这样描述

buffers
              Memory used by kernel buffers (Buffers in /proc/meminfo)
       cache  Memory used by the page cache and slabs (Cached and SReclaimable in /proc/meminfo)
       buff/cache
              Sum of buffers and cache
  • Buffers 是内核缓冲区用到的内存,对应的是 /proc/meminfo 中的 Buffers 值。
  • Cache 是内核页缓存 Slab 用到的内存,对应的是 /proc/meminfo 中的 Cached 与SReclaimable 之和。


/proc 是 Linux 内核提供的一种特殊文件系统,是用户跟内核交互的接口,用户可以从 /proc 中查询内核的运行状态和配置选项,

查询进程的运行状态、统计数据等,当然,你也可以通过 /proc 来修改内核的配置。proc 文件系统同时也是很多性能工具的最终数据来源。比如 free 就是通过读取 /proc/meminfo ,得到内存的使用情况。


man proc -> 搜索 meminfo

 Buffers %lu
                     Relatively temporary storage for raw disk blocks that shouldn't get tremendously large (20MB or so).
 Cached %lu
                     In-memory cache for files read from the disk (the page cache).  Doesn't include SwapCached.
 SReclaimable %lu (since Linux 2.6.19)
                     Part of Slab, that might be reclaimed, such as caches.
 SUnreclaim %lu (since Linux 2.6.19)
                     Part of Slab, that cannot be reclaimed on memory pressure.

Buffers 是对原始磁盘块的临时存储,也就是用来缓存磁盘的数据,通常不会特别大(20MB 左右)。这样,内核就可以把分散的写集中起来,统一优化磁盘的写入,比如可以把多次小的写合并成单次大的写等等。

Cached 是从磁盘读取文件的页缓存,也就是用来缓存从文件读取的数据。这样,下次访问这些文件数据时,就可以直接从内存中快速获取,而不需要再次访问缓慢的磁盘。

SReclaimable 是 Slab 的一部分。Slab 包括两部分,其中的可回收部分,用SReclaimable 记录;而不可回收部分,用 SUnreclaim 记录。

第一个问题,Buffer 的文档没有提到这是磁盘读数据还是写数据的缓存,它会不会也缓存从磁盘中读取的数据呢?

第二个问题,文档中提到,Cache 是对从文件读取数据的缓存,那么它是不是也会缓存写文件的数据呢?

案例一 磁盘和文件写案例

在第一个终端,运行下面这个 vmstat 命令:

vmstat 1 每间隔1s 输出一行数据

procs -----------memory---------- ---swap-- -----io---- -system-- ------cpu-----
 r  b   swpd   free   buff  cache   si   so    bi    bo   in   cs us sy id wa st
 1  0 143872 245608     40 139316    0    0     0     0   90  126  4  1 95  0  0
 0  0 143872 245608     40 139316    0    0     0     0   91  123  4  0 96  0  0
 0  0 143872 245608     40 139316    0    0     0     0   95  129  3  0 97  0  0
 0  0 143872 245608     40 139316    0    0     0     0  107  138  4  0 96  0  0
 0  0 143872 245608     40 139316    0    0     0     0   95  124  5  0 95  0  0
 0  0 143872 245608     40 139316    0    0     0     0  114  148  4  0 96  0  0
 0  0 143872 245608     40 139316    0    0     0     0  102  130  4  1 95  0  0
 1  0 143872 245608     40 139316    0    0     0     0  100  130  4  0 96  0  0
 0  0 143872 245608     40 139316    0    0     0     0  136  126  9  0 91  0  0
 0  0 143872 245608     40 139316    0    0     0     0  105  126  5  1 94  0  0
 0  0 143872 245608     40 139316    0    0    50     7  882 1279 40  8 52  0  0
 0  0 143872 245640     40 139320    0    0     0     0  760 1089 36  5 58  0  0

buff 和 cache 就是我们前面看到的 Buffers 和 Cache,单位是 KB。

bi 和 bo 则分别表示块设备读取和写入的大小,单位为块 / 秒。因为 Linux 中块的大小是 1KB(此处需要注意不是文件系统的块大小),所以这个单位也就等价于 KB/s

man vmstat 可以看到这段描述。

20200809131422515.png

这和我们所认知的block size 是4KB 有什么区别呢?

[root@MiWiFi-R3L-srv ninesun]# stat / | grep "IO Block"
  Size: 224         Blocks: 0          IO Block: 4096   directory
[root@MiWiFi-R3L-srv ninesun]# df -TH
Filesystem              Type      Size  Used Avail Use% Mounted on
/dev/mapper/centos-root xfs        19G  5.5G   13G  30% /

磁盘里面的和文件系统里面的两个基本单位都叫 block size,但是实际上是两个东西,一个是硬盘扇区的大小,应该叫做 sector size(vmstat 中的bi/bo 的单位,别于文件系统的block大小) ;一个是文件系统的 block 的大小。


清理文件页、目录项、Inodes 等各种缓存

$ echo 3 > /proc/sys/vm/drop_caches


第二个终端执行 dd 命令,通过读取随机设备,生成一个 500MB 大小的文件

[root@MiWiFi-R3L-srv ninesun]# dd if=/dev/urandom of=/tmp/file bs=1M count=500
500+0 records in
500+0 records out
524288000 bytes (524 MB) copied, 4.90468 s, 107 MB/s

回到第一个终端,观察 Buffer 和 Cache 的变化情况

 procs -----------memory---------- ---swap-- -----io---- -system-- ------cpu-----
 r  b   swpd   free   buff  cache   si   so    bi    bo   in   cs us sy id wa st
 1  0 143872 261912     40 122272    0    0     0     0  627  896 25  2 73  0  0
 1  0 143872 261912     40 122324    0    0     0     7  264  575 11  1 88  0  0
 0  0 143872 261912     40 122300    0    0     0     0  190  266 11  1 88  0  0
 1  0 143872 250416     40 132696    0    0    77     0  219  267  6  8 86  0  0
 2  0 143872 161196     40 221984    0    0     0 93196 1373  597 22 77  1  0  0
 2  0 143872  72152     40 311244    0    0     0 114688 1342  442  7 93  0  0  0
 1  0 143872  70056     40 313344    0    0     0 92160 1242  238  9 91  0  0  0
 1  0 143872  72232     40 311012    0    0     0 118692 1285  256 10 90  0  0  0
 0  0 143872  71576     40 312536    0    0  1584 93276 1150  302 13 74 13  0  0
 0  0 143872  71468     40 312500    0    0   112   136  186  227 10  0 90  0  0
 0  0 143872  71468     40 312500    0    0     0     0  182  215 10  1 89  0  0
 0  0 143872  71468     40 312500    0    0     0     0  156  178  9  0 91  0  0
 4  0 143872  71548     40 312500    0    0     0     0  659 1098 27  4 69  0  0
 0  0 143872  71564     40 312500    0    0     0     0  471  439 28  2 70  0  0
 0  0 143872  71564     40 312500    0    0     0     0  657  966 27  3 70  0  0

通过观察 vmstat 的输出,我们发现,在 dd 命令运行时, Cache 在不停地增长,而Buffer 基本保持不变


观察I/O,在 Cache 刚开始增长时,块设备 I/O 很少,bi 只出现了一次 77,bo 则只有一次 7。而过一段时间后,才会出现大量的块设备写,比如 bo 变成了 93196 。当 dd 命令结束后,Cache 不再增长,但块设备写还会持续一段时间,并且,多次 I/O写的结果加起来,才是 dd 要写的 500M 的数据。


这几个bo 加起来是512,394 ,大约为500MB。


结论:cache 也会缓存写文件的数据


需要你的系统配置多块磁盘,并且磁盘分区 /dev/sdb1 还要处于未使用状态。如果你只有一块磁盘,千万不要尝试,否则将会对你的磁盘分区造成损坏


清理缓存后,向磁盘分区 /dev/sdb1 写入 2GB 的随机数据:

# 首先清理缓存
$ echo 3 > /proc/sys/vm/drop_caches
# 然后运行 dd 命令向磁盘分区 /dev/sdb1 写入 2G 数据
$ dd if=/dev/urandom of=/dev/sdb bs=1M count=2048 
没有使用fdisk 分区 直接裸磁盘。

观察内存和 I/O 的变化情况

procs -----------memory---------- ---swap-- -----io---- -system-- ------cpu-----
 r  b   swpd   free   buff  cache   si   so    bi    bo   in   cs us sy id wa st
 0  0 106048 195076     40 182384    0    0     0     0  170  246  2  4 94  0  0
 2  0 106048 195076     40 182384    0    0     0     0  936  855 54 12 34  0  0
 0  0 106048 195076     40 182384    0    0     0     0  893  792 53  8 39  0  0
 2  0 106048 194524     40 182520    0    0    56     0  498  446 25  8 67  0  0
 0  0 106048 194524     40 182520    0    0     0     0  327  399 15  4 81  0  0
 2  0 106048 185696   8232 182768    0    0    76     0  413  467 13 15 71  1  0
 3  0 106048 148020  44456 183648    0    0     0 24576 1257  939 26 74  0  0  0
 2  0 106048 112820  79104 184612    0    0     0 49152 1199  665 26 74  0  0  0
 3  0 106048 114332  98372 163872    0    0    73 43645 1120  478  7 93  0  0  0
 1  0 106048 108888 104740 163008    0    0   520 30204 1196  403 33 67  0  0  0
 1  0 106048 113160 101396 161632    0    0     0 49152 1217  517 13 87  0  0  0
 1  0 106048 108180 107108 160972    0    0     0 56320 1083  231  4 96  0  0  0
 2  0 106048 111728 104132 159628    0    0     0 47108 1065  222  5 95  0  0  0
 3  0 106048 113264 103076 159204    0    0     0 51196 1086  219  4 96  0  0  0
 1  0 106048 112416 103848 159256    0    0     0 49152 1085  240  6 94  0  0  0
 4  0 106048 115448 101796 159344    0    0     0 49152 1171  463 13 87  0  0  0
 2  0 106048 114596 102620 159360    0    0     0 24576 1206  830 27 73  0  0  0
 3  0 106048 113556 103316 159436    0    0     0 31744 1311  968 45 55  0  0  0
 2  0 106048 113424 102916 160000    0    0   440 49152 1092  375  8 92  0  0  0
 4  0 106048 113140 102976 160128    0    0   144 24576 1238  708 36 64  0  0  0
 1  0 106048 110524 101960 164016    0    0  3788 24576  897  277 15 85  0  0  0
 4  0 106048 112412  99308 163548    0    0     0 52740 1051  188  7 93  0  0  0
 2  0 106048 115592 101148 158560    0    0   140 51708 1063  190  1 99  0  0  0
 2  0 106048 115968 101824 158672    0    0     0 68100 1031  204  2 98  0  0  0
 1  0 106048 118360  99680 157388    0    0     0 54780 1070  204  1 99  0  0  0
 1  0 106048 118484 100520 157480    0    0     0 49152 1091  199 10 90  0  0  0
 3  0 106048 120404  97368 157588    0    0     0 49152 1069  192 10 90  0  0  0


虽然同是写数据,写磁盘跟写文件的现象还是不同的。写磁盘时(也就是 bo 大于 0 时),Buffer 和 Cache 都在增长,但显然 Buffer 的增长快得多。这说明,写磁盘用到了大量的 Buffer,这跟我们在文档中查到的定义是一样的


对比两个案例,我们发现,写文件时会用到 Cache 缓存数据,而写磁盘则会用到 Buffer来缓存数据。


Cache 是文件读的缓存,也会缓存写文件时的数据。

案例二 磁盘和文件读案例

清理缓存后,从文件 /tmp/file 中,读取数据写入空设备:

[root@MiWiFi-R3L-srv tmp]# ll -ths|grep file
500M -rw-r--r--. 1 root    root    500M Aug  9 00:37 file
# 首先清理缓存
$ echo 3 > /proc/sys/vm/drop_caches
# 运行 dd 命令读取文件数据
$ dd if=/tmp/file of=/dev/null
[root@MiWiFi-R3L-srv tmp]# dd if=/tmp/file of=/dev/null
1024000+0 records in
1024000+0 records out
524288000 bytes (524 MB) copied, 5.91814 s, 88.6 MB/s

观察内存和 I/O 的变化情况:

procs -----------memory---------- ---swap-- -----io---- -system-- ------cpu-----
 r  b   swpd   free   buff  cache   si   so    bi    bo   in   cs us sy id wa st
 3  0 105280 230760      0 141836    0    0     0     0  248  243 13  4 83  0  0
 0  0 105280 230004      0 141836    0    0    16    48  121  229  2  1 97  0  0
 2  0 105280 128440      0 244116    0    0 102324     0 1016  394 20 67 13  0  0
 4  0 105280  74164      0 297880    0    0 53748     4 1244  677 55 45  0  0  0
 1  0 105280  76772      0 295764    0    0 51104     0 1316  731 53 47  0  0  0
 3  0 105280  60392      0 313008    0    0 112736     0 1122  347 25 75  0  0  0
 1  0 105280  64924      0 308444    0    0 90112     0 1255  611 35 65  0  0  0
 1  0 105280  62052      0 311292    0    0 102400     0  915  192 26 74  0  0  0
 0  0 105280  60628      0 312208    0    0   900     0  347  276 21  3 76  0  0
 0  0 105280  60628      0 312208    0    0     0     0  140  193  5  1 94  0  0

读取文件时(也就是 bi 大于 0 时),Buffer 保持不变,而 Cache 则在不停增长。这跟我们查到的定义“Cache 是对文件读的页缓存”是一致的。


再来看磁盘读的情况


清理缓存后,从磁盘分区 /dev/sdb 中读取数据,写入空设备:

# 首先清理缓存
$ echo 3 > /proc/sys/vm/drop_caches
# 运行 dd 命令读取文件
$ dd if=/dev/sdb of=/dev/null bs=1M count=1024
[root@MiWiFi-R3L-srv tmp]# dd if=/dev/sdb of=/dev/null bs=1M count=1024
1024+0 records in
1024+0 records out
1073741824 bytes (1.1 GB) copied, 4.81571 s, 223 MB/s

观察I/O变化

procs -----------memory---------- ---swap-- -----io---- -system-- ------cpu-----
 r  b   swpd   free   buff  cache   si   so    bi    bo   in   cs us sy id wa st
 1  0 106304 228020      0 145592    5   67   909  1358  225  327  8  7 86  0  0
 2  0 106304 228012      0 145592    0    0    16    67  473  459 32  5 63  0  0
 2  0 106304 228028      0 145592    0    0     0     0  763  560 49  5 45  0  0
 0  0 106304 228028      0 145592    0    0     0     0  448  341 32  2 66  0  0
 5  0 106304 108376 129176 134108    0    0 280032     0 1197  474 21 78  1  0  0
 4  0 106304 102672 135176 133832    0    0 209516     0 1270  537 43 57  0  0  0
 2  0 106304 111156 126228 134268    0    0 184320     0 1315  749 42 58  0  0  0
 2  0 106304 119968 116840 134748    0    0 237280     0 1211  472 29 71  0  0  0
 0  0 106304 238144      0 134616    0    0 144252     0 1158  684 41 55  3  0  0
 0  0 106304 238144      0 134616    0    0     0     0  920  834 55  8 37  0  0

发现读磁盘时(也就是 bi 大于 0 时),Buffer 和 Cache 都在增长,但显然 Buffer 的增长快很多。这说明读磁盘时,数据缓存到了 Buffer 中。

结论:

  • Buffer 既可以用作“将要写入磁盘数据的缓存”,也可以用作“从磁盘读取数据的缓存”。
  • Cache 既可以用作“从文件读取数据的页缓存”,也可以用作“写文件的页缓存”。


Buffer 是对磁盘数据的缓存,而 Cache 是文件数据的缓存,它们既会用在读请求中,也会用在写请求中。

目录
相关文章
|
4天前
|
Linux
Linux rsyslog占用内存CPU过高解决办法
该文档描述了`rsyslog`占用内存过高的问题及其解决方案。
24 4
|
19天前
|
存储 算法 Linux
【实战项目】网络编程:在Linux环境下基于opencv和socket的人脸识别系统--C++实现
【实战项目】网络编程:在Linux环境下基于opencv和socket的人脸识别系统--C++实现
42 6
|
9天前
|
机器学习/深度学习 缓存 监控
linux查看CPU、内存、网络、磁盘IO命令
`Linux`系统中,使用`top`命令查看CPU状态,要查看CPU详细信息,可利用`cat /proc/cpuinfo`相关命令。`free`命令用于查看内存使用情况。网络相关命令包括`ifconfig`(查看网卡状态)、`ifdown/ifup`(禁用/启用网卡)、`netstat`(列出网络连接,如`-tuln`组合)以及`nslookup`、`ping`、`telnet`、`traceroute`等。磁盘IO方面,`iostat`(如`-k -p ALL`)显示磁盘IO统计,`iotop`(如`-o -d 1`)则用于查看磁盘IO瓶颈。
|
2天前
|
监控 Linux
【专栏】如何检查 Linux 内存使用量是否耗尽?这 5 个命令堪称绝了!
【4月更文挑战第28天】在 Linux 中,掌握检查内存使用情况至关重要,因为内存问题可能导致系统性能下降甚至崩溃。本文介绍了 5 个常用的检查内存命令:1) `free` 提供内存和交换区的详细信息;2) `top` 显示进程信息及内存使用;3) `vmstat` 输出系统综合信息,包括内存动态变化;4) `pidstat` 监控特定进程的内存使用;5) `/proc/meminfo` 文件提供系统内存详细数据。了解和使用这些命令能帮助用户及时发现并解决内存相关问题,确保系统稳定运行。
|
7天前
|
消息中间件 Linux
【linux进程间通信(二)】共享内存详解以及进程互斥概念
【linux进程间通信(二)】共享内存详解以及进程互斥概念
|
7天前
|
Linux
Linux中grep命令详解与实战应用
Linux中grep命令详解与实战应用
11 0
|
20天前
|
存储 缓存 算法
Linux内存管理笔记----TLB
Linux内存管理笔记----TLB
25 0
|
21天前
|
存储 缓存 监控
Linux内存和硬盘空间管理技巧
了解Linux内存和硬盘管理技巧,提升系统性能和稳定性。使用`free`, `top`, `vmstat`监控内存,通过`sync`, `echo 1 > /proc/sys/vm/drop_caches`清理缓存。利用Swap分区释放内存。借助`df`, `du`检查硬盘空间,清理无用文件,使用`clean-old`, `gzip`, `tar`压缩归档。查找大文件用`find`和`du`,确保
33 0
|
22天前
|
Prometheus 监控 Cloud Native
【Linux】查看系统内存命令(详细讲解)
【Linux】查看系统内存命令(详细讲解)
|
缓存 Linux
Linux系统中的Page cache和Buffer cache
简单说来,page cache用来缓存文件数据,buffer cache用来缓存磁盘数据。在有文件系统的情况下,对文件操作,那么数据会缓存到page cache,如果直接采用dd等工具对磁盘进行读写,那么数据会缓存到buffer cache。 Buffer(Buffer Cache)以块形式缓冲了块设备的操作,定时或手动的同步到硬盘,它是为了缓冲写操作然后一次性将很多改动写入硬盘,避免频繁写硬盘,提高写入效率。 Cache(Page Cache)以页面形式缓存了文件系统的文件,给需要使用的程序读取,它是为了给读操作提供缓冲,避免频繁读硬盘,提高读取效率。
446 0
Linux系统中的Page cache和Buffer cache

热门文章

最新文章