必知的技术知识：high_swapspace_useage

high_swapspace_useage

.title { text-align: center; margin-bottom: 0.2em }

.subtitle { text-align: center; font-size: medium; font-weight: bold; margin-top: 0 }

.todo { font-family: monospace; color: rgba(255, 0, 0, 1) }

.done { font-family: monospace; color: rgba(0, 128, 0, 1) }

.priority { font-family: monospace; color: rgba(255, 165, 0, 1) }

.tag { background-color: rgba(238, 238, 238, 1); font-family: monospace; padding: 2px; font-size: 80%; font-weight: normal }

.timestamp { color: rgba(190, 190, 190, 1) }

.timestamp-kwd { color: rgba(95, 158, 160, 1) }

.org-right { margin-left: auto; margin-right: 0; text-align: right }

.org-left { margin-left: 0; margin-right: auto; text-align: left }

.org-center { margin-left: auto; margin-right: auto; text-align: center }

.underline { text-decoration: underline }

#postamble p, #preamble p { font-size: 90%; margin: 0.2em }

p.verse { margin-left: 3% }

pre { border: 1px solid rgba(204, 204, 204, 1); box-shadow: 3px 3px 3px rgba(238, 238, 238, 1); padding: 8pt; font-family: monospace; overflow: auto; margin: 1.2em }

pre.src { position: relative; overflow: visible; padding-top: 1.2em }

pre.src:before { display: none; position: absolute; background-color: rgba(255, 255, 255, 1); top: -10px; right: 10px; padding: 3px; border: 1px solid rgba(0, 0, 0, 1) }

pre.src:hover:before { display: inline }

pre.src-asymptote:before { content: "Asymptote" }

pre.src-awk:before { content: "Awk" }

pre.src-C:before { content: "C" }

pre.src-clojure:before { content: "Clojure" }

pre.src-css:before { content: "CSS" }

pre.src-D:before { content: "D" }

pre.src-ditaa:before { content: "ditaa" }

pre.src-dot:before { content: "Graphviz" }

pre.src-calc:before { content: "Emacs Calc" }

pre.src-emacs-lisp:before { content: "Emacs Lisp" }

pre.src-fortran:before { content: "Fortran" }

pre.src-gnuplot:before { content: "gnuplot" }

pre.src-haskell:before { content: "Haskell" }

pre.src-hledger:before { content: "hledger" }

pre.src-java:before { content: "Java" }

pre.src-js:before { content: "Javascript" }

pre.src-latex:before { content: "LaTeX" }

pre.src-ledger:before { content: "Ledger" }

pre.src-lisp:before { content: "Lisp" }

pre.src-lilypond:before { content: "Lilypond" }

pre.src-lua:before { content: "Lua" }

pre.src-matlab:before { content: "MATLAB" }

pre.src-mscgen:before { content: "Mscgen" }

pre.src-ocaml:before { content: "Objective Caml" }

pre.src-octave:before { content: "Octave" }

pre.src-org:before { content: "Org mode" }

pre.src-oz:before { content: "OZ" }

pre.src-plantuml:before { content: "Plantuml" }

pre.src-processing:before { content: "Processing.js" }

pre.src-python:before { content: "Python" }

pre.src-R:before { content: "R" }

pre.src-ruby:before { content: "Ruby" }

pre.src-sass:before { content: "Sass" }

pre.src-scheme:before { content: "Scheme" }

pre.src-screen:before { content: "Gnu Screen" }

pre.src-sed:before { content: "Sed" }

pre.src-sh:before { content: "shell" }

pre.src-sql:before { content: "SQL" }

pre.src-sqlite:before { content: "SQLite" }

pre.src-forth:before { content: "Forth" }

pre.src-io:before { content: "IO" }

pre.src-J:before { content: "J" }

pre.src-makefile:before { content: "Makefile" }

pre.src-maxima:before { content: "Maxima" }

pre.src-perl:before { content: "Perl" }

pre.src-picolisp:before { content: "Pico Lisp" }

pre.src-scala:before { content: "Scala" }

pre.src-shell:before { content: "Shell Script" }

pre.src-ebnf2ps:before { content: "ebfn2ps" }

pre.src-cpp:before { content: "C++" }

pre.src-abc:before { content: "ABC" }

pre.src-coq:before { content: "Coq" }

pre.src-groovy:before { content: "Groovy" }

pre.src-bash:before { content: "bash" }

pre.src-csh:before { content: "csh" }

pre.src-ash:before { content: "ash" }

pre.src-dash:before { content: "dash" }

pre.src-ksh:before { content: "ksh" }

pre.src-mksh:before { content: "mksh" }

pre.src-posh:before { content: "posh" }

pre.src-ada:before { content: "Ada" }

pre.src-asm:before { content: "Assembler" }

pre.src-caml:before { content: "Caml" }

pre.src-delphi:before { content: "Delphi" }

pre.src-html:before { content: "HTML" }

pre.src-idl:before { content: "IDL" }

pre.src-mercury:before { content: "Mercury" }

pre.src-metapost:before { content: "MetaPost" }

pre.src-modula-2:before { content: "Modula-2" }

pre.src-pascal:before { content: "Pascal" }

pre.src-ps:before { content: "PostScript" }

pre.src-prolog:before { content: "Prolog" }

pre.src-simula:before { content: "Simula" }

pre.src-tcl:before { content: "tcl" }

pre.src-tex:before { content: "TeX" }

pre.src-plain-tex:before { content: "Plain TeX" }

pre.src-verilog:before { content: "Verilog" }

pre.src-vhdl:before { content: "VHDL" }

pre.src-xml:before { content: "XML" }

pre.src-nxml:before { content: "XML" }

pre.src-conf:before { content: "Configuration File" }

table { border-collapse: collapse }

caption.t-above { caption-side: top }

caption.t-bottom { caption-side: bottom }

td, th { vertical-align: top }

th.org-right { text-align: center }

th.org-left { text-align: center }

th.org-center { text-align: center }

td.org-right { text-align: right }

td.org-left { text-align: left }

td.org-center { text-align: center }

dt { font-weight: bold }

.footpara { display: inline }

.footdef { margin-bottom: 1em }

.figure { padding: 1em }

.figure p { text-align: center }

.inlinetask { padding: 10//代码效果参考：http://www.jhylw.com.cn/563837803.html

px; border: 2px solid rgba(128, 128, 128, 1); margin: 10px; background: rgba(255, 255, 204, 1) }

#org-div-home-and-up { text-align: right; font-size: 70%; white-space: nowrap }

textarea { overflow-x: auto }

.linenr { font-size: smaller }

.code-highlighted { background-color: rgba(255, 255, 0, 1) }

.org-info-js_info-navigation { border-style: none }

#org-info-js_console-label { font-size: 10px; font-weight: bold; white-space: nowrap }

.org-info-js_search-highlight { background-color: rgba(255, 255, 0, 1); color: rgba(0, 0, 0, 1); font-weight: bold }

.org-svg { width: 90% }

high_swapspace_useage

Table of Contents

1. 简介

2. 分析

2.1. 相关参数

2.2. 设置参数

2.3. NUMA机制

2.3.1. numa作用

2.3.2. numa与性能

2.3.3. 判断是否启用NUMA

2.4. 进程异常

3. 解决方法

1 简介

Swap分区在系统的物理内存不够用的时候，把物理内存中的一部分空间释放出来，以供当前运行的程序使用。而这些被释放出来的内存，//代码效果参考：http://www.jhylw.com.cn/040228825.html

会先放到swap中，等到那些程序要运行时，再从Swap分区中恢复保存的数据到内存中。

以下是几种引发swap被占用的可能因素。

2 分析

2.1 相关参数

在Linux内核参数中有一个vm.swappiness ，它决定了系统在物理内存使用达到什么值（百分比）时开始使用swap.系统默认此参数的值为60.

对应的系统文件是 /proc/sys/vm/swappiness.

cat /proc/sys/vm/swappiness

1

2.2 设置参数

临时调整

echo 10 > /proc/sys/vm/swappiness

或者

sysctl vm.swappiness=10

开机启动即调整

将此参数值配置到内核参数文件 /etc/sysctl.conf 中即可

cat /etc/sysctl.conf|grep swappiness

vm.swappiness = 1

2.3 NUMA机制

2.3.1 numa作用

现在的机器上都是有多个CPU和多个内存块的。以前我们都是将内存块看成是一大块内存，所有CPU到这个共享内存的访问消息是一样的。这就是之前普遍使用的SMP模型。但是随着处理器的增加，共享内存可能会导致内存访问冲突越来越厉害，且如果内存访问达到瓶颈的时候，性能就不能随之增加。NUMA（Non-Uniform Memory Access）就是这样的环境下引入的一个模型。比如一台机器是有2个处理器，有4个内存块。我们将1个处理器和两个内存块合起来，称为一个NUMA node，这样这个机器就会有两个NUMA node。在物理分布上，NUMA node的处理器和内存块的物理距离更小，因此访问也更快。比如这台机器会分左右两个处理器（cpu1, cpu2），在每个处理器两边放两个内存块(memory1.1, memory1.2, memory2.1,memory2.2)，这样NUMA node1的cpu1访问memory1.1和memory1.2就比访问memory2.1和memory2.2更快。所以使用NUMA的模式如果能尽量保证本node内的CPU只访问本node内的内存块，那这样的效率就是最高的。

但是numa也是有限制的，如果一个进程限制它只能使用自己的numa节点的内存，那么当自身numa node内存使用光之后，就不会去使用其他numa node的内存了，会开始使用swap，甚至更糟的情况，机器没有设置swap的时候，可能会直接死机！所以你可以使用numactl –interleave=all来取消numa node的限制。

如果你的程序是会占用大规模内存的，你大多应该选择关闭numa node的限制（或从硬件关闭numa）。因为这个时候你的程序很有几率会碰到numa陷阱。

另外，如果你的程序并不占用大内存，而是要求更快的程序运行时间。你大多应该选择限制只访问本numa node的方法来进行处理。

2.3.2 numa与性能

在os层numa关闭时,打开bios层的numa会影响性能，QPS会下降15-30%;

在bios层面numa关闭时，无论os层面的numa是否打开，都不会影响性能。

安装numactl yum install numactl -y.

另外两个常用命令:

numastat 等同于 cat /sys/devices/system/node/node0/numastat ，在/sys/devices/system/node/文件夹中记录系统中的所有内存节点的相关详细信息。

numactl –hardware 列举系统上的NUMA节点

numactl –show 查看绑定信息

2.3.3 判断是否启用NUMA

Redhat或者Centos系统中可以通过命令判断bios层是否开启numa, grep -i numa /var/log/dmesg.

或者直接执行numastat 查看结果。

如果输出结果为： No NUMA configuration found

说明numa为disable，如果不是上面内容说明numa为enable,例如显示：NUMA: Using 30 for the hash shift.

2.4 进程异常

有时候，并不是内存不够用。而是由于程序或者进程异常，过多的占用了swap空间。如果有个脚本可以查看所有进程占用的swap空间就可以快速排查异常进程了。

下面是脚本内容：

printf "%-20s\t%10s\t%-s\n" "PID" "Swap" "Proc_Name"

echo -e '------------------\t------------\t---------------------------'

for pid in ls -l /proc | grep ^d | awk '{ print $9 }'| grep -v 【^0-9】|grep -v 1$

do

if 【 -f /proc/"$pid"/smaps 】; then

swap=$(grep Swap /proc/$pid/smaps | gawk '{ sum+=$2;} END{ print sum }')

swap=${swap:=0} # if swap's values is null then set swap=0

fi

proc_name=$(ps aux | grep -w "$pid" | grep -v grep | awk '{ for(i=11;i<=NF;i++){ printf("%s ",$i); }}')

if 【 "$swap" -gt 0 】;then

echo -e "$pid\t${swap}\t$proc_name"

fi

done | sort -k2 -n | gawk -F'\t' '{

pid【NR】=$1;

size【NR】=$2;

name【NR】=$3;

}

END{

for(id=1;id<=length(pid);id++)

{

if(size【id】<1024)

printf("%-10s\t%15sKB\t%s\n",pid【id】,size【id】,name【id】);

else if(size【id】<1048576)

printf("%-10s\t%15.2fMB\t%s\n",pid【id】,size【id】/1024,name【id】);

else

printf("%-10s\t%15.2fGB\t%s\n",pid【id】,size【id】/1048576,name【id】);

}

}'

当找到异常进程后，可以kill 掉进程，或者重启进程，以释放swap空间。

3 解决方法

综上，当你遇到swap空间占用异常的情况，首先查看物理内存是否真的不够用了。如果物理内存用光，占用swap空间是很正常的。

如果物理内存仍有较多的空间未利用，而占用了过多的swap,那么很有可能是Numa 机制引起的。需要重启进程，指定进程使用全局内存。

如果以上两种原因都不是。就很有可能是进程异常。通过脚本查出占用进程过多的进程，然后重启进程或者kill掉。

Author: halberd.lee

Created: 2020-05-18 Mon 15:41

Validate

===================

天行健，君子以自强不息

地势坤，君子以厚德载物

===================