概述
攻城狮经常会遇到系统告警、网页打不开、用户投诉、数据错误等问题,如何快速诊断是解决问题的关键,当有些问题用自己习惯的三板斧不能立即定位时,静下心来试试本文提到的望闻问切的思路。
诊断问题就像看病一样,应该多方面多角度观察,开阔思路,准确把握,避免误诊,遇到问题不急不躁,可借鉴中医的“望闻问切”思路。
《古今医统》:“望闻问切四字,诚为医之纲领。”望闻问切是中医用语,就是指望诊,闻诊,问诊和切脉四种诊法。
本文重在介绍问题思路,顺便列了最常用的Linux诊断命令,适合研发、测试、运维人员。
望
中医望诊即对病人的神、色、形、态、舌象等外象进行观察,以测知内脏病变。
可理解为远望,部分系统比较复杂,跟其他系统有很多接口,这类系统有了问题,不要一开始就扎入各自的系统深查,先要站在远处“望”:
1,问题发生在自己的系统还是第三方?
这常可通过外部接口告警、第三方邮件或电话等发现。
2,问题发生时是否有较大的网络波动或已知的硬件故障?
遇到这类故障,运维一般都会收到相关通知。
3,问题发生在内部哪个系统?
内部也有多个系统多个服务,这些内部系统中,最近升级了哪些?哪部分的系统有告警、出错日志?
即要划清系统边界,了解周边的系统情况。
|
远望不需花什么时间,重要的是广泛收集信息,出问题时方便立即综合信息作出判断。如果已确定是某个系统或模块出的问题,则可省略“望”这个诊断步骤。
日常工作要未雨绸缪,有收集第三方、外部接口、其他故障信息的渠道,供望诊参考。
闻
闻诊,包括听声音和嗅气味,主要是听患者语言气息的高低、强弱、清浊、缓急……等变化,以分辨病情的虚实寒热。
监控系统根据严重级别显示不同颜色,有的还配有不同告警声音;日志则带有ERR、INFO等级别,就像患者的气息一样有缓急、高低。
请看如何“闻诊”系统问题:
1,监控
日常工作要做好各个系统的监控方便查询;
2,统计
各个系统要有统计数据方便各方查询;
3,日志
系统之间的接口调用有日志;
4,通知
有版本升级周知相关人。
|
闻诊适合各个系统的具体负责人等。
问
问诊,是通过询问患者或其陪诊者,以了解病情,有关疾病发生的时间、原因、经过、既往病史、患者的病痛所在,以及生活习惯、饮食爱好等与疾病有关的情况。
通过前面的望和闻,咱们会产生一些疑问,再通过相关几个人讨论、对比求证,寻找出现问题的特征条件,逐步缩小范围,理清思路,包括:
一起讨论头脑风暴;
一对一交流确认疑点;
问发生问题的条件、操作顺序等。
|
切
切脉,包括脉诊和按诊两部分,是医者运用指端之触觉,在病者的一定部位进行触、摸、按、压,以了解病情的方法。
切脉就是纯技术活了,如何让自己跟老中医一样能切脉呢?
其实现在工具发达,对于linux上的程序系统来说,常用以下工具就可诊断大部分问题:
1,诊运行历史
sar
看最近一天的运行历史信息,包含
iowait
sar
-
f
/
var
/
log
/
sa
/
sa日期
看本月某一天的运行历史信息
2,诊整体资源
top
看当前负载、
cpu、内存、进程、用户数等
ps
aux
|
sort
-
nk3
查看
CPU占用率最大的进程,显示在最下面一行
ps
aux
|
sort
-
nk4
查看内存占用率最大的进程
,显示在最下面一行
3,诊磁盘
iostat
-
x
-
k
2
这个命令每隔
2秒输出一次磁盘
io统计信息,这是看数据存储方案最常用命令。
df
-
kh
看磁盘空间,磁盘满了?你应该自己立即发现哦
#/sbin/hdparm -t /dev/sda
评估磁盘的读取性能。
hdparm可检测、显示与设定
IDE或
SCSI硬盘的参数。
4,诊网络连接
netstat
-
nap
这个命令输出当前所有连接,包括连接所属的进程
ping
host或
ip
诊断网络是否可达和域名解析是否成功。
/
sbin
/
ethtool
ethX
(
ethX表示网卡名如
eth0)
检查网卡和网络速度“
Speed”,
100Mb和
1000Mb的带宽差别可大了。
有时要确信两台机器之间的实际带宽,
a,可用
scp传一个大文件看看,不过
scp传送会受
ssh协议的影响,会偏慢一些。
b,用
http协议会更真实,在
nginx的
htdocs目录下放个大文件,到另一台机器用
wget下载。
sar
-
n
DEV
5
500
诊断网络流量,是否遭到攻击?看网卡读写数据量
rxbyt
/
s和
txbyt
/
s,单位字节。
5,诊文件句柄
查看所有进程的文件打开数是否接近系统限制
<
strong
>
/
usr
/
sbin
/
lsof
|
wc
-
l
<
/
strong
>
查看某个进程打开的文件是否异常,包括
wc
-
l查看数目
/
usr
/
sbin
/
lsof
-
p
pid
|
6,诊系统限制
ulimit
-
a
看是否可生成
core文件、可打开文件句柄数
"open files",经常需要修改系统限制。
7
, 诊程序系统调用
strace
-
p
pid
看程序进程的系统调用函数和返回值,在“显微镜”下看这程序在偷偷干吗?
多线程程序可尝试看
pid
+
1
,
pid
+
2后面一般依次是进程创建的多条线程
strace
-
p
pid
-
c
看某个进程
id的系统调用函数次数统计,按
ctrl
+
c退出并输出统计信息
8,诊通信包
常用命令:
#/usr/sbin/tcpdump -X -s 0 tcp port 8030 -i lo
#/usr/sbintcpdump -n -x -s 0 tcp port 23000 or 23002 or 23003 or 22122 >dump
#/usr/sbin/tcpdump -n -x -s 0 tcp port 7820 and host 192.156.30.100
用
root可以在
linux上用
tcpdump抓包,
tcp和
udp包都可以抓。
常用选项:
-
X 以可读方式显示数据包,适合
http、
memcached
asccii等明文传输的协议
-
x 输出
16进制的包内容,
Print
each
packet
(
minus
its
link
level
header
)
in
hex
-
A
ascii码显示
-
i
lo 看本机
localhost的通信包
-
n 不要域名解析,
Don’
t
convert
host
addresses
to
names
.
This
can
be
used
to
avoid
DNS
lookups
.
-
s 设置抓完整的包,
Snarf
snaplen
bytes
of
data
from
each
packet
rather
than
the
default
of
68...
Setting
snaplen
to
0
means
use
the
required
length
to
catch
whole
packets
.
9,诊程序配置文件或启动参数
以上几个命令一看基本知道系统内脏情况,必要时查看具体程序的配置或启动参数,
查看是否连接数、磁盘数、内存数、进程线程数配置不合理。
10,诊日志
看具体程序运行日志、统计日志、耗时日志
vi
/
etc
/
syslog
.
conf
查看
linux系统
log在哪个目录
# vi /var/log/messages
查看最近系统运行日志,包括机器重启前后的日志、用户登录日志
dmesg
查看
linux启动日志
dmesg
|
grep
sda
查看启动日志中有关
sda这个磁盘分区参数
.
11,
gdb
core文件
如果已生成
coredump文件,则
gdb
program
core
.
*
*
*
有时也可以强制
coredump:
kill
-
s
SIGSEGV
pid
|
总之,遇到不能立即定位问题时,在那些时间以分秒计算的时候,想想“望闻问切”从远到近、从外到内、多角度地诊断思路。