Linux系统性能监控工具：tsar 安装、配置、以及使用

介绍

tsar 是淘宝自己开发的一个监控工具，可用于收集和汇总系统信息，例如CPU，负载，IO和应用程序信息，例如nginx，HAProxy，Squid等。结果可以存储在本地磁盘或发送到Nagios。

tsar 可以通过自己开发模块轻松扩展，这使得它成为一个强大的监控工具。

总体架构

Tsar是基于模块化设计的程序，程序有两部分组成：框架和模块。
框架程序源代码主要在src目录，而模块源代码主要在modules目录中。
框架提供对配置文件的解析，模块的加载，命令行参数的解析，应用模块的接口对模块原始数据的解析与输出。 模块提供接口给框架调用。
tsar依赖与cron每分钟执行采集数据，因此它需要系统安装并启用crond，安装后，tsar每分钟会执行tsar –cron来定时采集信息，并且记录到原始日志文件。

安装

tsar 已上传至GitHub上，您可以克隆并安装，如下：

cd tsar
$ make

make install

或者您可以下载zip文件并安装它：

unzip tsar.zip
make

make install

安装后，您可能会看到这些文件：

/etc/tsar/tsar.conf，这是tsar的主配置文件;
/etc/cron.d/tsar，用于运行tsar每分钟收集信息;
/etc/logrotate.d/tsar 将每个月轮流tsar的日志文件;
/usr/local/tsar/modules 是所有模块库（* .so）所在的目录;

配置

定时任务配置:/etc/cron.d/tsar

$cat /etc/cron.d/tsar

cron tsar collect once per minute

MAILTO=""

• • • • • root /usr/bin/tsar --cron > /dev/null 2>&1

默认情况下，安装后没有输出显示。只需运行tsar -l即可查看实时监控是否有效，例如：

[kongjian@tsar]$ tsar -l -i 1
Time ---cpu-- ---mem-- ---tcp-- -----traffic---- --xvda-- -xvda1-- -xvda2-- -xvda3-- -xvda4-- -xvda5-- ---load-
Time util util retran pktin pktout util util util util util util load1
11/04/13-14:09:10 0.20 11.57 0.00 9.00 2.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00
11/04/13-14:09:11 0.20 11.57 0.00 4.00 2.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00

通常，我们通过简单的编辑来配置tsar/etc/tsar/tsar.conf：

添加一个模块，添加一行 mod_<yourmodname> on
要启用或禁用模块，请使用 mod_<yourmodname> on/off
要指定模块的参数，请使用 mod_<yourmodname> on parameter
output_stdio_mod 将模块输出设置为标准I / O
output_file_path是设置历史数据文件，（你也应该修改logrotate脚本/etc/logrotate.d/tsar）
output_interface指定tsar数据输出目标，默认情况下是本地文件。有关详细信息，请参阅高级部分。

用法

null：查看默认的mods历史数据， tsar
--modname：指定要显示的模块， tsar --cpu
-L / - 列表：列表可用moudule， tsar -L
-l / - live：显示实时信息， tsar -l --cpu
-i / - interval：报告的设置间隔， tsar -i 1 --cpu
-s / - spec：指定模块详细信息字段， tsar --cpu -s sys,util
-D / - 细节：不要将数据转换为K / M / G， tsar --mem -D
-m / - merge：合并乘数为1， tsar --io -m
-I / - item：显示spec项目数据， tsar --io -I sda
-d / - date：指定数据，YYYYMMDD或n表示n天前
-C / - 检查：显示最后的收集数据
-h / - 帮助：显示帮助， tsar -h

在tsar的使用中，可以参考下面的帮助信息，完成对应的监控。

$tsar -h
Usage: tsar [options]
Options:
-check 查看最后一次的采集数据
--check/-C 查看最后一次tsar的提醒信息，如：tsar --check / tsar --check --cpu --io
--cron/-c 使用crond模式来进行tsar监控
--interval/-i 指明tsar的间隔时间，默认单位分钟,带上--live参数则单位是秒
--list/-L 列出启用的模块
--live/-l 查看实时数据
--file/-f 指定输入文件
--ndays/-n 指定过去的数据天数，默认1天
--date/-d 指定日期,YYYYMMDD或者n代表n天前
--detail/-D 能够指定查看主要字段还是模块的所有字段
--spec/-s 指定字段,tsar –cpu -s sys,util

Modules Enabled:
--cpu 列出cpu相关的监控计数
--mem 物理内存的使用情况
--swap 虚拟内存的使用情况
--tcp TCP 协议 IPV4的使用情况
--udp UDP 协议 IPV4的使用情况
--traffic 网络传出的使用情况
--io Linux IO的情况
--pcsw 进程和上下文切换
--partition 磁盘使用情况
--tcpx TCP 连接相关的数据参数
--load 系统负载情

tsar监控虚存和load情况

下图列出了对应的系统swap使用，load的使用情况。

$tsar --swap --load
Time ---------------swap------------- -------------------load-----------------
Time swpin swpout total util load1 load5 load15 runq plit
23/08/15-21:30 0.00 0.00 1.9G 0.00 1.32 1.37 1.38 2.00 12.4K
23/08/15-21:35 0.00 0.00 1.9G 0.00 1.20 1.29 1.34 21.00 12.4K
23/08/15-21:40 0.00 0.00 1.9G 0.00 1.28 1.25 1.31 2.00 12.4K
23/08/15-21:45 0.00 0.00 1.9G 0.00 1.44 1.26 1.29 3.00 12.4K
23/08/15-21:50 0.00 0.00 1.9G 0.00 1.54 1.30 1.29 3.00 12.4K
23/08/15-21:55 0.00 0.00 1.9G 0.00 0.94 1.36 1.34 4.00 12.4K
23/08/15-22:00 0.00 0.00 1.9G 0.00 1.10 1.32 1.33 4.00 12.5K

tsar 内存使用情况

下图列出了系统内存的使用情况

$tsar --mem
Time -----------------------mem----------------------
Time free used buff cach total util
23/08/15-21:25 2.1G 5.7G 0.00 164.0M 8.0G 71.44
23/08/15-21:30 2.1G 5.7G 0.00 181.4M 8.0G 71.43
23/08/15-21:35 2.1G 5.7G 0.00 213.9M 8.0G 71.42
23/08/15-21:40 2.1G 5.7G 0.00 233.8M 8.0G 71.43
23/08/15-21:45 1.4G 5.7G 0.00 924.6M 8.0G 71.43
23/08/15-21:50 1.4G 5.7G 0.00 889.4M 8.0G 71.42

tsar io使用情况

下图列出了使用tsar来监控系统IO情况

$tsar --io
Time ------------------------------------------sda-------------------------------------------
Time rrqms wrqms rs ws rsecs wsecs rqsize qusize await svctm util
23/08/15-21:25 0.28 3.4K 184.40 389.25 4.9K 15.0K 35.47 3.00 6.35 0.29 16.44
23/08/15-21:30 0.00 3.2K 109.71 382.74 2.5K 14.5K 35.27 3.00 7.33 0.30 14.68
23/08/15-21:35 0.15 3.1K 156.91 342.16 3.8K 13.8K 36.15 3.00 6.60 0.29 14.37
23/08/15-21:40 0.86 3.3K 234.00 371.43 6.9K 14.6K 36.43 3.00 5.93 0.28 16.83
23/08/15-21:45 0.72 3.4K 376.80 357.13 11.7K 14.8K 37.03 3.00 4.84 0.25 18.50

tsar 网络监控统计

$tsar --traffic
Time ---------------------traffic--------------------
Time bytin bytout pktin pktout pkterr pktdrp
23/08/15-21:30 548.5K 353.4K 1.0K 1.2K 0.00 0.00
23/08/15-21:35 762.4K 440.4K 1.2K 1.4K 0.00 0.00
23/08/15-21:40 540.2K 344.0K 1.0K 1.1K 0.00 0.00
23/08/15-21:45 640.3K 365.0K 1.1K 1.2K 0.00 0.00
23/08/15-21:50 564.4K 364.1K 1.1K 1.2K 0.00 0.00
23/08/15-21:55 599.8K 327.6K 1.1K 1.1K 0.00 0.00

$tsar --tcp --udp -d 1
Time -------------------------------tcp------------------------------ ---------------udp--------------
Time active pasive iseg outseg EstRes AtmpFa CurrEs retran idgm odgm noport idmerr
23/08/15-00:05 0.79 1.52 1.6K 2.1K 0.00 0.03 3.4K 0.02 0.00 2.00 0.00 0.00
23/08/15-00:10 0.73 1.40 884.25 921.56 0.00 0.03 3.4K 0.01 0.00 3.00 0.00 0.00
23/08/15-00:15 0.77 1.46 959.62 1.0K 0.00 0.03 3.4K 0.01 0.00 3.00 0.00 0.00
23/08/15-00:20 0.69 1.43 1.0K 1.0K 0.00 0.03 3.4K 0.01 0.00 3.00 0.00 0.00
23/08/15-00:25 0.72 1.42 1.2K 1.1K 0.00 0.03 3.4K 0.00 0.00 3.00 0.00 0.00

tsar 检查告警信息

查看最后一次tsar的提醒信息,这里包括了系统的cpu,io的告警情况。

$tsar --check --cpu --io
localhost.localdomain tsar cpu:user=25.0 cpu:sys=2.1 cpu:wait=0.1 cpu:hirq=0.0 cpu:sirq=0.2 cpu:util=27.4 io:sda:rrqms=0.0 io:sda:wrqms=4172.4 io:sda:rs=80.3 io:sda:ws=493.0 io:sda:rsecs=1664.0 io:sda:wsecs=18661.7 io:sda:rqsize=35.5 io:sda:qusize=4.0 io:sda:await=7.7 io:sda:svctm=0.3 io:sda:util=18.5

tsar 历史数据回溯

通过参数-d 2 可以查出两天前到现在的数据，-i 1 表示以每次1分钟作为采集显示。

$tsar -d 2 -i 1
Time ---cpu-- ---mem-- ---tcp-- -----traffic---- --sda--- ---load-
Time util util retran bytin bytout util load1
22/08/15-00:02 ------ 71.40 0.03 754.2K 421.4K 14.38 1.59
22/08/15-00:03 34.55 71.41 0.01 773.7K 400.9K 13.39 1.42
22/08/15-00:04 31.80 71.41 0.03 708.6K 391.9K 12.88 1.54
22/08/15-00:05 28.70 71.40 0.00 544.5K 305.9K 11.32 1.68
22/08/15-00:06 25.83 71.41 0.02 521.1K 280.4K 13.32 1.48
22/08/15-00:07 25.68 71.42 0.00 495.0K 265.2K 12.08 1.21
22/08/15-00:08 30.89 71.41 0.01 811.0K 280.1K 14.92 0.92
22/08/15-00:09 23.83 71.41 0.03 636.7K 349.4K 11.81 1.47

高级

输出到Nagios

要打开它，只需output_interface file,nagios在主配置文件中设置输出类型。

您还应该指定Nagios的IP地址，端口和发送间隔，例如：

The IP address or the hostname running the NSCA daemon

server_addr nagios.server.com

The port on which the daemon is listening - by default it is 5667

server_port 8086

The cycle (interval) of sending alerts to Nagios

cycle_time 300

由于tsar使用Nagios的被动模式，因此您应该指定nsca二进制文件及其配置文件，例如：

nsca client program

send_nsca_cmd /usr/bin/send_nsca
send_nsca_conf /home/a/conf/amon/send_nsca.conf

然后指定要检查的模块和字段。有4个阈值级别。

tsar mod alert config file

threshold servicename.key;w-min;w-max;c-min;cmax;

threshold cpu.util;50;60;70;80;

输出到MySQL

要使用此功能，只需output_interface file,db在tsar的配置文件中添加输出类型即可。

然后指定哪些模块将被启用：

output_db_mod mod_cpu,mod_mem,mod_traffic,mod_load,mod_tcp,mod_udpmod_io

请注意，您应该设置tsar2db监听的IP地址（或主机名）和端口，例如：

output_db_addr console2:56677

Tsar2db接收sql数据并将其刷新到MySQL。有关tsar2db的更多信息，请访问https://github.com/alibaba/tsar2db。

模块开发

tsar 容易扩展。无论何时您想要的信息尚未由tsar收集，您可以编写一个模块。

首先，安装tsardevel工具（make tsardevel将为您做这个）：

然后运行tsardevel <yourmodname>，你会得到一个名为yourmodname的目录，例如：

[kongjian@tsar]$ tsardevel test
build:make
install:make install
uninstall:make uninstall

[kongjian@tsar]$ ls test
Makefile mod_test.c mod_test.conf

您可以根据需要修改test.c中的read_test_stats（）和set_test_record（）函数。然后运行make;make install安装您的模块并运行tsar --yourmodname以查看输出。