1、批量巡检流程

通常脚本由三部分组成，包括：
（1）巡检脚本：实现对性能信息或指标的采集与回传；
（2）巡检脚本下发脚本：由主服务器通过Except工具分别根据待巡检服务器信息列表中的账号密码连接对应主机，将脚本下发至对应主机，再目标主机上执行巡检脚本；
（3）待巡检服务器信息列表：包括待巡检服务器的管理IP和登陆密码。
由于需要获取服务器软硬件和性能信息，则需要获得各服务器的root权限；
由于巡检信息需要回传至主服务器，则需要支持SCP命令；
由于实现需要主机间交互，则需要各主机之间支持Expect工具。

2、环境参数准备

2.1相关服务器信息

（1）日志上传目标服务器IP地址：作为参数输入或在脚本中预先设置，例如192.168.52.3；
（2）日志上传目标服务器root密码：作为参数输入或在脚本中预先设置，例如123456；
（3）待巡检服务器信息列表：文件格式，作为参数输入或在脚本中预先设置，每一行为一台服务器的IP地址和密码，例如：

（4）服务器支持Expect工具：

2.2日志存储路径

日志上传存储路径：/tmp/ checklog_directory
本地日志存储路径：/tmp/ local_serverlog_directory
巡检脚本文件存储路径：/tmp/check_script

3、Expect工具

Expect是建立在tcl基础上的用来进行自动化控制和测试的工具。
主要解决shell脚本中不可交互的问题。通常用于需要手动输入数据的场景，可在脚本中使用expect来实现自动化。
通常远程登录Linux服务器时，运行命令、脚本或程序时，这些命令、脚本或程序都需要在服务器回显某些提示符后，再次从终端输入某些继续运行的指令，由于回显提示符要求不固定，则这些输入都需要人为的手工进行。
例如正常远程登录Linux服务器和首次远程登录时服务器的响应步骤并不相同。此时则需要使用expect工具根据程序的提示，模拟标准输入提供给程序，从而实现自动化交互执行。

3.1、命令

Expect工具工作原理即为根据回显内容进行判断，进而执行下一步指令。其主要命令包括：

命令	说明
spawn	启动新的交互进程, 后面跟命令或者指定程序
expect	从进程中接收信息, 如果匹配成功, 就执行expect后的动作
send	向进程发送字符串
send exp_send	用于发送指定的字符串信息
exp_continue	在expect中多次匹配就需要用到
send_user	用来打印输出相当于shell中的echo
interact	允许用户交互
exit	退出expect脚本
eof	expect执行结束, 退出
set	定义变量
puts	输出变量
set timeout	设置超时时间

3.2、安装

（1）安装tcl：yum install -y tcl tclx tcl-devel

（2）安装expect：yum –y install expec

3.3、测试

（1）测试脚本

（2）测试结果

4、巡检脚本实现

4.1、脚本实现

文件名为：check_command.sh

#!/bin/bash
#

#检查是否为root权限，否则退出
[ $(id -u) -gt 0 ] && echo "please used the root or sudo " && exit 1

#设置参数
main_ipaddr=$1 #日志上传服务器IP
main_passwd=$2 #日志上传服务器密码
main_log_path="/tmp/checklog_directory" #日志上传路径
local_log_path="/tmp/local_serverlog_directory" #本地日志存储路径
LogName=`ifconfig | grep "inet"|sed '2,4d' |awk -F" " '{print $2}' ``echo "-"``date +%y%m%d%H%M%S` #构造日志名称

#获取系统信息
function get_status(){
echo -e "#系统基础信息："
OS=` head -n 1 /etc/centos-release ` #系统版本
Kernel=` uname -r ` #系统内核
Hostname=` hostname ` #主机名称
Default_lang=` echo $LANG ` #默认语言
Time=$(date +'%Y-%m-%d %H:%M:%S') #当前时间
Logintime=$(who -b |awk '{print $3,$4}') #此用户登录时间
Uptime=$(uptime|awk '{print $3}'|awk -F "," '{print $1}') #系统已运行时间
Ipaddr=$(ifconfig |grep 'inet ' |awk {'print$2'}|grep -v '127.0.0.1') #IP地址
Netmask=$(ifconfig|grep "inet"|sed '2,4d'|awk -F " " '{print $4}') #掩码
cpu_info=$(cat /proc/cpuinfo|grep "name"|cut  -d: -f2|awk '{print "*"$1,$2,$3,$4}'|uniq -c|sed 's/^[ \t]*//g') #CPU信息
cpu_type=$(grep 'model name' /proc/cpuinfo | uniq | awk -F":" '{print $2}') #CPU型号
cpu_arch=$(uname -m) #CPU架构
cpu_number_physical=$(grep 'physical id' /proc/cpuinfo | sort | uniq | wc -l) #物理CPU数
cpu_number_vir=$(grep 'processor' /proc/cpuinfo | wc -l) #逻辑CPU数
cpu_cores=$(grep 'cores' /proc/cpuinfo | uniq | awk -F":" '{print $NF}' ) #每CPU核心数
Sigle_memory_capacity=$(dmidecode|grep -P -A5 "Memory\s+Device"|grep "Size"|grep -v "Range"|grep '[0-9]'|awk -F ":" '{print $2}'|sed 's/^[ \t]*//g') #单内存容量
Maximum_memory_capacity=$(dmidecode -t 16|grep "Maximum Capacity"|awk -F ":" '{print $2}'|sed 's/^[ \t]*//g') #最大存储容量
Number_of_memory_slots=$(dmidecode -t 16|grep "Number Of Devices"|awk -F ":" '{print $2}'|sed 's/^[ \t]*//g') #内存卡槽数
Memory_total=$(cat /proc/meminfo|grep "MemTotal"|awk '{printf("MemTotal:%1.0fGB\n",$2/1024/1024)}'|awk -F ":" '{print $2}') #理论总内存
Product_name=$(dmidecode|grep -A10 "System Information"|grep "Product Name"|awk -F ":" '{print $2}'|sed 's/^[ \t]*//g') #内存品牌
Process_numbers=$(top -d 2 -n 1 -b|grep "Tasks" |awk -F':' '{print $2}'|awk -F" " '{print $1}') #总进程数
Process_running=$(top -d 2 -n 1 -b|grep "Tasks"|awk -F "[: ,]" '{print $8}') #活跃进程数
Process_sleeping=$(top -d 2 -n 1 -b|grep "Tasks"|awk -F "[: ,]" '{print $11}') #睡眠进程数
Process_stoping=$(top -d 2 -n 1 -b|grep "Tasks"|awk -F "[: ,]" '{print $16}') #停止进程数
Process_zombie=$(top -d 2 -n 1 -b|grep "Tasks"|awk -F "[: ,]" '{print $21}') #僵尸进程数
cpu_load=$(uptime | awk '{for(i=6;i<=NF;i++) printf $i""FS;print ""}') #系统负载
cpu_load_number=$(uptime | awk -F"load average:" '{print $2}' | awk -F"," '{print $1}' | awk -F"." '{print $1}' |sed 's/^[ \t]*//g') #获取近1分钟占用CPU内核数
cpu_user_space=$(top -d 2 -n 1 -b|grep 'C[Pp][Uu]'|head -1|awk -F "[:,]" '{print $2}'|awk -F" " '{print $1}') #用户空间占用CPU的百分比
cpu_system_space=$(top -d 2 -n 1 -b|grep 'C[Pp][Uu]'|head -1|awk -F "[:,]" '{print $3}'|awk -F" " '{print $1}') #内核空间占用CPU的百分比
cpu_idle=$(top -d 2 -n 1 -b|grep C[Pp][Uu]|grep id|awk -F"," '{print $4}'|awk -F" " '{print $1}') #空闲CPU
cpu_wait=$(top -d 2 -n 1 -b|grep 'C[Pp][Uu]'|head -1|awk -F "[:,]" '{print $6}'|awk -F" " '{print $1}') #等待占用CPU的百分比
Pem_totle_m=$(free -m |grep "Mem" |awk -F" " '{print $2"M"}') #实际总物理内存M
Mem_free_m=$(free -m |grep "Mem" |awk -F" " '{print $4"M"}') #实际可用内存M
Mem_used=$(top -d 2 -n 1 -b|grep "Mem"|head -1|sed 's/[:,]/ /g'|awk -F" " '{print $7}'|awk '{printf("%dM\n",$1/1024)}') #用户缓存容量
Mem_free=$( top -d 2 -n 1 -b|grep "Mem"|head -1|sed 's/[:,]/ /g'|awk -F" " '{print $5}'|awk '{printf("%dM\n",$1/1024)}') #空闲缓存容量
Mem_buffer=$(top -d 2 -n 1 -b|grep "Mem"|head -1|sed 's/[:,]/ /g'|awk -F" " '{print $9}'|awk '{printf("%dM\n",$1/1024)}') #缓冲缓存容量
Swap_total=$(top -d 2 -n 1 -b|grep "Swap"|awk -F" " '{print $3}'|awk '{printf("%dM\n",$1/1024)}') #交换分区总容量
Swap_free=$(top -d 2 -n 1 -b|grep "Swap"|awk -F" " '{print $5}'|awk '{printf("%dM\n",$1/1024)}') #交换分区空闲容量
Swap_used=$(top -d 2 -n 1 -b|grep "Swap"|awk -F" " '{print $7}'|awk '{printf("%dM\n",$1/1024)}') #交换分区占用容量
Swap_avail=$(top -d 2 -n 1 -b|grep "Swap"|awk -F" " '{print $9}'|awk '{printf("%dM\n",$1/1024)}') #交换分区可用容量
rx_pck=$(sar -n DEV 1 1 |sed '1,4d'|sed '2,$d'|awk -F" " '{print $3}') #网卡1每秒接收数据包数
tx_pck=$(sar -n DEV 1 1 |sed '1,4d'|sed '2,$d'|awk -F" " '{print $4}') #网卡1每秒发送数据包数
rx_kB=$(sar -n DEV 1 1 |sed '1,4d'|sed '2,$d'|awk -F" " '{print $5}') #网卡1每秒接收字节数
tx_kB=$(sar -n DEV 1 1 |sed '1,4d'|sed '2,$d'|awk -F" " '{print $6}') #网卡1每秒发送字节数
echo -e "系统版本|$OS
系统内核|$Kernel
主机名称|$Hostname
默认语言|$Default_lang
当前时间|$Time
此用户登录时间|$Logintime
系统已运行时间|$Uptime
IP地址|$Ipaddr
掩码|$Netmask
CPU信息|$cpu_info
CPU型号|$cpu_type
CPU架构|$cpu_arch
物理CPU数|$cpu_number_physical
逻辑CPU数|$cpu_number_vir
每CPU核心数|$cpu_cores
单内存容量|$Sigle_memory_capacity
最大存储容量|$Maximum_memory_capacity
内存卡槽数|$Number_of_memory_slots
理论总内存|$Memory_total
内存品牌|$Product_name
总进程数|$Process_numbers
活跃进程数|$Process_running
睡眠进程数|$Process_sleeping
停止进程数|$Process_stoping
僵尸进程数|$Process_zombie
系统负载|$cpu_load
获取近1分钟占用CPU内核数|$cpu_load_number
用户空间占用CPU的百分比|$cpu_user_space
内核空间占用CPU的百分比|$cpu_system_space
空闲CPU|$cpu_idle
等待占用CPU的百分比|$cpu_wait
实际总物理内存M|$Pem_totle_m
实际可用内存M|$Mem_free_m
用户缓存容量|$Mem_used
空闲缓存容量|$Mem_free
缓冲缓存容量|$Mem_buffer
交换分区总容量|$Swap_total
交换分区空闲容量|$Swap_free
交换分区占用容量|$Swap_used
交换分区可用容量|$Swap_avail
网卡1每秒接收数据包数|$rx_pck
网卡1每秒发送数据包数|$tx_pck
网卡1每秒接收字节数|$rx_kB
网卡1每秒发送字节数|$tx_kB"
}

#获取磁盘状态信息
function get_disk_status(){
echo -e "#磁盘使用情况："
    IFS="
        "
    for i in ` df -iP | sed 1d | awk '{print $(NF-1)"\t"$NF"\t"$(NF-2)}'`;do
    DISK_UTILIZ=$( echo $i |awk '{print $1}') #利用率
    MOUNT_DISK=$(echo $i |awk '{print $2}') #挂载点
    DISK_FREE=$(echo $i |awk '{print $3}') #分区大小
    if [[ $(echo $MOUNT_DISK | sed s/%//g) -gt 70 ]];then
    echo "异常""("$MOUNT_DISK"使用率为"$DISK_UTILIZ",超过70%)"
    else
        continue
    fi
    done
df -hP |sed 1d |awk '{print $NF" ""分区"" ""剩余空间"" "$(NF-2),"使用率"" "$(NF-1)}'
}

#获取CPU状态
function get_cup_status(){
echo -e "#CPU状态"
cpu_number=$(cat /proc/cpuinfo |grep name |cut -d: -f2 |uniq -c |awk '{print $1}') #提取CPU核数
cpu_load_number=$(uptime | awk -F"load average:" '{print $2}' | awk -F"," '{print $1}' | awk -F"." '{print $1}' |sed 's/^[ \t]*//g') #获取近1分钟占用CPU内核数
if [[ $cpu_load_number -lt $cpu_number ]];then
    CPU_STATUS=正常
else
    CPU_STATUS=异常
fi
}

#获取内存状态
function get_memory_status(){
echo -e "#内存状态："
MEM_TOTLE=$(free -m |grep "Mem" |awk -F" " '{print $2}') #总物理内存
MEM_FREE=$(free -m |grep "Mem" |awk -F" " '{print $4}') #可用内存
MEM_TOTLE_M=$(free -m |grep "Mem" |awk -F" " '{print $2"M"}') #总物理内存M
MEM_FREE_M=$(free -m |grep "Mem" |awk -F" " '{print $4"M"}') #可用内存M
MEM_USED=$(echo $(($MEM_TOTLE-$MEM_FREE))) #总占用内存
PERCENT=$(printf "%d%%" $(($MEM_USED*100/$MEM_TOTLE))) #内存占用率
PERCENT_N=$(echo $PERCENT|sed s/%//g) #内存占用率数值
if [[ $PERCENT_N -lt 80 ]];then
    MEM_STATUS=正常
else
    MEM_STATUS=异常
fi
echo -e "$MEM_STATUS\n"总内存大小："$MEM_TOTLE_M,"剩余内存大小："$MEM_FREE_M,"内存使用率"$PERCENT"
}

#检测是否存在暴力破解密码
function get_ssh_deny(){
echo -e "#是否存在暴力破解密码："
SYSTEM_TYPE=$(head -n 1 /etc/os-release |awk -F"=" '{print $2}'|awk -F" " '{print $1}'|sed 's/"//g') #获取系统类型
if [[ $SYSTEM_TYPE = 'CentOS' ]];then
    SSH_SUM=$(cat /var/log/secure |grep "authentication failure" |wc -l)
    SSH_DIY=10
    if [[ $SSH_SUM -gt $SSH_DIY ]];then
        echo ""请注意，密码尝试次数为"$SSH_SUM"
    else
        echo "正常"
    fi
else
    echo "系统类型不支持"
fi
}

#检查开机自启任务
function get_auto_start_status() {
echo -e "#开机自启任务"
conf=$(grep -v "^#" /etc/rc.d/rc.local | sed '/^$/d')
echo "$conf"
}

#检查可登陆用户与无密码的用户
function get_user(){
echo -e "#可登陆用户与无密码的用户："
/usr/bin/w #当前在线用户信息
user=$(cat /etc/passwd|awk -F":" '$7 ~"/bin/bash"{print $1}') #可登陆用户
echo -e "可登陆用户：\n$user"
echo "未设置密码用户："
for i in $user ;do
cat /etc/shadow|grep $i|awk -F":" '$2 ~"!!"{print $1,$2}' #未设置密码的用户
done
}

#检查计划任务
function get_corn(){
echo -e "#计划任务："
user=` cat /etc/passwd |awk -F":" '$7 ~"/bin/bash"{print $1}' ` #获取用户列表
for cronuser in $user;do
    crontab -l -u $cronuser > /dev/null 2>&1
    if [ $? -eq 0 ];then
        echo "$cronuser"
        echo "######"
        crontab -l -u $cronuser | grep -vE "^#|^$"
        echo "######"
    else
        echo "用户$cronuser不存在计划任务"
    fi
done
}

#检查进程状态
function get_process(){
echo -e "#是否存在僵尸进程："
if  [[ $(ps -aux | grep Zs |grep -v grep | wc -l ) -ge 1 ]];then #检查僵尸进程是否存在
    echo "存在僵尸进程"
    ps -aux |grep Zs |grep -v grep #输出僵尸进程信息
else
    echo "不存在僵尸进程"
fi
echo -e "内存占用率TOP10进行列表："
ps aux | awk '{print $2, $4, $6, $11}' | sort -k3rn | head -n 10 #获取内存占用率TOP10进行列表
echo -e "CPU利用率TOP10进行列表："
top b -n1 | head -17 | tail -11 #获取CPU利用率TOP10进行列表
}

#获取系统巡检信息并写入本地巡检日志
function check_gather_log(){
if [ ! -x "$local_log_path" ];then #判断本地日志存储路径是否存在
    mkdir "$local_log_path" #创建本地日志存储路径
fi
if [ -f "$local_log_path/$LogName.log" ];then #判断日志文件是否存在
    rm -rf $local_log_path/$LogName.log #删除已存在日志文件
fi
touch $local_log_path/$LogName.log #创建日志文件
get_status>>$local_log_path/$LogName.log #调用对应方法并将巡检结果写入日志文件
get_disk_status>>$local_log_path/$LogName.log
get_cup_status>>$local_log_path/$LogName.log
get_memory_status>>$local_log_path/$LogName.log
get_ssh_deny>>$local_log_path/$LogName.log
get_auto_start_status>>$local_log_path/$LogName.log
get_user>>$local_log_path/$LogName.log
get_corn>>$local_log_path/$LogName.log
get_process>>$local_log_path/$LogName.log
}

#执行巡检
check_gather_log

#执行日志回传
scp_log_to_main_server="scp $local_log_path/$LogName.log root@$main_ipaddr:$main_log_path"

#调用Expect工具辅助日志回传的密码验证过程
/usr/bin/expect<<EOF
    set timeout 20
    spawn $scp_log_to_main_server
    expect {
        "*yes/no)?" 
        { 
            send "yes\n"
            "*password:*" {send "main_passwd\n"}
        } 
        "*password:"         
        {
            send "$main_passwd\n"
        }
    }
    expect "*password:"  { send "$main_passwd\n" }
    expect "100%"
    expect eof
EOF

4.2、脚本准备

设置文件可执行权限：chmod +x check_command.sh
复制文件至目标路径：cp check_command.sh /tmp/check_script/

5、下发脚本实现

5.1、在目标服务器上创建脚本存储路径

文件名：check_expect_mkdir.sh

#!/usr/bin/expect
set timeout 30
set server_ip [lindex $argv 0]
set server_passwd [lindex $argv 1]
set CheckScriptPath [lindex $argv 2]

spawn ssh -o StrictHostKeyChecking=no root@$server_ip
    expect {
        "*yes/no)?" 
        { 
            send "yes\n"
            "*password:*" {send "server_passwd\n"}
        } 
        "*password:*"         
        {
            send "$server_passwd\n"
        }
    }
    expect "*password:*"  { send "$server_passwd\n" }
    expect "*#" { send "mkdir $CheckScriptPath\n"}
    expect eof
exit

5.2、将巡检脚本下发至目标服务器

文件名：check_expect_upload.sh

#!/usr/bin/expect
set timeout 30
set server_ip [lindex $argv 0]
set server_passwd [lindex $argv 1]
set check_script_path [lindex $argv 2]

spawn scp $check_script_path/check_command.sh root@$server_ip:$check_script_path
    expect {
        "*yes/no)?" 
        { 
            send "yes\n"
            "*password:*" {send "server_passwd\n"}
        } 
        "*password:*"         
        {
            send "$server_passwd\n"
        }
    }
    expect "*password:*"  { send "$server_passwd\n" }
    expect "100%"
    expect eof
exit

5.3、在目标服务器上执行巡检脚本

文件名：check_expect_do.sh

#!/usr/bin/expect    
set timeout 20
set server_ip [lindex $argv 0]
set server_passwd [lindex $argv 1]
set check_script_path [lindex $argv 2]
set main_ipaddr [lindex $argv 3]
set main_passwd [lindex $argv 4]

spawn  ssh -o StrictHostKeyChecking=no root@$server_ip
    expect {
        "*yes/no)?" 
        { 
            send "yes\n"
            "*password:*" {send "server_passwd\n"}
        } 
        "*password:"         
        {
            send "$server_passwd\n"
        }
    }
    expect "*password:"  { send "$server_passwd\n" }
    expect "*#" { send "cd $check_script_path;./check_command.sh $main_ipaddr $main_passwd\n" }
    expect eof
exit

5.4、控制脚本下发与执行

文件名：check_ctrl2.sh

#!/bin/bash
#
#加载参数
login_info=$1 #参数1，待巡检服务器文件
main_ipaddr=$2 #参数2，日志上传目标服务器IP地址
main_passwd=$3 #参数3，日志上传目标服务器登陆密码 
main_log_path="/tmp/checklog_directory" #日志上传目标服务器日志存储路径
check_script_path="/tmp/check_script" #巡检脚本文件存储路径

#检测参数数量，如果参数数量异常则输出提示
if [ $# -ne 3 ];then
    echo -e "parameters if fault!\n"
    exit;
fi

#解析登陆列表
cat $login_info |while read line
do
server_ip=` echo $line |awk '{print $1}' ` #读取目标服务器IP
server_passwd=` echo $line |awk '{print $2}' ` #读取目标服务器密码
echo -e "\n######当前服务器：$server_ip######\n"
./check_expect_mkdir.sh $server_ip $server_passwd $check_script_path #创建脚本存储路径
./check_expect_upload.sh $server_ip $server_passwd $check_script_path #下发测试脚本
./check_expect_do.sh $server_ip $server_passwd $check_script_path $main_ipaddr $main_passwd #执行巡检脚本

done

6、测试执行

脚本执行：./check_ctrl2.sh server_info_file.txt 192.168.52.3 123456

执行结果：

日志内容：

通过Shell脚本实现批量Linux服务器巡检

1、批量巡检流程

2、环境参数准备

2.1相关服务器信息

2.2日志存储路径

3、Expect工具

3.1、命令

3.2、安装

3.3、测试

4、巡检脚本实现

4.1、脚本实现

4.2、脚本准备

5、下发脚本实现

5.1、在目标服务器上创建脚本存储路径

5.2、将巡检脚本下发至目标服务器

5.3、在目标服务器上执行巡检脚本

5.4、控制脚本下发与执行

6、测试执行

热门文章

最新文章

相关课程

相关电子书

相关实验场景

推荐镜像

热门

活动广场

任务中心

开发者评测

高校计划

乘风者计划

训练营

阿里云MVP

话题

直播

下载

镜像站

技术资料

插件

通过Shell脚本实现批量Linux服务器巡检

1、批量巡检流程

2、环境参数准备

2.1相关服务器信息

2.2日志存储路径

3、Expect工具

3.1、命令

3.2、安装

3.3、测试

4、巡检脚本实现

4.1、脚本实现

4.2、脚本准备

5、下发脚本实现

5.1、在目标服务器上创建脚本存储路径

5.2、将巡检脚本下发至目标服务器

5.3、在目标服务器上执行巡检脚本

5.4、控制脚本下发与执行

6、测试执行

热门文章

最新文章

相关课程

相关电子书

相关实验场景

推荐镜像