运维:Linux服务器崩了怎么办,快来看看这份”急救命令指南“吧!

本文涉及的产品
日志服务 SLS,月写入数据量 50GB 1个月
简介: 当服务器出现问题,如崩溃、内存耗尽或CPU使用率过高时,运维工程师需要保持冷静,并通过一系列Shell命令来诊断和解决。首先,检查是否有异常SSH登录活动,查看`/etc/passwd`和`.bash_history`文件,以及用户最近的登录信息。接着,监控网络连接和端口,使用`netstat`和`lsof`命令找出资源占用高的进程,并查看进程启动时间和详细信息。同时,排查可能的恶意文件,检查定时任务和服务配置以确保没有异常启动项。最后,分析系统日志,如`/var/log`目录下的各种日志文件,找出潜在问题。通过这些步骤,可以有效定位和解决服务器故障。


image.png

作为运维工程师来说,最怕遇到服务器崩了、内存爆了、CPU满了等情况,尤其对于生产环境来说影响是非常巨大的。对于运维工程师来说可能面临被“炒鱿鱼”的风险。那么遇到这种情况怎么办呢,首先是要沉着冷静,然后按照下面的Shell命令来排查服务器本身的问题。

通过系统运行状态、安全设备告警,主机异常现象来发现可疑现象通常的可疑现象有:资源占用、异常登录、异常文件、异常连接、异常进程等。

1、SSH登录用户层面排查

通过日志如果发现有异常用户活动,比如:尝试多次登录失败、执行不正常的命令等,那么有可能你的服务器正在被攻击,这个时候应该及时采取限制SSH用户措施,包括禁止用户登录、立即修改用户密码等。

           1.    查看 uid 或 gid 为 0 的用户(默认系统只存在root一个特权账户)

grep :0 /etc/passwd

image.png

查看 passwd 文件的最后修改记录,确认近期是否有人修改过登录密码

stat /etc/passwd

检查有SSH登录权限的用户

cat /etc/passwd | grep bash

image.png

查看用户登录最近10条登录信息

last -n 10

image.png

查看空口令的用户,及时清理或者设置密码

awk -F: 'length($2)==0 {print $1}' /etc/passwd

查看可以远程登录的帐号信息

awk '/\$1|\$6/{print $1}' /etc/shadow

image.png

2、历史命令排查

通过历史执行命令,可以确认是否有可疑的执行命令。history 记录位于用户 home 目录下的 .bash_history 文件中,命令如下:

cat ~/.bash_history

image.png

3、网络排查

检查系统上正在监听的网络连接和端口情况,以及用户的网络活动,排查可能存在异常的网络行为。

查看本机开放的端口信息

netstat -antulp 
ss -antulp 
lsof -i

image.png

查看当前已建立的 TCP 连接

netstat -antulp | grep ESTABLISHED

image.png

查看 DNS 配置信息:

cat /etc/resolv.conf

image.png

4、进程排查

Linux 默认的进程权限分离,每个进程有不同的权限,所以从进程用户名上能给我们很多信息。比如 webshell 执行反弹连接,会显示 apache 的用户权限。

查看资源占用

top

image.png

然后使用组合键shift+m 按照内存排序,方便排查问题

image.png

查看所有进程

ps -ef

image.png

根据进程 PID 查看进程详细信息

lsof -p PID

查看进程的启动时间

ps -p PID -o lstart

查看进程树

pstree

image.png

           5、    文件排查

通过文件排查确认近期是否有恶意脚本等文件写入服务器。

查找根目录下,修改时间小于2天的文件

find / -mtime -2

查找home目录下修改时间小于1天的sh文件

find /home/ -mtime -1 -name *.sh

6、持久化排查

Linux的持久化方式包括定时任务、开机服务、开机启动、驱动加载。通过该命令确认是否存在异常的开机启动项、定时任务等等。

定时任务排查

列出当前用户的定时任务列表:

crontab -l

image.png

开机启动项排查

查看系统服务

查看所有系统服务的状态和启动方式

systemctl list-unit-files --type=service

image.png

查看当前正在运行的服务,用来分析是否有不正常的服务运行

systemctl list-units --type=service --all

image.png

7、日志文件排查

Linux系统 使用 rsyslog 管理日志,包括系统登录日志、服务访问日志、网站日志、数据库日志等。

日志默认存放位置 /var/log/ 目录,

image.png

查看日志配置文件存放目录 vim /etc/rsyslog.conf

常见的日志文件如下:

/var/log/messages:内核及公共消息日志,会记录linux系统的绝大多数重要信息

/var/log/cron:系统定时任务相关的日志

/var/log/dmesg:系统引导日志,系统在开机时内核自检的信息,dmesg命令直接查看

/var/log/boot.log:记录系统在引导过程中发生的,包含系统启动时的日志,包括自启动的服务

/var/log/secure:用户验证相关的安全性事件,如SSH登录,su切换用户,sudo授权等

/var/run/utmp:正在登录系统的用户信息,默认由who和w记录当前登录用户的信息

/var/log/wtmp:当前登录用户详细信息,二进制文件,使用last命令来查看

/var/log/btmp:记录错误登录日志,二进制文件,使用lastb命令查看

/var/log/lastlog:用户最后一次登录时间的日志,二进制文件,使用lastlog命令查看

 /var/log/maillog:邮件系统日志

服务器高频安装服务的默认日志路径:

Nginx日志:

/var/log/nginx/access.log

Apache日志:

/var/log/httpd/access.log

/var/log/apache/ access.log

/var/log/apache2/ access.log

/var/log/httpd-access.log

Mysql日志:

/var/log/mysql/

相关实践学习
日志服务之数据清洗与入湖
本教程介绍如何使用日志服务接入NGINX模拟数据,通过数据加工对数据进行清洗并归档至OSS中进行存储。
相关文章
|
6天前
|
Linux 测试技术 数据安全/隐私保护
阿里云Linux os copilot 运维助手初体验
阿里云Linux os copilot 初体验
50 1
阿里云Linux os copilot 运维助手初体验
|
4天前
|
弹性计算 运维 Linux
阿里云Linux os copilot 运维助手初体验
摘要(Markdown格式): 在阿里云ECS上体验了Linux编程助手OS Copilot,步骤包括申请账户、开通ECS、安装Copilot。Copilot准确解释代码、快速响应问答、辅助编程,尤其在代码生成和注解上表现出色。作为运维人员,认为其简化了工作,给出8分评价,并愿意推荐给他人。期望它能支持更多操作系统,优化代码直接运行功能,并与更多阿里云产品集成。目前只体验了Copilot的基础功能,未与其他类似产品对比。
|
7天前
|
网络协议 Linux
云服务器内部端口占用,9090端口已经存在了,如何关闭,Linux查询端口,查看端口,端口查询,关闭端口写法-netstat -tuln,​fuser -k 3306/tcp​
云服务器内部端口占用,9090端口已经存在了,如何关闭,Linux查询端口,查看端口,端口查询,关闭端口写法-netstat -tuln,​fuser -k 3306/tcp​
|
7天前
|
运维 监控 大数据
部署-Linux01,后端开发,运维开发,大数据开发,测试开发,后端软件,大数据系统,运维监控,测试程序,网页服务都要在Linux中进行部署
部署-Linux01,后端开发,运维开发,大数据开发,测试开发,后端软件,大数据系统,运维监控,测试程序,网页服务都要在Linux中进行部署
|
7天前
|
大数据 Linux 程序员
软件开发常见流程之服务器+Linux部署项目,会用服务器+Linux部署项目资料
软件开发常见流程之服务器+Linux部署项目,会用服务器+Linux部署项目资料
|
8天前
|
负载均衡 Java Linux
黑马头条01,环境搭建,今日头条的介绍,今日头条的功能架构图,技术栈的说明,服务层,nacos(奶靠丝)安装,安装在Linux服务器上环境准备,
黑马头条01,环境搭建,今日头条的介绍,今日头条的功能架构图,技术栈的说明,服务层,nacos(奶靠丝)安装,安装在Linux服务器上环境准备,
|
9天前
|
安全 固态存储 Linux
服务器linux操作系统重装的完整流程-傻瓜式教学
服务器linux操作系统重装的完整流程-傻瓜式教学
|
2天前
|
数据挖掘 Linux 数据处理
Linux命令shuf详解:随机排序与数据分析的得力助手
`shuf`是Linux的命令行工具,用于随机排序和抽样数据。它能对文件或标准输入进行随机处理,适用于数据测试、播放列表和样本选择。主要参数包括:-e处理命令行输入,-i指定数字范围,-n选择行数,-o输出到文件,-r允许重复,-z用NULL分隔。结合其他命令使用能增强其功能。注意输出重定向和随机性的保证。是数据分析的有力助手。
|
1天前
|
运维 监控 网络协议
Linux抓包命令tcpdump使用技巧大全
【7月更文挑战第10天】
16 4
Linux抓包命令tcpdump使用技巧大全
|
2天前
|
安全 Linux 数据处理
Linux命令shred详解:数据安全删除的艺术
`shred`是Linux下用于安全删除文件的命令,它通过多次随机覆盖确保数据无法恢复。工作原理包括默认三次的覆盖,用户可自定义次数。主要特点有:多次覆盖、可定制、灵活操作和安全删除。示例:`shred -n 5 -z -v -u file.txt`(覆盖5次,填充0,删除文件)。使用时注意确认文件、备份数据、检查权限和文件系统兼容性。最佳实践是结合`rm`使用,根据敏感度选择覆盖次数。