服务器遇到大流量***的处理过程

简介: 案例描述早上接到IDC的电话,说我们的一个网段IP不停的向外发包,应该是被***了,具体哪个IP不知道,让我们检查一下。按理分析及解决办法首先我们要先确定是哪台机器的网卡在向外发包,还好我们这边有zabbix监控,我就一台一台的检查,发现有一台的流量跑满了,问题应该出现在这台机器上面。

案例描述

早上接到IDC的电话,说我们的一个网段IP不停的向外发包,应该是被***了,具体哪个IP不知道,让我们检查一下。

按理分析及解决办法

首先我们要先确定是哪台机器的网卡在向外发包,还好我们这边有zabbix监控,我就一台一台的检查,发现有一台的流量跑满了,问题应该出现在这台机器上面。



wKiom1hUm_Oy2XCKAAbkZftLUrw035.png我登录到机器里面,查看了一下网卡的流量,我的天啊,居然跑了这个多流量。


wKioL1hUnBuArH50AAe96G8Is4I339.png

这台机器主要是运行了一个tomcat WEB服务和oracle数据库,问题不应该出现在WEB服务和数据库上面,我检查了一下WEB日志,没有发现什么异常,查看数据库也都正常,也没有什么错误日志,查看系统日志,也没有看到什么异常,但是系统的登录日志被清除了,


我赶紧查看了一下目前运行的进程情况,看看有没有什么异常的进程,一查看,果然发现几个异常进程,不仔细看还真看不出来,这些进程都是不正常的。


wKioL1hUnGmhXDQ2AA9ngwpftkQ553.png

这是个什么进程呢,我每次ps -ef都不一样,一直在变动,进程号一一直在变动中,我想看看进程打开了什么文件都行,一时无从下手,想到这里,我突然意识到这应该都是一些子进程,由一个主进程进行管理,所以看这些子进程是没有用的,即便我杀掉他们还会有新的生成,擒贼先擒王,我们去找一下主进程,我用top d1实时查看进程使用资源的情况,看看是不是有异常的进程占用cpu内存等资源,发现了一个奇怪的进程,平时没有见过。这个应该是我们寻找的***主进程。


wKiom1hUnKLidHhpAAoYDW23AK4020.png

我尝试杀掉这个进程,killall -9 ueksinzina,可是杀掉之后ps -ef查看还是有那些子进程,难道没有杀掉?再次top d1查看,发现有出现了一个其他的主进程,看来杀是杀不掉的,要是那么容易杀掉就不是***了。


wKioL1hUnRDSfesUAAe4UfIin58080.png


我们看看他到底是什么,”which obgqtvdunq”发现这个命令在/usr/bin下面,多次杀死之后又重新在/usr/bin目录下面生成,想到应该有什么程序在监听这个进程的状态也可能有什么定时任务,发现进程死掉在重新执行,我就按照目前的思路查看了一下/etc/crontab定时任务以及/etc/init.d启动脚本,均发现有问题。

可以看到里面有个定时任务gcc4.sh,这个不是我们设定的,查看一下内容更加奇怪了,这个应该是监听程序死掉后来启动的,我们这边把有关的配置全部删掉,并且删掉/lib/libudev4.so

wKiom1hUnUTSzh5AAATEYuLL8CY821.png


/etc/init.d/目录下面也发现了这个文件。

wKiom1hUnWvxe34pAArZ2QMlfi4713.png

里面的内容是开机启动的信息,这个我们也给删掉。

wKiom1hUnZDjVzoCAAKRMdAgkhs275.png

 

以上两个是一个在开机启动的时候启动***,一个是***程序死掉之后启动***,但是目前我们杀掉***的时候***并没有死掉,而是立刻更换名字切换成另一个程序文件运行,所以我们直接杀死是没有任何用处的,我们目的就是要阻止新的程序文件生成,首先我们取消程序的执行权限并把程序文件成成的目录/usr/bin目录锁定。

chmod 000 /usr/bin/obgqtvdunq
chattr +i /usr/bin

然后我们杀掉进程”killall -9 obgqtvdunq”,然后我们在查看/etc/init.d/目录,看到他又生成了新的进程,并且目录变化到了/bin目录下面,和上面一样,取消执行权限并把/bin目录锁定,不让他在这里生成,杀掉然后查看他又生成了新的文件,这次他没有在环境变量目录里面,在/tmp里面,我们把/tmp目录也锁定,然后结束掉进程。


wKioL1hUnbXjBb99AAPlPfPEKw8034.png


到此为止,没有新的***进程生成,原理上说是结束掉了***程序,后面的工作就是要清楚这些目录产生的文件,经过我寻找,首先清除/etc/init.d目录下面产生的***启动脚本,然后清楚/etc/rc#.d/目录下面的连接文件。

wKioL1hUndiS103aAAswcN_Df1w717.png

 

后来我查看/etc目录下面文件的修改时间,发现ssh目录下面也有一个新生成的文件,不知道是不是有问题的。

wKiom1hUnf2C87j5AAPz8ZNPU1Y251.png

清理差不多之后我们就要清理刚才生成的几个文件了,一个一个目录清楚,比如”chattr -i /tmp”,然后删除***文件,以此类推删除/bin/usr/bin目录下面的***,到此***清理完毕。


快速清理***流程

假设***的名字是nshbsjdy,如果top看不到,可以在/etc/init.d目录下面查看

1、首先锁定三个目录,不能让新***文件产生

chmod 000 /usr/bin/nshbsjdy
chattr +i /usr/bin
chattr +i /bin
chattr +i /tmp


2删除定时任务及文件以及开机启动文件
删除定时任务及文件
rm -f /etc/init.d/nshbsjdy
rm -f /etc/rc#.d/***连接文件

3、杀掉***进程

killall -9 nshbsjdy


4清理***进程
chattr -i /usr/bin
rm -f /usr/bin/nshbsjdy

处理完成之后再一次检查一下以上各目录,尤其是/etc目录下面最新修改的文件。


5、如果是rootkit***,可以用下面的软件进行检查

软件chkrootkit
软件RKHunter

安装都非常简单,我使用RKHunter简单检查了一下,没有发现什么重大问题,但是这也并不表示没有什么问题,因为我们的检测命令也是依赖一些系统的命令,如果系统的命令被感染那是检测不出来的,最好是系统的命令备份一份检查,再不行就备份数据重装喽。


wKioL1hUnjfiBR79AAc67fCwQzc416.png


目录
相关文章
|
2月前
|
弹性计算 负载均衡 监控
slb分发流量到ecs一般是如何判断?
【9月更文挑战第1天】
56 1
|
3月前
|
负载均衡 监控 算法
揭秘负载均衡的五大算法秘籍:让你的服务器轻松应对亿万流量,不再崩溃!
【8月更文挑战第31天】在互联网快速发展的今天,高可用性和可扩展性成为企业关注的重点。负载均衡作为关键技术,通过高效分配网络流量提升系统处理能力。本文介绍了轮询、加权轮询、最少连接及IP哈希等常见负载均衡算法及其应用场景,并提供Nginx配置示例。此外,还探讨了如何根据业务需求选择合适算法、配置服务器权重、实现高可用方案、监控性能及定期维护等最佳实践,助力系统优化与用户体验提升。
68 2
|
4月前
|
弹性计算 数据安全/隐私保护 云计算
云服务器 ECS产品使用问题之充值流量剩余部分如何退款
云服务器ECS(Elastic Compute Service)是各大云服务商阿里云提供的一种基础云计算服务,它允许用户租用云端计算资源来部署和运行各种应用程序。以下是一个关于如何使用ECS产品的综合指南。
|
4月前
|
缓存 监控 安全
云服务器公网流量异常排查指南
云服务器公网流量异常排查指南
244 1
|
5月前
|
监控 安全 网络安全
蓝易云 - 服务器遭受攻击,CPU升高,流量升高,你一般如何处理
以上步骤可以帮助你处理服务器遭受攻击的情况,但具体的方法可能会根据你的网络环境和攻击类型有所不同。
75 2
|
5月前
|
负载均衡 网络协议 安全
|
6月前
|
弹性计算 分布式计算 Serverless
ECS费用问题之产生流量费用如何解决
ECS(Elastic Compute Service,弹性计算服务)是云计算服务提供商提供的一种基础云服务,允许用户在云端获取和配置虚拟服务器。以下是ECS服务使用中的一些常见问题及其解答的合集:
|
6月前
|
弹性计算
2024阿里云服务器带宽计费价格表_流量费用_固定带宽报价
2024阿里云服务器带宽计费价格表_流量费用_固定带宽报价,北京地域服务器按固定带宽计费一个月23元/M,按使用流量计费0.8元/GB
523 5
|
6月前
|
弹性计算
阿里云服务器“带宽计费模式”详细说明_2024固定带宽和流量详解
阿里云服务器“带宽计费模式”详细说明_2024固定带宽和流量详解,按固定带宽是指直接购买多少M带宽,比如1M、5M、10M、100M等,阿里云直接分配用户所购买的带宽值,根据带宽大小先付费再使用;按使用流量是先设置一个带宽峰值,然后根据实际公网产生的出流量来计算费用,先使用后付费
550 1
|
6月前
|
域名解析 缓存 网络协议
DNS问题之服务器流量被攻击如何解决
DNS服务器是负责将域名转换为IP地址的服务,它是互联网上实现域名解析的关键基础设施;本合集将探讨DNS服务器的工作原理、配置方法和常见问题处理,帮助用户理解和优化DNS服务的使用。
130 3