Rad爬虫结合W13Scan扫描器挖掘漏洞

本文涉及的产品
云数据库 RDS MySQL,集群系列 2核4GB
推荐场景:
搭建个人博客
RDS MySQL Serverless 基础系列,0.5-2RCU 50GB
云数据库 RDS PostgreSQL,集群系列 2核4GB
简介: 这几天一直在研究W13Scan漏洞扫描器,因为对Python不是太熟悉,所以进度有点慢,一直没看懂怎么将代理请求的数据转发到扫描队列中去,决定先熟悉熟悉这个功能再说;Rad爬虫最近比较火,于是就是就选择它了

一、背景


这几天一直在研究W13Scan漏洞扫描器,因为对Python不是太熟悉,所以进度有点慢,一直没看懂怎么将代理请求的数据转发到扫描队列中去,决定先熟悉熟悉这个功能再说;Rad爬虫最近比较火,于是就是就选择它了


W13scan 是基于Python3的一款开源的Web漏洞发现工具,它支持主动扫描模式和被动扫描模式,能运行在Windows、Linux、Mac上。


二、搭建靶场


在扫描之前我们需要准备一个靶场系统,这里我选择的是permeate渗透测试系统,搭建方法在之前的文章已经写过了,这里就不再重新赘述,文章地址:

https://segmentfault.com/a/11... ,这里有几条关键的命令


搭建一个Mysql数据库,执行命令如下


docker run --name mysqlserver -e MYSQL_ROOT_PASSWORD=123 -d -i -p 3309:3306 mysql:5.6


搭建permeate,执行命令如下


docker run --name permeate_test --link mysqlserver:db -d -i -p 8888:80 daxia/websafe:latest


启动nginx和php-fpm,执行命令如下


docker exec permeate_test zsh -c "php /root/start.php"


上面的命令执行完毕之后,我们就可以访问靶场系统了,打开的网址为

http://youIp:8888/index.php


使用浏览器访问的界面如下图所示


1.png


在上图中可以看到已经显示了区块和板块,说明搭建成功,如果没有显示区块,有可能是数据库地址填写的不对,仔细看看安装文章就好了。


三、启动代理


接下来我们需要把W13Scan使用代理服务模式启动,启动的命令如下所示


python3 W13SCAN/w13scan.py -s 0.0.0.0:7777


命令执行完毕之后,命令窗口会返回如下图所示信息


2.png


在上图中我们可以看到服务已经启动了,并提示扫描结果会存放在当前目录下的./W13SCAN/output/12_03_2020/目录中,我们暂且知道有这样一个目录即可。


四、启动爬虫


接下来我就需要将我的请求都转发到W13Scan漏洞扫描器中,因为我是不知道permeate渗透测试系统有多少个页面的,而且人工去找速度慢不说,也不太现实;


为了快速排查整个站点的安全情况,所以用上了RAD爬虫去抓取整个网站的链接,同时将他的代理地址设置W13Scan的代理服务地址,这样就相当于让让W13Scan扫描器去扫描了整个站点。


启动rad爬虫并设置代理地址的命令如下所示


.\rad_windows_amd64.exe -t http://192.168.152.135:8888/home/index.php   --http-proxy  127.0.0.1:7777


执行RAD爬虫命令之后,窗口返回的结果如下图所示


3.png


在命令执行窗口中我们可以看到RAD爬虫已经抓取到了部分的链接地址,说明我们的命令是正确的,晚一点再去./W13SCAN/output/12_03_2020/目录中查看扫描结果就好了


如果不想使用rad爬虫,也可以把浏览器的代理地址设置为 127.0.0.1:7777,然后自己去点击一些页面,这样就可以对你正在浏览的网站进行安全漏洞扫描,这里我就不用浏览器演示了;


五、查看结果


扫描一段时间之后,在W13Scan扫描器的执行窗口中,我也看到扫描到安全漏洞的提示,但比较简要。


这里我直接去查看w13scan扫描器的扫描结果,打开扫描结果的执行文件如下所示


4.png


在上图中我们可以看到,扫描到了9个漏洞,分别有XSS、JS文件敏感内容匹配、.git泄露等类型。


有了这个W13Scan我们很多时候可以躺着去挖洞了,^_^

相关实践学习
如何在云端创建MySQL数据库
开始实验后,系统会自动创建一台自建MySQL的 源数据库 ECS 实例和一台 目标数据库 RDS。
全面了解阿里云能为你做什么
阿里云在全球各地部署高效节能的绿色数据中心,利用清洁计算为万物互联的新世界提供源源不断的能源动力,目前开服的区域包括中国(华北、华东、华南、香港)、新加坡、美国(美东、美西)、欧洲、中东、澳大利亚、日本。目前阿里云的产品涵盖弹性计算、数据库、存储与CDN、分析与搜索、云通信、网络、管理与监控、应用服务、互联网中间件、移动服务、视频服务等。通过本课程,来了解阿里云能够为你的业务带来哪些帮助     相关的阿里云产品:云服务器ECS 云服务器 ECS(Elastic Compute Service)是一种弹性可伸缩的计算服务,助您降低 IT 成本,提升运维效率,使您更专注于核心业务创新。产品详情: https://www.aliyun.com/product/ecs
目录
相关文章
|
2月前
|
机器学习/深度学习 数据采集 数据可视化
基于爬虫和机器学习的招聘数据分析与可视化系统,python django框架,前端bootstrap,机器学习有八种带有可视化大屏和后台
本文介绍了一个基于Python Django框架和Bootstrap前端技术,集成了机器学习算法和数据可视化的招聘数据分析与可视化系统,该系统通过爬虫技术获取职位信息,并使用多种机器学习模型进行薪资预测、职位匹配和趋势分析,提供了一个直观的可视化大屏和后台管理系统,以优化招聘策略并提升决策质量。
117 4
|
2月前
|
数据采集 存储 搜索推荐
打造个性化网页爬虫:从零开始的Python教程
【8月更文挑战第31天】在数字信息的海洋中,网页爬虫是一艘能够自动搜集网络数据的神奇船只。本文将引导你启航,用Python语言建造属于你自己的网页爬虫。我们将一起探索如何从无到有,一步步构建一个能够抓取、解析并存储网页数据的基础爬虫。文章不仅分享代码,更带你理解背后的逻辑,让你能在遇到问题时自行找到解决方案。无论你是编程新手还是有一定基础的开发者,这篇文章都会为你打开一扇通往数据世界的新窗。
|
3月前
|
数据采集 存储 JSON
从零到一构建网络爬虫帝国:HTTP协议+Python requests库深度解析
【7月更文挑战第31天】在网络数据的海洋中,使用Python的`requests`库构建网络爬虫就像探索未知的航船。HTTP协议指导爬虫与服务器交流,收集信息。HTTP请求包括请求行、头和体,响应则含状态行、头和体。`requests`简化了发送各种HTTP请求的过程。
74 4
|
6天前
|
数据采集 存储 数据挖掘
深入探索 Python 爬虫:高级技术与实战应用
本文介绍了Python爬虫的高级技术,涵盖并发处理、反爬虫策略(如验证码识别与模拟登录)及数据存储与处理方法。通过asyncio库实现异步爬虫,提升效率;利用tesseract和requests库应对反爬措施;借助SQLAlchemy和pandas进行数据存储与分析。实战部分展示了如何爬取电商网站的商品信息及新闻网站的文章内容。提醒读者在实际应用中需遵守法律法规。
121 66
|
3月前
|
数据采集 存储 API
在信息时代,Python爬虫用于自动化网络数据采集,提高效率。
【7月更文挑战第5天】在信息时代,Python爬虫用于自动化网络数据采集,提高效率。基本概念包括发送HTTP请求、解析HTML、存储数据及异常处理。常用库有requests(发送请求)和BeautifulSoup(解析HTML)。基本流程:导入库,发送GET请求,解析网页提取数据,存储结果,并处理异常。应用案例涉及抓取新闻、商品信息等。
85 2
|
23天前
|
数据采集 存储 JSON
从零到一构建网络爬虫帝国:HTTP协议+Python requests库深度解析
在网络数据的海洋中,网络爬虫遵循HTTP协议,穿梭于互联网各处,收集宝贵信息。本文将从零开始,使用Python的requests库,深入解析HTTP协议,助你构建自己的网络爬虫帝国。首先介绍HTTP协议基础,包括请求与响应结构;然后详细介绍requests库的安装与使用,演示如何发送GET和POST请求并处理响应;最后概述爬虫构建流程及挑战,帮助你逐步掌握核心技术,畅游数据海洋。
51 3
|
23天前
|
数据采集 API 开发者
🚀告别网络爬虫小白!urllib与requests联手,Python网络请求实战全攻略
在网络的广阔世界里,Python凭借其简洁的语法和强大的库支持,成为开发网络爬虫的首选语言。本文将通过实战案例,带你探索urllib和requests两大神器的魅力。urllib作为Python内置库,虽API稍显繁琐,但有助于理解HTTP请求本质;requests则简化了请求流程,使开发者更专注于业务逻辑。从基本的网页内容抓取到处理Cookies与Session,我们将逐一剖析,助你从爬虫新手成长为高手。
47 1
|
1月前
|
数据采集 机器学习/深度学习 搜索推荐
Python爬虫技术基础与应用场景详解
本文介绍了爬虫技术的基本概念、原理及应用场景,包括数据收集、价格监测、竞品分析和搜索引擎优化等。通过一个实战案例展示了如何使用Python爬取电商网站的商品信息。强调了在使用爬虫技术时需遵守法律法规和道德规范,确保数据抓取的合法性和合规性。