Burpsuite Spider爬虫功能

简介: Burpsuite Spider爬虫功能

Burp Spider是Burpsuite的一个功能,用于映射Web应用程序。它可以通过自动化地浏览Web应用程序并记录所有可访问的内容和功能来帮助您了解Web应用程序的结构和功能。您可以使用Burp Spider来发现隐藏的目录,识别Web应用程序的功能和漏洞,并生成网站地图以帮助您更好地了解Web应用程序的结构。以下是使用Burp Spider的步骤:

1.打开Burpsuite并选择“Target”选项卡。

2.在“Target”选项卡中,单击“Site map”选项卡,然后单击“New site map entry”按钮。

3。在“New site map entry”对话框中,输入要映射的URL,并单击“Add”按钮。

4。选择“Spider”选项卡,然后单击“New scan”按钮。

5.在“New scan”对话框中,选择要扫描的URL,并选择要使用的扫描选项。

6.单击“Start scan”按钮开始扫描。

在扫描完成后,您可以查看生成的网站地图以了解Web应用程序的结构和功能。您还可以使用Burp Spider来发现隐藏的目录和漏洞。请注意,使用Burp Spider时需要小心,以免对目标Web应用程序造成不必要的负担或干扰。

前期准备

设置代理过滤器

image.png

image.png

设置过滤器之后,其他爬取到的网址则不会显示出来

访问目标网站:ttp://192.168.199.174/mutillidae/

image.png


image.png

设置目标域,否则要爬的内容就太多了,精准爬取目标范围以内的即可。

image.png

关闭代理,也叫拦截功能关闭。

image.png

image.png

这个是被动爬虫功能,默认是开启状态的。

爬取代理选项设置

image.png

被动爬取,如果你不希望访问的时候他来帮我们爬取的话就把它勾掉。

表单提交(需要填写信息或帐户密码的登录页面)

image.png

image.png

可以设置一个账户密码来提交,虽然是错误的,但是不用管,只是扫描站点而已。

image.png

image.png

主动爬虫和被动爬虫的区别

主动爬虫是模拟人来发出大量的数据包,勾勒出站点信息地图。

被动爬虫是一种 passively 监听网络流量的工具,它会记录网络流量中的数据包,并从中提取出有用的信息。被动爬虫的目的是为了分析网络流量,例如网络安全领域中的入侵检测系统就是一种被动爬虫。被动爬虫不会对网站造成负担,但是它需要在网络中监听流量,因此需要一定的技术和设备支持。

在实际情况下一般两个同事结合用。

image.png

请求头部这里可以修改头部内容

平时可以在target里把范围全部设好,spidr里一点启动就可以了

image.png

也可以边爬边看历史记录,看看有没有漏了哪个页面然后右键让它爬一下spider或者添加到scope

image.png

最后就是看爬虫状态

image.png









































相关文章
|
6月前
|
数据采集 存储 编解码
技术笔记:Node.jsmm131图片批量下载爬虫1.01增加断点续传功能
技术笔记:Node.jsmm131图片批量下载爬虫1.01增加断点续传功能
105 0
|
7月前
|
数据采集 存储 JSON
如何使用Python实现网站的爬虫功能?
使用Python进行网站爬虫涉及选择Scrapy、BeautifulSoup等框架,理解目标网站结构,发送HTTP请求(requests库),解析HTML(BeautifulSoup),提取并处理数据,同时处理异常如验证码和IP限制。遵守法律、道德规范和网站规则,尊重“robots.txt”指示,确保爬虫行为合法且不给网站带来负担。实际项目可能需考虑分布式、数据去重等复杂技术。
72 4
|
7月前
|
数据采集 存储 人工智能
【AI大模型应用开发】【LangChain系列】实战案例2:通过URL加载网页内容 - LangChain对爬虫功能的封装
【AI大模型应用开发】【LangChain系列】实战案例2:通过URL加载网页内容 - LangChain对爬虫功能的封装
424 0
|
7月前
|
数据采集 消息中间件 安全
.NET使用分布式网络爬虫框架DotnetSpider快速开发爬虫功能
.NET使用分布式网络爬虫框架DotnetSpider快速开发爬虫功能
110 0
|
数据采集 Web App开发 运维
spider 网页爬虫中的 AWS 实例数据获取问题及解决方案
spider 网页爬虫中的 AWS 实例数据获取问题及解决方案
|
数据采集 Python
使用 asyncio 提升 Scrapy 爬虫框架的异步编程效能,并集成代理功能
异步编程在现代软件开发中扮演着越来越重要的角色,特别是在网络爬虫等需要处理大量 I/O 操作的场景中。本文将介绍 asyncio 这个强大的异步编程库,并探讨如何在 Scrapy 爬虫框架中充分利用 asyncio 提升爬虫的效率和灵活性。此外,还将介绍如何集成爬虫代理功能,进一步提高爬虫的效率和稳定性。
286 0
使用 asyncio 提升 Scrapy 爬虫框架的异步编程效能,并集成代理功能
|
数据采集 JSON Ubuntu
Katana:一款功能强大的下一代网络爬虫框架
Katana是一款功能强大的下一代网络爬虫框架,在该工具的帮助下,广大研究人员可以轻松完成资源爬取和渗透测试阶段的信息收集任务。
167 0
Katana:一款功能强大的下一代网络爬虫框架
|
数据采集 Python
Python爬虫:scrapy框架Spider类参数设置
Python爬虫:scrapy框架Spider类参数设置
149 0
Python爬虫:scrapy框架Spider类参数设置
|
数据采集 Python
配置Pycharm的Scrapy爬虫Spider子类通用模板
配置Pycharm的Scrapy爬虫Spider子类通用模板
251 0
|
数据采集 Python
Python爬虫:scrapy辅助功能实用函数
Python爬虫:scrapy辅助功能实用函数
173 0