BurpSuite2021 -- 爬虫使用

简介: BurpSuite2021 -- 爬虫使用

又不是什么不三不四的男孩,也没有乱七八糟的关系,为什么生活还是如此糟糕。。。

----  网易云热评

从BurpSuite2020开始,好像就找不到爬虫的的选项卡了,今天尝试一下他隐藏的爬虫功能。

一、从Target中找到要爬取的网站,右击网站地址,选择Engagement tools,选择Discover content

image.png

 

二、配置参数

1、选择扫描目录或文件,并对目录进行递归扫描

image.png

2、选择扫描目录或文件字典,可以选择默认的,也可以手动添加字典文件

image.png

3、设置测试的扩展名,设置哪些扩展名不进行测试

image.png

4、设置引擎,是否区分大小写,设置线程数

image.png

 

三、开始爬取,点击让爬虫运行

image.png

image.png

 

四、查看爬取结果

 

目录
相关文章
|
5天前
|
Java
Burpsuite的安装
Burpsuite的安装
50 0
|
数据采集 Web App开发 自然语言处理
|
5天前
|
Python
Burpsuite插件 -- 伪造IP
Burpsuite插件 -- 伪造IP
112 1
|
5天前
|
Java 定位技术 网络安全
BurpSuite2020.08安装及使用
BurpSuite2020.08安装及使用
46 1
|
5天前
BurpSuite2021 -- 抓包使用及设置
BurpSuite2021 -- 抓包使用及设置
52 1
|
5天前
抓包工具 -- Fiddler(拦截包)
抓包工具 -- Fiddler(拦截包)
18 0
|
5月前
|
安全 PHP
easyupload及BurpSuite抓包、改包、放包
easyupload及BurpSuite抓包、改包、放包
57 0
|
6月前
|
数据采集 搜索推荐 数据挖掘
实用技巧:在C和cURL中设置代理服务器爬取www.ifeng.com视频
网络爬虫技术作为一种自动获取互联网数据的方法,在搜索引擎、数据分析、网站监测等领域发挥着重要作用。然而,面对反爬虫机制、网络阻塞、IP封禁等挑战,设置代理服务器成为解决方案之一。代理服务器能够隐藏爬虫的真实IP地址,提高爬虫速度和稳定性,同时有助于突破一些地域限制。本文将详细介绍如何在C语言和cURL库中设置代理服务器,以成功爬取www.ifeng.com的视频内容。我们将深入探讨基本概念,详细解析代码,以及使用爬虫代理的相关信息。
实用技巧:在C和cURL中设置代理服务器爬取www.ifeng.com视频
|
12月前
|
安全 Java 数据安全/隐私保护
BurpSuite 安装与使用
BurpSuite 安装与使用
BurpSuite 安装与使用
|
数据采集 存储 UED
爬虫的伪装,数据乱码的解决
# 引言 今天给大家带来第二篇爬虫的文章,主要给大家从爬虫的伪装,数据乱码和视频的爬取三个方面来学习python爬虫 # 爬虫的伪装 这里分别从### **浏览器伪装** **访问地址伪装** **3.ip地址伪装** **4.控制访问速率** **5.伪装用户cookie** **6.被拒绝连接的处理** 六个方面来讲解爬虫的伪装 ## **浏览器伪装** 默认的爬虫是形如Python-[urllib](https://so.csdn.net/so/search?q=urllib&spm=1001.2101.3001.7020)/2.1的形式的,很多网站可能会在校验