情报搜集神器：Spiderfoot 保姆级教程

一、介绍

SpiderFoot是一款开源的情报搜集和足迹分析工具，用于自动化收集有关目标的信息。它被设计为一种开放式情报（OSINT）工具，可以帮助安全专业人员、测试人员和研究人员收集、分析和汇总来自互联网的信息。

以下是 SpiderFoot 的一些主要特点和功能：

1. 多模块数据收集： SpiderFoot 支持多个模块，每个模块都专注于不同类型的信息收集。这包括域名信息、网络基础设施、威胁情报、社交媒体活动等。
   
2. 自动化任务： 用户可以创建自定义任务，设置收集特定信息的规则和条件。SpiderFoot 会自动运行这些任务，收集信息并生成可视化报告。
   
3. 开放式情报支持： SpiderFoot 集成了多个开放式情报源，可以从这些源获取有关目标的信息，包括 WHOIS 数据、DNS 记录、威胁情报等。
   
4. Web扫描： SpiderFoot 可以检测与目标网站相关的，包括已知、暴露的数据库等。
   
5. 数据可视化： 工具提供直观的数据可视化，使用户能够更好地理解和分析收集到的信息。
   

6. Proxy支持： SpiderFoot 支持使用代理服务器进行数据收集，以提高匿名性。
   
7. API支持： SpiderFoot 提供了API，允许用户通过API与其他工具或系统集成。
   
8. 
   
9. 插件系统： SpiderFoot 具有可扩展的插件系统，允许用户自定义或添加新的模块，以满足特定需求。
   

需要注意的是，使用 SpiderFoot 或任何其他 OSINT 工具时，都应该遵循法律和道德准则，并仅在获得明确授权的情况下使用。任何未经授权的信息收集都可能涉及法律问题。

二、安装 Spiderfoot

wget https://github.com/smicallef/spiderfoot/archive/v4.0.tar.gz

tar zxvf v4.0.tar.gz

cd spiderfoot-4.0

pip3 install -r requirements.txt

python3 ./sf.py -l 127.0.0.1:5001

打开最后一条命令中的网址

三、使用 Spiderfoot

3.1 运行扫描

命名此次的扫描名称，然后输入扫描网址，最后点击下面的立即运行即可

3.2 扫描结果

从您单击“运行扫描”的那一刻起，您将进入一个近乎实时监控扫描的屏幕：

该屏幕由一个图表组成，显示了迄今为止获得的数据的细分以及由 SpiderFoot 及其模块生成的日志消息。

图表的条形可单击，将您带到该特定数据类型的结果表。

3.3 浏览结果

通过单击扫描的“图”按钮，您可以查看拓扑图：

通过单击扫描的“浏览”按钮，您可以按类型浏览数据：

该数据是可导出和可搜索的。单击“搜索”框会弹出一个窗口，解释如何执行搜索。

通过单击其中一种数据类型，您将看到实际数据：

显示字段解释如下：

• 复选框字段：使用此字段将字段设置/取消设置为误报。至少检查一项后，单击上面的橙色误报按钮来设置/取消设置记录。
• 数据元素：模块能够获取的有关目标的数据。
• 源数据元素：模块接收的数据，作为其数据收集的基础。在上面的示例中，sfp_portscan_tcp 模块接收到有关开放端口的事件，并使用该事件来获取该端口上的横幅。
• 源模块：识别此数据的模块。
• 已识别：数据被模块识别时。

您可以单击黑色图标来修改此数据的表示方式。例如，您可以通过单击“唯一数据视图”图标来获取唯一的数据表示形式：

3.4 搜索结果

可以在整个扫描级别或在单个数据类型中搜索结果。搜索范围由您当时所在的屏幕决定。

选择搜索字段时弹出框所示，您可以进行如下搜索：

• 精确值：非通配符搜索特定值。例如，在 HTTP 状态代码部分中搜索 404 可查看所有未找到的页面。
• 模式匹配：搜索简单的通配符来查找模式。例如，在“打开 TCP 端口”部分中搜索 *:22 可查看打开的端口 22 的所有实例。

• 正则表达式搜索：将字符串封装在“/”中以通过正则表达式搜索。例如，搜索“/\d+.\d+.\d+.\d+/”可在扫描结果中查找任何类似于 IP 地址的内容

3.5 管理扫描

当您积累了一些历史扫描数据时，您可以使用“扫描”部分上的可用列表来管理它们：

您可以通过更改过滤器下拉选项来过滤显示的扫描。除了绿色刷新图标外，右侧的所有图标都将应用于您选中复选框的任何扫描。