推荐一个网页抓取小工具Web Scraper

简介: 想分享的这款工具是个Chrome下的插件,叫:Web Scraper,是一款可以从网页中提取数据的Chrome网页数据提取插件。在某种意义上,你也可以把它当做一个爬虫工具。第一步 创建Sitemap打开Chrome浏览器,按F12调出开发者工具,Web Scraper在最后一个页签,点击后,再选择“Create Sitemap”菜单,点击“Create Sitemap”选项

想分享的这款工具是个Chrome下的插件,叫:Web Scraper,是一款可以从网页中提取数据的Chrome网页数据提取插件。在某种意义上,你也可以把它当做一个爬虫工具。

第一步 创建Sitemap

打开Chrome浏览器,按F12调出开发者工具,Web Scraper在最后一个页签,点击后,再选择“Create Sitemap”菜单,点击“Create Sitemap”选项。

推荐一个网页抓取小工具Web Scraper

首先输入你想抓取的网站URL,以及你自定义的这条抓取任务的名字,比如我取的name是:xiniulevel,URL是:http://www.xiniudata.com/industry/level

第二步 创建抓取节点

我想抓取的是一级标签和二级标签,所以先点进去刚才创建的Sitemap,再点击“Add new selector”,进入抓取节点选择器配置页,在页面上点击“Select”按钮,这时你会看到出现了一个浮层

推荐一个网页抓取小工具Web Scraper

这时当你鼠标移入网页时,会自动把某个你鼠标悬停的位置绿色高亮。这时你可以先单击一个你想选择的区块,会发现区块变成了红色,想把同一层级的区块全选中,则可以继续点击相邻的下一个区块,这时工具会默认选中所有同级的区块,如下图:

推荐一个网页抓取小工具Web Scraper

我们会发现下方悬浮窗的文本输入框自动填充了区块的XPATH路径,接着点击“Done selecting!”结束选择,悬浮框消失,选中的XPATH自动填充到下方Selector一行。另外务必选中“Multiple”,以声明你要选多个区块。最后点击Save selector按钮结束。

推荐一个网页抓取小工具Web Scraper

第三步 获取元素值

完成Selector的创建后,回到上一页,你会发现多了一行Selector表格,接下来就可以直接点击Action中的Data preview,查看所有想获取的元素值。

推荐一个网页抓取小工具Web Scraper

推荐一个网页抓取小工具Web Scraper

上图所示部分,是我已经添加了一级标签和二级标签两个Selector的情况,点击Data preview的弹窗内容其实就是我想要的,直接复制到EXCEL就行了,也不用什么太复杂的自动化爬取处理。

以上就是对Web Scraper使用过程的简单介绍。当然我的用法还不是完全高效,因为每次想获取二级标签时还要先手动切换一级标签,再执行抓取指令,应该还有更好的做法,不过对我而言已经足够了。这篇文章主要是想和你普及下这款工具,不算教程,更多功能还是要根据你的需求自行摸索~

目录
相关文章
|
1天前
|
数据采集 Web App开发 存储
打造高效的Web Scraper:Python与Selenium的完美结合
本文介绍如何使用Python结合Selenium,通过代理IP、设置Cookie和User-Agent抓取BOSS直聘的招聘信息,包括公司名称、岗位、要求和薪资。这些数据可用于行业趋势、人才需求、企业动态及区域经济分析,为求职者、企业和分析师提供宝贵信息。文中详细说明了环境准备、代理配置、登录操作及数据抓取步骤,并提醒注意反爬虫机制和验证码处理等问题。
打造高效的Web Scraper:Python与Selenium的完美结合
|
1月前
|
人工智能 前端开发 API
Gemini Coder:基于 Google Gemini API 的开源 Web 应用生成工具,支持实时编辑和预览
Gemini Coder 是一款基于 Google Gemini API 的 AI 应用生成工具,支持通过文本描述快速生成代码,并提供实时代码编辑和预览功能,简化开发流程。
143 38
Gemini Coder:基于 Google Gemini API 的开源 Web 应用生成工具,支持实时编辑和预览
|
2月前
|
Web App开发 IDE 测试技术
Selenium:强大的 Web 自动化测试工具
Selenium 是一款强大的 Web 自动化测试工具,包括 Selenium IDE、WebDriver 和 Grid 三大组件,支持多种编程语言和跨平台操作。它能有效提高测试效率,解决跨浏览器兼容性问题,进行性能测试和数据驱动测试,尽管存在学习曲线较陡、不稳定等缺点,但其优势明显,是自动化测试领域的首选工具。
266 17
Selenium:强大的 Web 自动化测试工具
|
2月前
|
Java 开发者 微服务
Spring Boot 入门:简化 Java Web 开发的强大工具
Spring Boot 是一个开源的 Java 基础框架,用于创建独立、生产级别的基于Spring框架的应用程序。它旨在简化Spring应用的初始搭建以及开发过程。
103 6
Spring Boot 入门:简化 Java Web 开发的强大工具
|
3月前
|
人工智能 前端开发 计算机视觉
Inpaint-Web:纯浏览器端实现的开源图像处理工具
在刷短视频时,常看到情侣在景区拍照被路人“抢镜”,男朋友用手机将路人“P”掉,既贴心又有趣。最近我发现了一个纯前端实现的开源项目——inpaint-web,可在浏览器端删除照片中的部分内容,非常酷。该项目基于 WebGPU 和 WASM 技术,支持图像修复与放大,已在 GitHub 上获得 5.1k Star。项目地址:[GitHub](https://github.com/lxfater/inpaint-web)。
98 3
 Inpaint-Web:纯浏览器端实现的开源图像处理工具
|
3月前
|
前端开发 JavaScript 开发者
构建响应式设计的现代Web应用:实用技巧与工具
【10月更文挑战第24天】本文介绍了构建响应式Web应用的实用技巧和工具,涵盖流体网格布局、弹性图片、CSS媒体查询、CSS Grid和Flexbox、响应式导航菜单、图片和字体的响应式处理,以及测试和调试工具。掌握这些技能将帮助开发者提升用户体验和项目适应性。
|
4月前
|
缓存 前端开发 JavaScript
深入了解Webpack:现代Web开发的核心工具
【10月更文挑战第11天】深入了解Webpack:现代Web开发的核心工具
|
4月前
|
JavaScript 前端开发 API
深入了解jQuery:简化Web开发的强大工具
【10月更文挑战第11天】深入了解jQuery:简化Web开发的强大工具
41 0
|
4月前
|
开发框架 .NET 开发工具
visualstudio如何加入工作插件---Web developer工具
visualstudio如何加入工作插件---Web developer工具
60 0
|
5月前
|
机器学习/深度学习 算法 开发工具
Python Web开发工具
Python Web开发工具
67 3

热门文章

最新文章

  • 1
    打造高效的Web Scraper:Python与Selenium的完美结合
    13
  • 2
    Burp Suite Professional 2025.2 (macOS, Linux, Windows) - Web 应用安全、测试和扫描
    26
  • 3
    AppSpider Pro 7.5.015 for Windows - Web 应用程序安全测试
    20
  • 4
    【02】客户端服务端C语言-go语言-web端PHP语言整合内容发布-优雅草网络设备监控系统-2月12日优雅草简化Centos stream8安装zabbix7教程-本搭建教程非docker搭建教程-优雅草solution
    54
  • 5
    部署使用 CHAT-NEXT-WEB 基于 Deepseek
    342
  • 6
    【2025优雅草开源计划进行中01】-针对web前端开发初学者使用-优雅草科技官网-纯静态页面html+css+JavaScript可直接下载使用-开源-首页为优雅草吴银满工程师原创-优雅草卓伊凡发布
    26
  • 7
    java spring 项目若依框架启动失败,启动不了服务提示端口8080占用escription: Web server failed to start. Port 8080 was already in use. Action: Identify and stop the process that’s listening on port 8080 or configure this application to listen on another port-优雅草卓伊凡解决方案
    40
  • 8
    零基础构建开源项目OpenIM桌面应用和pc web- Electron篇
    28
  • 9
    【01】客户端服务端C语言-go语言-web端PHP语言整合内容发布-优雅草网络设备监控系统-硬件设备实时监控系统运营版发布-本产品基于企业级开源项目Zabbix深度二开-分步骤实现预计10篇合集-自营版
    22
  • 10
    FastAPI与Selenium:打造高效的Web数据抓取服务 —— 采集Pixabay中的图片及相关信息
    55