推荐一个网页抓取小工具Web Scraper

简介: 想分享的这款工具是个Chrome下的插件,叫:Web Scraper,是一款可以从网页中提取数据的Chrome网页数据提取插件。在某种意义上,你也可以把它当做一个爬虫工具。第一步 创建Sitemap打开Chrome浏览器,按F12调出开发者工具,Web Scraper在最后一个页签,点击后,再选择“Create Sitemap”菜单,点击“Create Sitemap”选项

想分享的这款工具是个Chrome下的插件,叫:Web Scraper,是一款可以从网页中提取数据的Chrome网页数据提取插件。在某种意义上,你也可以把它当做一个爬虫工具。

第一步 创建Sitemap

打开Chrome浏览器,按F12调出开发者工具,Web Scraper在最后一个页签,点击后,再选择“Create Sitemap”菜单,点击“Create Sitemap”选项。

推荐一个网页抓取小工具Web Scraper

首先输入你想抓取的网站URL,以及你自定义的这条抓取任务的名字,比如我取的name是:xiniulevel,URL是:http://www.xiniudata.com/industry/level

第二步 创建抓取节点

我想抓取的是一级标签和二级标签,所以先点进去刚才创建的Sitemap,再点击“Add new selector”,进入抓取节点选择器配置页,在页面上点击“Select”按钮,这时你会看到出现了一个浮层

推荐一个网页抓取小工具Web Scraper

这时当你鼠标移入网页时,会自动把某个你鼠标悬停的位置绿色高亮。这时你可以先单击一个你想选择的区块,会发现区块变成了红色,想把同一层级的区块全选中,则可以继续点击相邻的下一个区块,这时工具会默认选中所有同级的区块,如下图:

推荐一个网页抓取小工具Web Scraper

我们会发现下方悬浮窗的文本输入框自动填充了区块的XPATH路径,接着点击“Done selecting!”结束选择,悬浮框消失,选中的XPATH自动填充到下方Selector一行。另外务必选中“Multiple”,以声明你要选多个区块。最后点击Save selector按钮结束。

推荐一个网页抓取小工具Web Scraper

第三步 获取元素值

完成Selector的创建后,回到上一页,你会发现多了一行Selector表格,接下来就可以直接点击Action中的Data preview,查看所有想获取的元素值。

推荐一个网页抓取小工具Web Scraper

推荐一个网页抓取小工具Web Scraper

上图所示部分,是我已经添加了一级标签和二级标签两个Selector的情况,点击Data preview的弹窗内容其实就是我想要的,直接复制到EXCEL就行了,也不用什么太复杂的自动化爬取处理。

以上就是对Web Scraper使用过程的简单介绍。当然我的用法还不是完全高效,因为每次想获取二级标签时还要先手动切换一级标签,再执行抓取指令,应该还有更好的做法,不过对我而言已经足够了。这篇文章主要是想和你普及下这款工具,不算教程,更多功能还是要根据你的需求自行摸索~

目录
相关文章
|
4月前
|
Devops 网络安全 Docker
百度搜索:蓝易云【DevOps系列文章之Docker部署web ssh工具sshwifty教程。】
同时,了解DevOps和Docker的基本原理和概念也对你进行部署和管理这样的工具非常有帮助。你可以进一步研究Docker容器化技术和相关的DevOps实践,以更好地理解和应用这些概念。
55 0
|
7月前
|
资源调度 前端开发 JavaScript
深入理解Webpack:现代Web开发的打包工具
Webpack是一款强大的开源JavaScript模块打包工具,它在现代Web开发中扮演着至关重要的角色。通过Webpack,开发者可以有效地管理和打包项目中的各种资源,包括JavaScript、CSS、图片等,使Web应用程序更具可维护性和性能。在本博客中,我们将深入研究Webpack的核心概念、配置、加载器、插件和最佳实践,以帮助您更好地掌握这个强大的工具。
39 0
|
3月前
|
设计模式 Java 测试技术
软件测试/测试开发/全日制|Page Object模式:为什么它是Web自动化测试的必备工具
软件测试/测试开发/全日制|Page Object模式:为什么它是Web自动化测试的必备工具
53 0
|
15天前
|
资源调度 JavaScript 安全
Linux系统之部署web-check网站分析工具
【4月更文挑战第3天】Linux系统之部署web-check网站分析工具
63 9
|
1月前
|
Web App开发
Star 5.5k!这款Web剪藏工具绝了,支持10+平台内容剪辑同步!
Star 5.5k!这款Web剪藏工具绝了,支持10+平台内容剪辑同步!
|
1月前
|
缓存 移动开发 监控
Star 1.3K!推荐一款可以远程调试任意Web项目的开源工具!
Star 1.3K!推荐一款可以远程调试任意Web项目的开源工具!
|
1月前
|
监控
web后端-最好用的扒站仿站工具(网页克隆网页复制)
web后端-最好用的扒站仿站工具(网页克隆网页复制)
|
2月前
|
Web App开发 测试技术 数据安全/隐私保护
Web自动化测试工具Selenium
Web自动化测试工具Selenium
|
2月前
|
前端开发 安全 JavaScript
【网络安全 | 网安工具】御剑WEB指纹识别系统使用详析
【网络安全 | 网安工具】御剑WEB指纹识别系统使用详析
75 0
|
3月前
|
数据采集 缓存 JavaScript
Python神器!WEB自动化测试集成工具 DrissionPage
Python神器!WEB自动化测试集成工具 DrissionPage
89 0

热门文章

最新文章