相信大家有一个感觉,就是每当写爬虫时,需要写xpath来找到我们要的数据,调试xpath会浪费很多时间,一次又一次的requests请求,每每看到取到的元素与自己心中想要的元素不符时..........
今天为大家介绍一款谷歌浏览器插件,能帮大家在待抓取页面直接写xpath并且可以看到取到的元素,话不多说 上图:
打开Chrome商店,搜索 xpath-helper 会出现如图中的搜索结果,点击添加至CHROME按钮,根据提示完成添加即可。(如果chrome商店连不上,请大家自行百度解决方案)
安装完毕后 可以看到我们的浏览器右上方多了一个图标:
这个就是xpath helper的图标。
点击图标,会出现一个黑色背景的输入框,如下图:
在QUERY的下方输入xpath表达式 可在 RESULTS下方显示取到的结果:
这个xpath是获取简书下文章列表的每一个id 可以看到结果取到了 20个。
针对于复杂的xpath需要,有了这个工具再就也不用一次一次的发requests测试xpath了,节省了很多时间。
请大家参考。
我的个人公众号,希望大家支持下新人,公众号会定时推出Python干货,以及其他技术方面的干货。
共同进步。