手把手教你爬取淘宝的笔记本电脑数据(一)

简介: 手把手教你爬取淘宝的笔记本电脑数据(一)

1、selenium模块的安装与chromedriver驱动的配置

1)安装selenium库

pip install selenium


检验是否安装成功:

image.png


2)chromedriver驱动的配置

配置chromedriver驱动,一定要注意“驱动”和“谷歌浏览器”版本一定是要相匹配,否则不能使用。


① 检查谷歌浏览器的版本

这里首先提供一个详细的地址供大家查看:

https://jingyan.baidu.com/article/95c9d20d74a1e8ec4f756149.html

点击“右上角三个点” --> 点击“设置” --> 点击 “关于chrome”,出现如下界面。


image.png

② 下载chromedriver驱动

这里再次提供一个详细的地址,供大家选择各种版本驱动程序:

http://chromedriver.storage.googleapis.com/index.html

从上面的图中可以看出,谷歌浏览器的版本是【81.0.4044.138】,这里我们选择的chromedriver驱动,如下图所示。

image.png

点进该文件后,可以根据我们的操作系统,选择对应的驱动。

image.png


③ chromedriver驱动的配置

解压上述下载好的文件,并将其中的的chromedriver.exe文件,需要放到python的安装路径下(和python.exe放在一起)。

首先,你可以查看你的python解释器安装在哪里!

image.png

然后,将chromedriver.exe放置和python.exe在一起。

image.png


3)检验selenium是否可用

使用如下两行代码,如果谷歌浏览器成功被驱动打开,证明上述安装和配置没问题。


from selenium import webdriver
browser = webdriver.Chrome()


结果如下:

image.png


4)一个小案例展示selenium的操作效果

from selenium import webdriver
import time
# 创建浏览器对象,该操作会自动帮我们打开Google浏览器窗口
browser = webdriver.Chrome()
# 调用浏览器对象,向服务器发送请求。该操作会打开Google浏览器,并跳转到“百度”首页
browser.get("https://www.baidu.com/")
# 最大化窗口
browser.maximize_window()
# 定位“抗击肺炎”链接内容
element = browser.find_element_by_link_text("抗击肺炎")
# 为了更好的展示这个效果,我们等待3秒钟
time.sleep(3)
# 点击上述链接
element.click()
# 我们再让浏览器停留3秒钟后,再关闭浏览器
time.sleep(3)
# 操作会自动关闭浏览器
browser.close()
"""
效果这里就不展示了,大家自行下去尝试!
"""
相关文章
|
2月前
|
数据采集 JSON JavaScript
Python爬虫案例:抓取猫眼电影排行榜
python爬取猫眼电影排行榜数据分析,实战。(正则表达式,xpath,beautifulsoup)【2月更文挑战第11天】
165 2
Python爬虫案例:抓取猫眼电影排行榜
|
6天前
|
JSON 数据格式 网络架构
技术心得:快手的小视频爬取
技术心得:快手的小视频爬取
|
7天前
|
JSON 数据格式 网络架构
技术心得记录:快手的小视频爬取
技术心得记录:快手的小视频爬取
|
JavaScript 大数据 应用服务中间件
Python网络爬虫(JSON, Phantomjs, selenium/Chromedirver,豆瓣电影、斗鱼直播、京东商城爬取)
python、python爬虫、网络爬虫、爬虫框架、selenium、requests、urllib、数据分析、大数据、爬虫爬取静态网页、爬虫基础、自动化测试、json、动态加载、反爬虫
3487 0
|
2月前
|
数据采集 Web App开发 开发者
探秘Python爬虫技术:王者荣耀英雄图片爬取
探秘Python爬虫技术:王者荣耀英雄图片爬取
|
数据采集 Python
Python爬虫系列17-批量抓取某短视频平台某用户的全部作品
不那么好走的路,才是上坡路. 所有往上的路,都与我们本能的懒惰、懈怠和拖延不相容。 当你觉得很苦很累时,不要泄气,因为你可能走在上坡的路上。
Python爬虫系列17-批量抓取某短视频平台某用户的全部作品
|
数据采集 存储 Python
Python爬虫系列9-非诚勿扰等婚恋网数据批量抓取!
一般当大家遇到不顺心的时候,总是会焦虑,抱怨,我知道,这也是人软弱的一面,但是我们越是遇到困难,越是要振作起来,不要放弃自己,然后悄悄努力,只有这样才能让自己越来越好,如果一直沉浸在痛苦中,只会越来越糟。 适当的逼一逼自己,你会发现,人的潜力是无限的。
Python爬虫系列9-非诚勿扰等婚恋网数据批量抓取!
|
数据采集 测试技术
手把手教你爬取淘宝的笔记本电脑数据(二)
手把手教你爬取淘宝的笔记本电脑数据(二)
手把手教你爬取淘宝的笔记本电脑数据(二)
|
数据可视化
手把手教你爬取淘宝的笔记本电脑数据(三)
手把手教你爬取淘宝的笔记本电脑数据(三)
手把手教你爬取淘宝的笔记本电脑数据(三)
|
存储 JSON 数据格式
pyhton爬取爱豆(李易峰)微博评论
今日目标:微博,以李易峰的微博为例:
153 0