手把手教你爬取淘宝的笔记本电脑数据(一)

简介: 手把手教你爬取淘宝的笔记本电脑数据(一)

1、selenium模块的安装与chromedriver驱动的配置

1)安装selenium库

pip install selenium


检验是否安装成功:

image.png


2)chromedriver驱动的配置

配置chromedriver驱动,一定要注意“驱动”和“谷歌浏览器”版本一定是要相匹配,否则不能使用。


① 检查谷歌浏览器的版本

这里首先提供一个详细的地址供大家查看:

https://jingyan.baidu.com/article/95c9d20d74a1e8ec4f756149.html

点击“右上角三个点” --> 点击“设置” --> 点击 “关于chrome”,出现如下界面。


image.png

② 下载chromedriver驱动

这里再次提供一个详细的地址,供大家选择各种版本驱动程序:

http://chromedriver.storage.googleapis.com/index.html

从上面的图中可以看出,谷歌浏览器的版本是【81.0.4044.138】,这里我们选择的chromedriver驱动,如下图所示。

image.png

点进该文件后,可以根据我们的操作系统,选择对应的驱动。

image.png


③ chromedriver驱动的配置

解压上述下载好的文件,并将其中的的chromedriver.exe文件,需要放到python的安装路径下(和python.exe放在一起)。

首先,你可以查看你的python解释器安装在哪里!

image.png

然后,将chromedriver.exe放置和python.exe在一起。

image.png


3)检验selenium是否可用

使用如下两行代码,如果谷歌浏览器成功被驱动打开,证明上述安装和配置没问题。


from selenium import webdriver
browser = webdriver.Chrome()


结果如下:

image.png


4)一个小案例展示selenium的操作效果

from selenium import webdriver
import time
# 创建浏览器对象,该操作会自动帮我们打开Google浏览器窗口
browser = webdriver.Chrome()
# 调用浏览器对象,向服务器发送请求。该操作会打开Google浏览器,并跳转到“百度”首页
browser.get("https://www.baidu.com/")
# 最大化窗口
browser.maximize_window()
# 定位“抗击肺炎”链接内容
element = browser.find_element_by_link_text("抗击肺炎")
# 为了更好的展示这个效果,我们等待3秒钟
time.sleep(3)
# 点击上述链接
element.click()
# 我们再让浏览器停留3秒钟后,再关闭浏览器
time.sleep(3)
# 操作会自动关闭浏览器
browser.close()
"""
效果这里就不展示了,大家自行下去尝试!
"""
相关文章
|
数据采集 Java API
Crawler4j实例爬取爱奇艺热播剧案例 前言
Crawler4j实例爬取爱奇艺热播剧案例 前言
|
2月前
|
数据采集 存储 搜索推荐
爬取网易云音乐热歌榜:从入门到实战
本文介绍如何使用Python爬取网易云音乐热歌榜,包括环境准备、代码解析和实际操作步骤。通过定义榜单ID与名称映射、用户输入、文件夹创建、发起网络请求、正则表达式提取、音乐下载和文件保存等环节,手把手教你实现音乐下载功能。强调遵守网站协议,尊重版权和用户隐私,确保合法合规使用代码。
230 2
|
7月前
|
JSON 数据格式 网络架构
技术心得:快手的小视频爬取
技术心得:快手的小视频爬取
401 1
|
6月前
|
数据采集 Python
揭秘淘宝商品信息:Python爬虫技术入门与实战指南
Python爬虫用于获取淘宝商品详情,依赖`requests`和`beautifulsoup4`库。安装这两个库后,定义函数`get_taobao_product_details`,发送GET请求模拟浏览器,解析HTML获取标题和价格。注意选择器需随页面结构更新,遵守爬虫政策,控制请求频率,处理异常,且数据只能用于合法目的。
|
数据采集 测试技术
手把手教你爬取淘宝的笔记本电脑数据(二)
手把手教你爬取淘宝的笔记本电脑数据(二)
手把手教你爬取淘宝的笔记本电脑数据(二)
|
数据可视化
手把手教你爬取淘宝的笔记本电脑数据(三)
手把手教你爬取淘宝的笔记本电脑数据(三)
手把手教你爬取淘宝的笔记本电脑数据(三)
|
存储 JSON 数据格式
pyhton爬取爱豆(李易峰)微博评论
今日目标:微博,以李易峰的微博为例:
173 0
|
数据采集 Python
python爬虫访问百度贴吧案例
python爬虫访问百度贴吧案例
311 0
|
数据采集 安全 程序员
Python3网络爬虫(十三):王者荣耀那些事!(Fiddler之手机APP爬取)
运行平台: Windows Python版本: Python3.x IDE: Sublime text3   前言 实战背景 准备工作 什么是Fiddler 手机APP抓包设置 Fiddler设置 安全证书下载 安全证书安装 局域网设置 Fiddler手机抓包测试 实战走起 下载英雄图片 英雄推荐出装查询助手 总结   1 前言     暑假回家,”小皇帝”般的生活持续了几天,头几天还挺舒服,闲久了顿时觉得好没意思。
3159 0
|
数据采集 大数据 Python
2个月精通Python爬虫——3大爬虫框架+6场实战+分布式爬虫,包教包会
阿里云大学在线工作坊上线,原理精讲+实操演练,让你真正掌握云计算、大数据技能。 在第一批上线的课程中,有一个Python爬虫的课程,畅销书《精通Python网络爬虫》作者韦玮,带你两个月从入门到精通。
6908 0