python网络爬虫selenium

简介: python网络爬虫selenium

1.准备

pip install selenium

以Chrom浏览器为例,
安装相应版本的chromdriver驱动程序,并添加为环境变量
安装链接:安装chromdriver

2.常用属性和方法

from selenium import webdriver
import time

# 实例化一个浏览器
driver = webdriver.Chrome()

如果没有将chromedriver放在系统的环境变量路径,则需要在实例化时加上一个参数executable_path 来指定驱动的路径。
运行上述代码,会自动将Chrome浏览器打开,但是没有输入任何url。
在这里插入图片描述


打开网页,窗口最大化,停留3秒,最后关闭。

from selenium import webdriver
import time

# 实例化浏览器
driver = webdriver.Chrome()
# 窗口最大化
driver.maximize_window()

# 输入网址
driver.get('https://www.baidu.com/')
time.sleep(3)  # 停留3秒钟
driver.quit()      # 关闭浏览器

浏览器打开后,
先用maxsize_window()方法 将窗口调至最大化,
然后用get方法输入网址并跳转的该网站。
sleep()方法停留3秒钟
使用
quit()
方法关闭浏览器


调用百度页面的搜索框
首先要给搜索框进行元素定位
在这里插入图片描述
可以看到该Element的id值为’kw’。
使用 find_element_by_id() 方法定位到该标签
使用send_keys() 方法输入搜索内容,以CSDN为例
然后再一次使用 **find_element_by_id()**方法定位到“百度一下”按钮,使用click方法点击其。

# 定位搜索框并输入搜索内容
driver.find_element_by_id('kw').send_keys('CSDN')

# 点击 百度一下
driver.find_element_by_id('su').click()

__
退出当前页面

driver.close()      退出当前页面

区别于quit()方法,quit()指的是关闭整个浏览器,而close()指的是关闭当前网页。


回退

driver.back()

前进

driver.forward()

  • page_source 页面源码
  • get_cookies() 获取cookie
  • current_url 当前请求的URL地址
print(driver.page_source)      # 页面源码
print(driver.get_cookies())    # 获取cookie
print(driver.current_url)    # 当前请求的URL地址

截图并保存

driver.save_screenshot('file_name.png')
目录
相关文章
|
1天前
|
数据采集 存储 数据挖掘
Python网络爬虫实战:抓取并分析网页数据
使用Python的`requests`和`BeautifulSoup`,本文演示了一个简单的网络爬虫,抓取天气网站数据并进行分析。步骤包括发送HTTP请求获取HTML,解析HTML提取温度和湿度信息,以及计算平均温度。注意事项涉及遵守robots.txt、控制请求频率及处理动态内容。此基础爬虫展示了数据自动收集和初步分析的基础流程。【6月更文挑战第14天】
45 9
|
3天前
|
存储 JSON 算法
Python中的并发编程(4)多线程发送网络请求
Python中的并发编程(4)多线程发送网络请求
|
3天前
|
数据采集 前端开发 Python
Python3网络开发实战读后感
Python3网络开发实战读后感
|
4天前
|
Unix Python
Python基础教程(第3版)中文版 第14章 网络编程(笔记)
Python基础教程(第3版)中文版 第14章 网络编程(笔记)
|
5天前
|
数据可视化 算法 JavaScript
使用Python进行网络数据可视化的多种方法与技巧
在当今信息爆炸的时代,网络数据量呈指数级增长,了解和分析这些数据对于许多领域的决策制定至关重要。可视化是理解和解释大量数据的强大工具之一,而Python作为一种流行的编程语言,提供了丰富的库和工具来进行网络数据可视化。本文将介绍一些使用Python进行网络数据可视化的方法与技巧,并提供相应的代码实例。
|
5天前
|
存储 XML 数据处理
Python网络实践:去哪儿旅游数据爬取指南
Python网络实践:去哪儿旅游数据爬取指南
|
6天前
|
机器学习/深度学习 PyTorch TensorFlow
|
7天前
|
网络协议 Unix API
Python 网络编程
Python 网络编程
|
7天前
|
数据采集 存储 中间件
Scrapy,作为一款强大的Python网络爬虫框架,凭借其高效、灵活、易扩展的特性,深受开发者的喜爱
【6月更文挑战第10天】Scrapy是Python的高效爬虫框架,以其异步处理、多线程及中间件机制提升爬取效率。它提供丰富组件和API,支持灵活的数据抓取、清洗、存储,可扩展到各种数据库。通过自定义组件,Scrapy能适应动态网页和应对反爬策略,同时与数据分析库集成进行复杂分析。但需注意遵守法律法规和道德规范,以合法合规的方式进行爬虫开发。随着技术发展,Scrapy在数据收集领域将持续发挥关键作用。
37 4
|
8天前
|
监控 安全 网络安全
Python在网络安全中的角色是什么?
【6月更文挑战第9天】Python在网络安全中的角色是什么?
10 2