Python网络爬虫Selenium页面等待:强制等待、隐式等待和显式等待

简介: Python网络爬虫Selenium页面等待:强制等待、隐式等待和显式等待

关于Python网络爬虫Selenium强制等待、隐式等待和显式等待的总结

from selenium import webdriver
import time
from selenium.webdriver.common.by import By
from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.support import expected_conditions as EC

driver = webdriver.Chrome()
driver.get('https://www.baidu.com')

强制等待

使整个脚本暂停运行。

time.sleep(2)

隐式等待

不同于显式等待,显式等待针对的是目标元素,而隐式等待针对的是全局的所有的元素。
如果设置等待十秒,可以理解为在10秒内不停刷新整个页面,看目标元素是否加载出来
如果时间还没到找到了目标元素,就不再继续等待,程序继续执行。
如果时间到了还没找到目标元素,就报错。
隐式等待使用时只需要声明一次。
网络爬虫中我们用到更多的就是隐式等待。

示例:

driver.implicitly_wait(10)
print(1)
driver.find_element_by_id('su')
print(2)
driver.find_element_by_id('xxx')
print(3)

显式等待

显式等待是单独针对某个元素,表明某个条件成立后才执行获取元素的操作。
以下面代码为例,即目标标签加载出来出后,开始获取该标签。
同上如果时间还没到找到了目标元素,就不再继续等待,程序继续执行。
如果时间到了还没找到目标元素,就报错。
显式等待使用时需要在每个元素前声明

element = WebDriverWait(driver, 10, 1).until(
    EC.presence_of_element_located((By.ID, "kwssxx"))
element.send_keys('xxx')

WebDriverWait()可以设置第三个参数,默认每0.5秒检查一次目标元素是否加载出来了。这里设置为每1秒检查一次。


其他补充

将显式等待写成异常处理的写法,
这样的写法在程序中更友好。如果获取出现错误,则调用我们定义的其他方法。不直接报错。

def demo():
    pass

try:
    element = WebDriverWait(driver, 10).until(
        EC.presence_of_element_located((By.ID, "myDynamicElement"))
    )
except:
    demo()
finally:
    driver.quit()
目录
相关文章
|
1天前
|
数据采集 存储 数据挖掘
Python网络爬虫实战:抓取并分析网页数据
使用Python的`requests`和`BeautifulSoup`,本文演示了一个简单的网络爬虫,抓取天气网站数据并进行分析。步骤包括发送HTTP请求获取HTML,解析HTML提取温度和湿度信息,以及计算平均温度。注意事项涉及遵守robots.txt、控制请求频率及处理动态内容。此基础爬虫展示了数据自动收集和初步分析的基础流程。【6月更文挑战第14天】
45 9
|
3天前
|
存储 JSON 算法
Python中的并发编程(4)多线程发送网络请求
Python中的并发编程(4)多线程发送网络请求
|
3天前
|
数据采集 前端开发 Python
Python3网络开发实战读后感
Python3网络开发实战读后感
|
4天前
|
Unix Python
Python基础教程(第3版)中文版 第14章 网络编程(笔记)
Python基础教程(第3版)中文版 第14章 网络编程(笔记)
|
5天前
|
数据可视化 算法 JavaScript
使用Python进行网络数据可视化的多种方法与技巧
在当今信息爆炸的时代,网络数据量呈指数级增长,了解和分析这些数据对于许多领域的决策制定至关重要。可视化是理解和解释大量数据的强大工具之一,而Python作为一种流行的编程语言,提供了丰富的库和工具来进行网络数据可视化。本文将介绍一些使用Python进行网络数据可视化的方法与技巧,并提供相应的代码实例。
|
5天前
|
存储 XML 数据处理
Python网络实践:去哪儿旅游数据爬取指南
Python网络实践:去哪儿旅游数据爬取指南
|
6天前
|
机器学习/深度学习 PyTorch TensorFlow
|
7天前
|
网络协议 Unix API
Python 网络编程
Python 网络编程
|
7天前
|
数据采集 存储 中间件
Scrapy,作为一款强大的Python网络爬虫框架,凭借其高效、灵活、易扩展的特性,深受开发者的喜爱
【6月更文挑战第10天】Scrapy是Python的高效爬虫框架,以其异步处理、多线程及中间件机制提升爬取效率。它提供丰富组件和API,支持灵活的数据抓取、清洗、存储,可扩展到各种数据库。通过自定义组件,Scrapy能适应动态网页和应对反爬策略,同时与数据分析库集成进行复杂分析。但需注意遵守法律法规和道德规范,以合法合规的方式进行爬虫开发。随着技术发展,Scrapy在数据收集领域将持续发挥关键作用。
37 4
|
8天前
|
监控 安全 网络安全
Python在网络安全中的角色是什么?
【6月更文挑战第9天】Python在网络安全中的角色是什么?
10 2

热门文章

最新文章