Python+selenium自动化:页面加载慢、超时加载情况下内容已经加载完毕的快速执行脚本解决方案,页面加载时间过长优化方案

简介: Python+selenium自动化:页面加载慢、超时加载情况下内容已经加载完毕的快速执行脚本解决方案,页面加载时间过长优化方案

   

driver.set_page_load_timeout(3) 页面加载时间设置 3 秒,执行到某一步涉及页面加载如果加载时间超过 3 秒就会停止加载并抛出异常,其实这个时候页面内的元素已经加载出来了,我们在这一步进行异常捕获不让程序停止,然后直接执行下一步即可。

报错信息如下:

selenium.common.exceptions.TimeoutException: Message: timeout: Timed out receiving message from renderer: 3.000

def analyze_jira(driver, d):
    # 方案一:异常捕获方案
    # 页面加载时间设置,超时会直接报错,将会报错的地方加个异常不过,完美解决问题
    driver.set_page_load_timeout(3)
    for (k,v) in d.items():
        driver.find_element_by_xpath('//input[@id="quickSearchInput"]').send_keys(k[4:])
        try:
          # 查询操作,耗时很长
            ActionChains(driver).send_keys(Keys.ENTER).perform()
        except Exception as e:
            print("抓到异常,页面停止加载,但是程序不停止。")
        time.sleep(1)
        # 提取页面指定元素的文本
        question_zhuti = driver.find_element_by_xpath('//*[@id="summary-val"]').text;

还可以通过 set_script_timeout() 方法来解决问题。

def analyze_jira(driver, d):
    # 方案二:同时设置脚本执行超时时间方案
    # 设置脚本报错之前的等待时间,这个小于等于上面set_page_load_timeout()设置的时间就不会抛错。
    driver.set_page_load_timeout(3)
    driver.set_script_timeout(3)
    for (k,v) in d.items():
        driver.find_element_by_xpath('//input[@id="quickSearchInput"]').send_keys(k[4:])
        # 查询操作,耗时很长
        ActionChains(driver).send_keys(Keys.ENTER).perform()
        time.sleep(1)
        # 提取页面指定元素的文本
        question_zhuti = driver.find_element_by_xpath('//*[@id="summary-val"]').text;

set_page_load_timeout()

方法说明:

Set the amount of time to wait for a page load to complete before throwing an error.

翻译:

设置在抛出错误之前等待页面加载完成的时间。

set_script_timeout()

方法说明:

Set the amount of time that the script should wait during an execute_async_script call before throwing an error.

翻译:

设置脚本在execute_async_script调用期间抛出错误之前应该等待的时间。

喜欢的点个赞❤吧!

   

目录
相关文章
|
2月前
|
JSON 算法 API
深度分析小红书城API接口,用Python脚本实现
小红书作为以UGC内容为核心的生活方式平台,其非官方API主要通过移动端抓包解析获得,涵盖内容推荐、搜索、笔记详情、用户信息和互动操作等功能。本文分析了其接口体系、认证机制及请求规范,并提供基于Python的调用框架,涉及签名生成、登录态管理与数据解析。需注意非官方接口存在稳定性与合规风险,使用时应遵守平台协议及法律法规。
|
2月前
|
JSON API 数据安全/隐私保护
【干货满满】分享微店API接口到手价,用python脚本实现
微店作为知名社交电商平台,其开放平台提供商品查询、订单管理等API接口。本文介绍如何通过微店API获取商品到手价(含优惠、券等),涵盖认证机制、Python实现及关键说明。
|
2月前
|
JSON API 数据格式
深度分析大麦网API接口,用Python脚本实现
大麦网为国内领先演出票务平台,提供演唱会、话剧、体育赛事等票务服务。本文基于抓包分析其非官方接口,并提供Python调用方案,涵盖演出列表查询、详情获取及城市列表获取。需注意非官方接口存在稳定性风险,使用时应遵守平台规则,控制请求频率,防范封禁与法律风险。适用于个人学习、演出信息监控等场景。
|
2月前
|
JSON API 开发者
深度分析阿里妈妈API接口,用Python脚本实现
阿里妈妈是阿里巴巴旗下营销平台,提供淘宝联盟、直通车等服务,支持推广位管理、商品查询等API功能。本文详解其API调用方法,重点实现商品推广信息(佣金、优惠券)获取,并提供Python实现方案。
|
2月前
|
API 数据安全/隐私保护 开发者
深度分析苏宁API接口,用Python脚本实现
深度分析苏宁API接口,用Python脚本实现
|
2月前
|
JSON API 数据安全/隐私保护
深度分析虾皮城API接口,用Python脚本实现
虾皮开放平台提供丰富的API接口,支持商品管理、订单处理及促销信息查询等功能。本文详解API认证机制与调用方法,基于Python实现商品价格及到手价获取方案,适用于电商数据分析与运营。
|
2月前
|
前端开发 Shell API
深度分析58同城API接口,用Python脚本实现
58同城为国内知名分类信息平台,涵盖房产、招聘、二手车等多领域。本文基于网页抓包与解析,分享其非官方接口的Python实现方案,分析核心接口特性与反爬应对策略,适用于数据学习与信息聚合。注意:非官方接口存在风险,使用需遵守平台规则。
|
16天前
|
运维 Linux 网络安全
自动化真能省钱?聊聊运维自动化如何帮企业优化IT成本
自动化真能省钱?聊聊运维自动化如何帮企业优化IT成本
46 4
|
3月前
|
运维 监控 安全
从实践到自动化:现代运维管理的转型与挑战
本文探讨了现代运维管理从传统人工模式向自动化转型的必要性与路径,分析了传统运维的痛点,如效率低、响应慢、依赖经验等问题,并介绍了自动化运维在提升效率、降低成本、增强系统稳定性与安全性方面的优势。结合技术工具与实践案例,文章展示了企业如何通过自动化实现运维升级,推动数字化转型,提升业务竞争力。
|
12月前
|
运维 Linux Apache
,自动化运维成为现代IT基础设施的关键部分。Puppet是一款强大的自动化运维工具
【10月更文挑战第7天】随着云计算和容器化技术的发展,自动化运维成为现代IT基础设施的关键部分。Puppet是一款强大的自动化运维工具,通过定义资源状态和关系,确保系统始终处于期望配置状态。本文介绍Puppet的基本概念、安装配置及使用示例,帮助读者快速掌握Puppet,实现高效自动化运维。
226 4

热门文章

最新文章

推荐镜像

更多