AI 助理
备案控制台
开发者社区 开发与运维 文章 正文

selenium-webdriver(python) (十四) -- webdriver原理

2017-07-04 1750
版权
版权声明：
本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《 阿里云开发者社区用户服务协议》和 《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写 侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。
简介：

　之前看乙醇视频中提到，selenium 的ruby 实现有一个小后门，在代码中加上$DEBUG=1 ，再运行脚本的过程中，就可以看到客户端请求的信息与服务器端返回的数据；觉得这个功能很强大，可以帮助理解webdriver的运行原理。

　　后来查了半天，python并没有提供这样一个方便的后门，不过我们可以通过代理的方式获得这些交互信息；

　　一、需要安装java 虚拟机与selenium-server-standalone ，参考 《selenium + python自动化测试环境搭建》第7、8操作：

　　二、通过下面命令启动服务：

　　C:\selenium>java -jar selenium-server-standalone-2.33.0.jar

　　在命令结尾加 >d:\log.txt 可以将命令信息存入文件，但信息很少。

　　然后运行下面的自动化脚本：

#coding = utf-8

import time
from selenium import webdriver
from selenium.webdriver.common.desired_capabilities import DesiredCapabilities

driver = webdriver.Remote(desired_capabilities=DesiredCapabilities.CHROME)
driver.get(http://www.youdao.com)
driver.find_element_by_name("q").send_keys("hello")
driver.find_element_by_name("q").send_keys("key.ENTER")

driver.close()

　　webdriver原理：

　　1. WebDriver 启动目标浏览器，并绑定到指定端口。该启动的浏览器实例，做为web driver的remote server。

　　2. Client 端通过CommandExcuter 发送HTTPRequest 给remote server 的侦听端口（通信协议： the webriver wire protocol）

　　3. Remote server 需要依赖原生的浏览器组件（如：IEDriver.dll,chromedriver.exe），来转化转化浏览器的native调用。

　查看命令提示符下的运行日志：

　　咋一看很乱，慢慢分析一下就发现很有意思！结合上面的脚本分析

---------------------------------------------------------------------------------------
启动代理进入监听状态
C:\selenium>java -jar selenium-server-standalone-2.33.0.jar
八月 22, 2013 10:19:48 上午 org.openqa.grid.selenium.GridLauncher main
INFO: Launching a standalone server
10:19:48.734 INFO - Java: Oracle Corporation 23.21-b01
10:19:48.734 INFO - OS: Windows XP 5.1 x86
10:19:48.734 INFO - v2.33.0, with Core v2.33.0. Built from revision 4e90c97
10:19:48.843 INFO - RemoteWebDriver instances should connect to: http://127.0.0.
1:4444/wd/hub
10:19:48.843 INFO - Version Jetty/5.1.x
10:19:48.843 INFO - Started HttpContext[/selenium-server/driver,/selenium-server
/driver]
10:19:48.843 INFO - Started HttpContext[/selenium-server,/selenium-server]
10:19:48.843 INFO - Started HttpContext[/,/]
10:19:48.890 INFO - Started org.openqa.jetty.jetty.servlet.ServletHandler@176343
e
10:19:48.890 INFO - Started HttpContext[/wd,/wd]
10:19:48.906 INFO - Started SocketListener on 0.0.0.0:4444
10:19:48.906 INFO - Started org.openqa.jetty.jetty.Server@388c74
--------------------------------------------------------------------------------------

创建新session 
10:20:38.593 INFO - Executing: [new session: {platform=ANY, javascriptEnabled=tr
ue, browserName=chrome, version=}] at URL: /session)
10:20:38.593 INFO - Creating a new session for Capabilities [{platform=ANY, java
scriptEnabled=true, browserName=chrome, version=}]  

webdrivr通过GET方式发送请求
[0.921][INFO]: received Webriver request: GET /status 

向webdrver返回响应，返回码200表示成功
[0.921][INFO]: sending Webriver response: 200 {
   "sessionId": "",
   "status": 0,
   "value": {
      "build": {
         "version": "alpha"
      },
      "os": {
         "arch": "x86",
         "name": "Windows NT",
         "version": "5.1 SP3"
      }
   }
}

webdriver 再次以POST方式发送请求，并启动浏览器相关信息
[0.984][INFO]: received Webriver request: POST /session {
   "desiredCapabilities": {
      "browserName": "chrome",
      "javascriptEnabled": true,
      "platform": "ANY",
      "version": ""
   }
}
[0.984][INFO]: Launching chrome: "C:\ocuments and Settings\Administrator\Local S
ettings\Application ata\Google\Chrome\Application\chrome.exe" --remote-debugging
-port=4223 --no-first-run --enable-logging --logging-level=1 --user-data-dir="C:
\OCUME~1\AMINI~1\LOCALS~1\Temp\scoped_dir1808_7550" --load-extension="C:\OCUME~1
\AMINI~1\LOCALS~1\Temp\scoped_dir1808_26821\internal" --ignore-certificate-error
s data:text/html;charset=utf-8,
[1.773][INFO]: sending Webriver response: 303

webdriver再次以GET方法请求，这附加上了session的信息
[1.778][INFO]: received Webriver request: GET /session/32b33aa585ccbbf7ba7853588
2852af3

服务器先对sesssionID进行解析，确认是selenium调用的以及要访问的网址，
[1.779][INFO]: sending Webriver response: 200 {
   "sessionId": "32b33aa585ccbbf7ba78535882852af3",
   "status": 0,
   "value": {
      "acceptSslCerts": true,
      "applicationCacheEnabled": false,
      "browserConnectionEnabled": false,
      "browserName": "chrome",
      "chrome": {
         "chromedriverVersion": "2.0"
      },
      "cssSelectorsEnabled": true,
      "databaseEnabled": true,
      "handlesAlerts": true,
      "javascriptEnabled": true,
      "locationContextEnabled": true,
      "nativeEvents": true,
      "platform": "Windows NT",
      "rotatable": false,
      "takesScreenshot": true,
      "version": "27.0.1453.116",
      "webStorageEnabled": true
   }
}
10:20:40.640 INFO - Done: /session
10:20:40.640 INFO - Executing: org.openqa.selenium.remote.server.handler.GetSess
ionCapabilities@14cf7a1 at URL: /session/ac5b2c71-5b1a-469e-814c-fdd09a2061fc)
10:20:40.640 INFO - Done: /session/ac5b2c71-5b1a-469e-814c-fdd09a2061fc
10:20:40.656 INFO - Executing: [get: http://www.youdao.com] at URL: /session/ac5
b2c71-5b1a-469e-814c-fdd09a2061fc/url)

webdriver正试向服务器请求youdao网站
[1.820][INFO]: received Webriver request: POST /session/32b33aa585ccbbf7ba785358
82852af3/url {
   "url": "http://www.youdao.com"
}
[1.822][INFO]: waiting for pending navigations...
[1.829][INFO]: done waiting for pending navigations
[2.073][INFO]: waiting for pending navigations...
[2.900][INFO]: done waiting for pending navigations

获得服务器数据的应答
[2.900][INFO]: sending Webriver response: 200 {
   "sessionId": "32b33aa585ccbbf7ba78535882852af3",
   "status": 0,
   "value": null
}
10:20:41.734 INFO - Done: /session/ac5b2c71-5b1a-469e-814c-fdd09a2061fc/url
--------------------------------------------------------------------------------------
下面接着发送定位输入框的信息
10:20:41.734 INFO - Executing: [find element: By.name: q] at URL: /session/ac5b2
c71-5b1a-469e-814c-fdd09a2061fc/element)
[2.905][INFO]: received Webriver request: POST /session/32b33aa585ccbbf7ba785358
82852af3/element {
   "using": "name",
   "value": "q"
}
[2.905][INFO]: waiting for pending navigations...
[2.905][INFO]: done waiting for pending navigations
[2.922][INFO]: waiting for pending navigations...
[2.922][INFO]: done waiting for pending navigations

得到服务器应答
[2.922][INFO]: sending Webriver response: 200 {
   "sessionId": "32b33aa585ccbbf7ba78535882852af3",
   "status": 0,
   "value": {
      "ELEMENT": "0.19427558477036655:1"
   }
}
10:20:41.765 INFO - Done: /session/ac5b2c71-5b1a-469e-814c-fdd09a2061fc/element
10:20:41.765 INFO - Executing: [send keys: 0 org.openqa.selenium.support.events.
EventFiringWebDriver$EventFiringWebElement@a8215ba9, [h, e, l, l, o]] at URL: /s
ession/ac5b2c71-5b1a-469e-814c-fdd09a2061fc/element/0/value)

向定位到的输入框写入hello
[2.936][INFO]: received Webriver request: POST /session/32b33aa585ccbbf7ba785358
82852af3/element/0.19427558477036655:1/value {
   "id": "0.19427558477036655:1",
   "value": [ "h", "e", "l", "l", "o" ]
}
[2.936][INFO]: waiting for pending navigations...
[2.936][INFO]: done waiting for pending navigations
[3.002][INFO]: waiting for pending navigations...
[3.002][INFO]: done waiting for pending navigations
[3.002][INFO]: sending Webriver response: 200 {
   "sessionId": "32b33aa585ccbbf7ba78535882852af3",
   "status": 0,
   "value": null
}
10:20:41.843 INFO - Done: /session/ac5b2c71-5b1a-469e-814c-fdd09a2061fc/element/
0/value

再次发送定位输入框的请求
10:20:41.843 INFO - Executing: [find element: By.name: q] at URL: /session/ac5b2
c71-5b1a-469e-814c-fdd09a2061fc/element)
[3.006][INFO]: received Webriver request: POST /session/32b33aa585ccbbf7ba785358
82852af3/element {
   "using": "name",
   "value": "q"
}
[3.006][INFO]: waiting for pending navigations...
[3.006][INFO]: done waiting for pending navigations
[3.016][INFO]: waiting for pending navigations...
[3.016][INFO]: done waiting for pending navigations
[3.016][INFO]: sending Webriver response: 200 {
   "sessionId": "32b33aa585ccbbf7ba78535882852af3",
   "status": 0,
   "value": {
      "ELEMENT": "0.19427558477036655:1"
   }
}
10:20:41.859 INFO - Done: /session/ac5b2c71-5b1a-469e-814c-fdd09a2061fc/element
10:20:41.859 INFO - Executing: [send keys: 0 org.openqa.selenium.support.events.
EventFiringWebDriver$EventFiringWebElement@a8215ba9, [k, e, y, ., E, N, T, E, R]
] at URL: /session/ac5b2c71-5b1a-469e-814c-fdd09a2061fc/element/0/value)

对定位的到的输入框发送回车（ENTER）事件请求
[3.021][INFO]: received Webriver request: POST /session/32b33aa585ccbbf7ba785358
82852af3/element/0.19427558477036655:1/value {
   "id": "0.19427558477036655:1",
   "value": [ "k", "e", "y", ".", "E", "N", "T", "E", "R" ]
}
[3.021][INFO]: waiting for pending navigations...
[3.021][INFO]: done waiting for pending navigations
[3.064][INFO]: waiting for pending navigations...
[3.064][INFO]: done waiting for pending navigations
[3.064][INFO]: sending Webriver response: 200 {
   "sessionId": "32b33aa585ccbbf7ba78535882852af3",
   "status": 0,
   "value": null
}
10:20:41.906 INFO - Done: /session/ac5b2c71-5b1a-469e-814c-fdd09a2061fc/element/
0/value
10:20:41.906 INFO - Executing: [close window] at URL: /session/ac5b2c71-5b1a-469
e-814c-fdd09a2061fc/window)
[3.068][INFO]: received Webriver request: ELETE /session/32b33aa585ccbbf7ba78535
882852af3/window
[WARNING:chrome_desktop_impl.cc(88)] chrome detaches, user should take care of d
irectory:C:\DOCUME~1\ADMINI~1\LOCALS~1\Temp\scoped_dir1808_7550 and C:\DOCUME~1\
ADMINI~1\LOCALS~1\Temp\scoped_dir1808_26821
[5.318][INFO]: sending Webriver response: 200 {
   "sessionId": "32b33aa585ccbbf7ba78535882852af3",
   "status": 0,
   "value": null
}
10:20:44.156 INFO - Done: /session/ac5b2c71-5b1a-469e-814c-fdd09a2061fc/window


　request 请求 / response 应答

　　一次请求会对应一次应答

　　POST/GET  是请求(request)两种类型；关于两种请求方式的类别参考其它资料

　　200 、203 是 HTTP请求返回的状态码，200表示成功；

　　sessionid ：每一个访问服务器的客户端，都要先得到服务器端分配的一个sessionid ，就像通行证一样，只有得到sessionid的客户端才能向服务器请求想要的数据。

　　其它还包括操作系统版本，浏览器类型、URL、字符类型等非常详细的记录。熟悉HTTP ，了解TCP 的三次握手四次挥手，相信你对浏览器的交互与webdriver原理会有更深入的认识。   



最新内容请见作者的GitHub页：http://qaseven.github.io/

   

文章标签：
Web App开发
Python
Windows
Java
关键词：
Selenium webdriver
Selenium python
Selenium webdriver原理
Selenium原理
Python原理
boxti
目录
相关文章
胡东旭
|
12天前
|
前端开发 JavaScript Java
【实操】SpringBoot监听Iphone15邮件提醒，Selenium+Python自动化抢购脚本
本文介绍了一个结合SpringBoot和Python的实用功能，旨在监控iPhone 15的库存状态并通过邮件提醒用户。系统采用SpringBoot监听苹果官网API，解析JSON数据判断是否有货，并展示最近的库存记录。此外，还能自动触发Selenium+Python脚本实现自动化购买。文中详细介绍了技术栈、接口分析、邮件配置及自动化脚本的设置方法。该项目不仅适用于熟悉后端开发的人员，也适合回顾Layui和Jquery等前端技术。
胡东旭
33 0
【实操】SpringBoot监听Iphone15邮件提醒，Selenium+Python自动化抢购脚本
奔跑的数据
|
2天前
|
数据采集 Web App开发 测试技术
使用Selenium与WebDriver实现跨浏览器自动化数据抓取
在网络爬虫领域，Selenium与WebDriver是实现跨浏览器自动化数据抓取的利器。本文详细介绍了如何利用Selenium和WebDriver结合代理IP技术提升数据抓取的稳定性和效率。通过设置user-agent和cookie来模拟真实用户行为，避免被网站检测和阻止。文章提供了具体的代码示例，展示了如何配置代理IP、设置user-agent和cookie，并实现了跨浏览器的数据抓取。合理的参数配置能有效减少爬虫被封禁的风险，提高数据抓取效率。
奔跑的数据
22 6
使用Selenium与WebDriver实现跨浏览器自动化数据抓取
我不是游客20240119
|
2天前
|
Web App开发 Java 测试技术
自动化测试的利器：Selenium WebDriver入门与实践
【9月更文挑战第8天】在软件开发的海洋中，测试是确保我们不会溺水的那根救生索。Selenium WebDriver，作为自动化测试的明星工具，让这根救生索更加结实可靠。本文将带你快速上手Selenium WebDriver，从基础设置到实际操作，再到实战演练，让你的开发之旅更加平稳顺畅。
我不是游客20240119
29 11
请看我回答~
|
11天前
|
Web App开发 测试技术 API
自动化测试之美：使用Selenium和Python进行Web应用测试
【8月更文挑战第31天】在软件开发的快节奏世界中，自动化测试如同一束明灯，照亮了质量保证之路。本文将引导你通过Selenium和Python的强大组合，探索如何构建高效的Web应用测试框架。我们不仅会讨论理论，还会深入代码，从一个简单的示例开始，逐步扩展至更复杂的场景。无论你是初学者还是有经验的开发者，这篇文章都将为你提供宝贵的见解和实用的技巧。让我们一同揭开自动化测试的神秘面纱，体验它的魅力所在。
请看我回答~
9 1
wljslmz
|
15天前
|
JavaScript 测试技术 API
Selenium WebDriver中的异常管理：理解与应对
【8月更文挑战第27天】
wljslmz
61 5
请看我回答~
|
15天前
|
Web App开发 测试技术 持续交付
自动化测试之美：如何利用Selenium和Python提升测试效率
【8月更文挑战第27天】在软件开发的海洋中，自动化测试犹如一艘高速航行的帆船，让质量保证的过程更加迅速而精准。本文将引导你了解如何结合Selenium和Python这两大利器，构建强大的自动化测试框架，从而显著提升测试工作的效率和效果。通过深入浅出的讲解，我们不仅会探索这两个工具的基本使用方法，还会学习如何设计高效的测试用例，以及如何处理测试过程中遇到的各种问题。无论你是测试新手还是希望提高测试技能的开发者，这篇文章都将为你打开一扇通往更高效测试世界的大门。
请看我回答~
11 1
我不是游客20240119
|
4天前
|
机器学习/深度学习 人工智能 算法
探索人工智能：机器学习的基本原理与Python代码实践
【9月更文挑战第6天】本文深入探讨了人工智能领域中的机器学习技术，旨在通过简明的语言和实际的编码示例，为初学者提供一条清晰的学习路径。文章不仅阐述了机器学习的基本概念、主要算法及其应用场景，还通过Python语言展示了如何实现一个简单的线性回归模型。此外，本文还讨论了机器学习面临的挑战和未来发展趋势，以期激发读者对这一前沿技术的兴趣和思考。
我不是游客20240119
15 0
请看我回答~
|
11天前
|
Web App开发 Java 测试技术
自动化测试的新篇章：使用Selenium WebDriver进行高效测试
【8月更文挑战第31天】 在软件开发的海洋中，自动化测试犹如一艘航船，带领着质量保证团队驶向效率与精准的彼岸。本文将揭开Selenium WebDriver的神秘面纱，通过实际案例引导您掌握这一强大的自动化测试工具。我们将从Selenium WebDriver的基础概念出发，逐步深入到代码示例，最后探讨其在现实项目中的应用场景和优势，旨在为您的软件测试之旅提供清晰的指南。
请看我回答~
21 0
请看我回答~
|
11天前
|
Web App开发 测试技术 持续交付
探索自动化测试：以Selenium和Python为例
【8月更文挑战第31天】自动化测试在现代软件开发中扮演着不可或缺的角色。本文将通过一个简化的示例，展示如何使用Selenium和Python进行Web应用的自动化测试。我们将从安装必要的工具开始，逐步构建一个简单的测试脚本，并执行它来验证其功能。通过这个过程，我们旨在揭示自动化测试的价值，并激励读者深入探索这一领域。
请看我回答~
21 0
请看我回答~
|
11天前
|
Web App开发 敏捷开发 Java
自动化测试中的神器 —— Selenium WebDriver
【8月更文挑战第31天】在软件开发的海洋里，自动化测试是那艘能带领我们驶向高效与精准彼岸的帆船。本文将带你领略Selenium WebDriver的魅力，从安装到实战，一步步解锁自动化测试的新境界。你将看到代码如何化繁为简，让重复的测试工作变得轻松愉快。让我们一起驾驭这股代码的风，向着软件质量的灯塔进发！
请看我回答~
7 0

热门文章

最新文章

  • 1
    Selenium testing Iframe
  • 2
    Python爬虫：Selenium鼠标点击二级菜单
  • 3
    Selenium系列（十二） - 自动化必备知识之CSS选择器的详细使用
  • 4
    Selenium2(webdriver)_定位不到元素常见原因及解决办法
  • 5
    【 selenium】selenium4新版本使用指南
  • 6
    Python+selenium 实现自动上传并发布小红书号短视频实例演示
  • 7
    Python selenium chrome 环境配置
  • 8
    Selenium 对表格的验证
  • 9
    Selenium2.0功能测试之Web元素的操作
  • 10
    IE11不支持Selenium 2.0的解决方法
  • 1
    Python自动化测试代理程序可用性
    38
  • 2
    使用Python pandas的sort_values()方法可按一个或多个列对DataFrame排序
    128
  • 3
    在Python的Pandas中，可以通过直接赋值或使用apply函数在DataFrame添加新列。
    205
  • 4
    Python小工具包
    78
  • 5
    python图片九宫格图片处理
    66
  • 6
    python实现Gif图片的字符画
    71
  • 7
    【🔥热闻速递】Google 裁撤 Python研发团队
    70
  • 8
    在Python中绘制移动平均线（MA）
    102
  • 9
    【Python机器学习专栏】Python机器学习工具与库的未来展望
    55
  • 10
    【Python机器学习专栏】机器学习在物联网（IoT）中的集成
    143

    • 相关课程

    更多
  • Python爬虫实战
  • Python开发基础入门
  • Python常用数据科学库
  • Python网络爬虫实战
  • Python完全自学手册图文教程
  • Python基础快速入门实战教程

    • 相关电子书

    更多
  • From Python Scikit-Learn to Sc
  • Data Pre-Processing in Python:
  • 双剑合璧-Python和大数据计算平台的结合

    • 相关实验场景

    更多
  • 用Python画圣诞树
  • Python选择及循环结构
  • 云端Python及基本操作
  • Python网络通信程序典型应用
  • Python新手入门（Anolis OS）
  • Python新手入门

    • 推荐镜像

    更多
  • python-release
  • nodejs-release
  • linuxmint-packages
    • 下一篇
    DDNS