AI 助理
备案控制台
开发者社区 开发与运维 文章 正文

selenium-webdriver(python) (十四) -- webdriver原理

2017-07-04 1761
版权
版权声明：
本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《 阿里云开发者社区用户服务协议》和 《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写 侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。
简介：

　之前看乙醇视频中提到，selenium 的ruby 实现有一个小后门，在代码中加上$DEBUG=1 ，再运行脚本的过程中，就可以看到客户端请求的信息与服务器端返回的数据；觉得这个功能很强大，可以帮助理解webdriver的运行原理。

　　后来查了半天，python并没有提供这样一个方便的后门，不过我们可以通过代理的方式获得这些交互信息；

　　一、需要安装java 虚拟机与selenium-server-standalone ，参考 《selenium + python自动化测试环境搭建》第7、8操作：

　　二、通过下面命令启动服务：

　　C:\selenium>java -jar selenium-server-standalone-2.33.0.jar

　　在命令结尾加 >d:\log.txt 可以将命令信息存入文件，但信息很少。

　　然后运行下面的自动化脚本：

#coding = utf-8

import time
from selenium import webdriver
from selenium.webdriver.common.desired_capabilities import DesiredCapabilities

driver = webdriver.Remote(desired_capabilities=DesiredCapabilities.CHROME)
driver.get(http://www.youdao.com)
driver.find_element_by_name("q").send_keys("hello")
driver.find_element_by_name("q").send_keys("key.ENTER")

driver.close()

　　webdriver原理：

　　1. WebDriver 启动目标浏览器，并绑定到指定端口。该启动的浏览器实例，做为web driver的remote server。

　　2. Client 端通过CommandExcuter 发送HTTPRequest 给remote server 的侦听端口（通信协议： the webriver wire protocol）

　　3. Remote server 需要依赖原生的浏览器组件（如：IEDriver.dll,chromedriver.exe），来转化转化浏览器的native调用。

　查看命令提示符下的运行日志：

　　咋一看很乱，慢慢分析一下就发现很有意思！结合上面的脚本分析

---------------------------------------------------------------------------------------
启动代理进入监听状态
C:\selenium>java -jar selenium-server-standalone-2.33.0.jar
八月 22, 2013 10:19:48 上午 org.openqa.grid.selenium.GridLauncher main
INFO: Launching a standalone server
10:19:48.734 INFO - Java: Oracle Corporation 23.21-b01
10:19:48.734 INFO - OS: Windows XP 5.1 x86
10:19:48.734 INFO - v2.33.0, with Core v2.33.0. Built from revision 4e90c97
10:19:48.843 INFO - RemoteWebDriver instances should connect to: http://127.0.0.
1:4444/wd/hub
10:19:48.843 INFO - Version Jetty/5.1.x
10:19:48.843 INFO - Started HttpContext[/selenium-server/driver,/selenium-server
/driver]
10:19:48.843 INFO - Started HttpContext[/selenium-server,/selenium-server]
10:19:48.843 INFO - Started HttpContext[/,/]
10:19:48.890 INFO - Started org.openqa.jetty.jetty.servlet.ServletHandler@176343
e
10:19:48.890 INFO - Started HttpContext[/wd,/wd]
10:19:48.906 INFO - Started SocketListener on 0.0.0.0:4444
10:19:48.906 INFO - Started org.openqa.jetty.jetty.Server@388c74
--------------------------------------------------------------------------------------

创建新session 
10:20:38.593 INFO - Executing: [new session: {platform=ANY, javascriptEnabled=tr
ue, browserName=chrome, version=}] at URL: /session)
10:20:38.593 INFO - Creating a new session for Capabilities [{platform=ANY, java
scriptEnabled=true, browserName=chrome, version=}]  

webdrivr通过GET方式发送请求
[0.921][INFO]: received Webriver request: GET /status 

向webdrver返回响应，返回码200表示成功
[0.921][INFO]: sending Webriver response: 200 {
   "sessionId": "",
   "status": 0,
   "value": {
      "build": {
         "version": "alpha"
      },
      "os": {
         "arch": "x86",
         "name": "Windows NT",
         "version": "5.1 SP3"
      }
   }
}

webdriver 再次以POST方式发送请求，并启动浏览器相关信息
[0.984][INFO]: received Webriver request: POST /session {
   "desiredCapabilities": {
      "browserName": "chrome",
      "javascriptEnabled": true,
      "platform": "ANY",
      "version": ""
   }
}
[0.984][INFO]: Launching chrome: "C:\ocuments and Settings\Administrator\Local S
ettings\Application ata\Google\Chrome\Application\chrome.exe" --remote-debugging
-port=4223 --no-first-run --enable-logging --logging-level=1 --user-data-dir="C:
\OCUME~1\AMINI~1\LOCALS~1\Temp\scoped_dir1808_7550" --load-extension="C:\OCUME~1
\AMINI~1\LOCALS~1\Temp\scoped_dir1808_26821\internal" --ignore-certificate-error
s data:text/html;charset=utf-8,
[1.773][INFO]: sending Webriver response: 303

webdriver再次以GET方法请求，这附加上了session的信息
[1.778][INFO]: received Webriver request: GET /session/32b33aa585ccbbf7ba7853588
2852af3

服务器先对sesssionID进行解析，确认是selenium调用的以及要访问的网址，
[1.779][INFO]: sending Webriver response: 200 {
   "sessionId": "32b33aa585ccbbf7ba78535882852af3",
   "status": 0,
   "value": {
      "acceptSslCerts": true,
      "applicationCacheEnabled": false,
      "browserConnectionEnabled": false,
      "browserName": "chrome",
      "chrome": {
         "chromedriverVersion": "2.0"
      },
      "cssSelectorsEnabled": true,
      "databaseEnabled": true,
      "handlesAlerts": true,
      "javascriptEnabled": true,
      "locationContextEnabled": true,
      "nativeEvents": true,
      "platform": "Windows NT",
      "rotatable": false,
      "takesScreenshot": true,
      "version": "27.0.1453.116",
      "webStorageEnabled": true
   }
}
10:20:40.640 INFO - Done: /session
10:20:40.640 INFO - Executing: org.openqa.selenium.remote.server.handler.GetSess
ionCapabilities@14cf7a1 at URL: /session/ac5b2c71-5b1a-469e-814c-fdd09a2061fc)
10:20:40.640 INFO - Done: /session/ac5b2c71-5b1a-469e-814c-fdd09a2061fc
10:20:40.656 INFO - Executing: [get: http://www.youdao.com] at URL: /session/ac5
b2c71-5b1a-469e-814c-fdd09a2061fc/url)

webdriver正试向服务器请求youdao网站
[1.820][INFO]: received Webriver request: POST /session/32b33aa585ccbbf7ba785358
82852af3/url {
   "url": "http://www.youdao.com"
}
[1.822][INFO]: waiting for pending navigations...
[1.829][INFO]: done waiting for pending navigations
[2.073][INFO]: waiting for pending navigations...
[2.900][INFO]: done waiting for pending navigations

获得服务器数据的应答
[2.900][INFO]: sending Webriver response: 200 {
   "sessionId": "32b33aa585ccbbf7ba78535882852af3",
   "status": 0,
   "value": null
}
10:20:41.734 INFO - Done: /session/ac5b2c71-5b1a-469e-814c-fdd09a2061fc/url
--------------------------------------------------------------------------------------
下面接着发送定位输入框的信息
10:20:41.734 INFO - Executing: [find element: By.name: q] at URL: /session/ac5b2
c71-5b1a-469e-814c-fdd09a2061fc/element)
[2.905][INFO]: received Webriver request: POST /session/32b33aa585ccbbf7ba785358
82852af3/element {
   "using": "name",
   "value": "q"
}
[2.905][INFO]: waiting for pending navigations...
[2.905][INFO]: done waiting for pending navigations
[2.922][INFO]: waiting for pending navigations...
[2.922][INFO]: done waiting for pending navigations

得到服务器应答
[2.922][INFO]: sending Webriver response: 200 {
   "sessionId": "32b33aa585ccbbf7ba78535882852af3",
   "status": 0,
   "value": {
      "ELEMENT": "0.19427558477036655:1"
   }
}
10:20:41.765 INFO - Done: /session/ac5b2c71-5b1a-469e-814c-fdd09a2061fc/element
10:20:41.765 INFO - Executing: [send keys: 0 org.openqa.selenium.support.events.
EventFiringWebDriver$EventFiringWebElement@a8215ba9, [h, e, l, l, o]] at URL: /s
ession/ac5b2c71-5b1a-469e-814c-fdd09a2061fc/element/0/value)

向定位到的输入框写入hello
[2.936][INFO]: received Webriver request: POST /session/32b33aa585ccbbf7ba785358
82852af3/element/0.19427558477036655:1/value {
   "id": "0.19427558477036655:1",
   "value": [ "h", "e", "l", "l", "o" ]
}
[2.936][INFO]: waiting for pending navigations...
[2.936][INFO]: done waiting for pending navigations
[3.002][INFO]: waiting for pending navigations...
[3.002][INFO]: done waiting for pending navigations
[3.002][INFO]: sending Webriver response: 200 {
   "sessionId": "32b33aa585ccbbf7ba78535882852af3",
   "status": 0,
   "value": null
}
10:20:41.843 INFO - Done: /session/ac5b2c71-5b1a-469e-814c-fdd09a2061fc/element/
0/value

再次发送定位输入框的请求
10:20:41.843 INFO - Executing: [find element: By.name: q] at URL: /session/ac5b2
c71-5b1a-469e-814c-fdd09a2061fc/element)
[3.006][INFO]: received Webriver request: POST /session/32b33aa585ccbbf7ba785358
82852af3/element {
   "using": "name",
   "value": "q"
}
[3.006][INFO]: waiting for pending navigations...
[3.006][INFO]: done waiting for pending navigations
[3.016][INFO]: waiting for pending navigations...
[3.016][INFO]: done waiting for pending navigations
[3.016][INFO]: sending Webriver response: 200 {
   "sessionId": "32b33aa585ccbbf7ba78535882852af3",
   "status": 0,
   "value": {
      "ELEMENT": "0.19427558477036655:1"
   }
}
10:20:41.859 INFO - Done: /session/ac5b2c71-5b1a-469e-814c-fdd09a2061fc/element
10:20:41.859 INFO - Executing: [send keys: 0 org.openqa.selenium.support.events.
EventFiringWebDriver$EventFiringWebElement@a8215ba9, [k, e, y, ., E, N, T, E, R]
] at URL: /session/ac5b2c71-5b1a-469e-814c-fdd09a2061fc/element/0/value)

对定位的到的输入框发送回车（ENTER）事件请求
[3.021][INFO]: received Webriver request: POST /session/32b33aa585ccbbf7ba785358
82852af3/element/0.19427558477036655:1/value {
   "id": "0.19427558477036655:1",
   "value": [ "k", "e", "y", ".", "E", "N", "T", "E", "R" ]
}
[3.021][INFO]: waiting for pending navigations...
[3.021][INFO]: done waiting for pending navigations
[3.064][INFO]: waiting for pending navigations...
[3.064][INFO]: done waiting for pending navigations
[3.064][INFO]: sending Webriver response: 200 {
   "sessionId": "32b33aa585ccbbf7ba78535882852af3",
   "status": 0,
   "value": null
}
10:20:41.906 INFO - Done: /session/ac5b2c71-5b1a-469e-814c-fdd09a2061fc/element/
0/value
10:20:41.906 INFO - Executing: [close window] at URL: /session/ac5b2c71-5b1a-469
e-814c-fdd09a2061fc/window)
[3.068][INFO]: received Webriver request: ELETE /session/32b33aa585ccbbf7ba78535
882852af3/window
[WARNING:chrome_desktop_impl.cc(88)] chrome detaches, user should take care of d
irectory:C:\DOCUME~1\ADMINI~1\LOCALS~1\Temp\scoped_dir1808_7550 and C:\DOCUME~1\
ADMINI~1\LOCALS~1\Temp\scoped_dir1808_26821
[5.318][INFO]: sending Webriver response: 200 {
   "sessionId": "32b33aa585ccbbf7ba78535882852af3",
   "status": 0,
   "value": null
}
10:20:44.156 INFO - Done: /session/ac5b2c71-5b1a-469e-814c-fdd09a2061fc/window


　request 请求 / response 应答

　　一次请求会对应一次应答

　　POST/GET  是请求(request)两种类型；关于两种请求方式的类别参考其它资料

　　200 、203 是 HTTP请求返回的状态码，200表示成功；

　　sessionid ：每一个访问服务器的客户端，都要先得到服务器端分配的一个sessionid ，就像通行证一样，只有得到sessionid的客户端才能向服务器请求想要的数据。

　　其它还包括操作系统版本，浏览器类型、URL、字符类型等非常详细的记录。熟悉HTTP ，了解TCP 的三次握手四次挥手，相信你对浏览器的交互与webdriver原理会有更深入的认识。   



最新内容请见作者的GitHub页：http://qaseven.github.io/

   

文章标签：
Web App开发
Python
Windows
Java
关键词：
Python原理
Selenium webdriver
Selenium python
Selenium webdriver原理
Selenium原理
boxti
目录
相关文章
东方睿赢
|
17天前
|
搜索推荐 Python
快速排序的 Python 实践：从原理到优化，打造你的排序利器！
本文介绍了 Python 中的快速排序算法，从基本原理、实现代码到优化方法进行了详细探讨。快速排序采用分治策略，通过选择基准元素将数组分为两部分，递归排序。文章还对比了快速排序与冒泡排序的性能，展示了优化前后快速排序的差异。通过这些分析，帮助读者理解快速排序的优势及优化的重要性，从而在实际应用中选择合适的排序算法和优化策略，提升程序性能。
东方睿赢
29 1
技能实验室
|
30天前
|
Web App开发 Java
使用java操作浏览器的工具selenium-java和webdriver下载地址
【10月更文挑战第12天】Selenium-java依赖包用于自动化Web测试，版本为3.141.59。ChromeDriver和EdgeDriver分别用于控制Chrome和Edge浏览器，需确保版本与浏览器匹配。示例代码展示了如何使用Selenium-java模拟登录CSDN，包括设置驱动路径、添加Cookies和获取页面源码。
技能实验室
81 6
肥猪肥猪-17824
|
1月前
|
测试技术 数据安全/隐私保护 开发者
自动化测试的奥秘：如何用Selenium和Python提升软件质量
【9月更文挑战第35天】在软件开发的海洋中，自动化测试是那艘能引领我们穿越波涛的帆船。本文将揭开自动化测试的神秘面纱，以Selenium和Python为工具，展示如何构建一个简单而强大的自动化测试框架。我们将从基础出发，逐步深入到高级应用，让读者能够理解并实现自动化测试脚本，从而提升软件的质量与可靠性。
肥猪肥猪-17824
43 2
奔跑的数据
|
2月前
|
数据采集 Web App开发 测试技术
使用Selenium与WebDriver实现跨浏览器自动化数据抓取
在网络爬虫领域，Selenium与WebDriver是实现跨浏览器自动化数据抓取的利器。本文详细介绍了如何利用Selenium和WebDriver结合代理IP技术提升数据抓取的稳定性和效率。通过设置user-agent和cookie来模拟真实用户行为，避免被网站检测和阻止。文章提供了具体的代码示例，展示了如何配置代理IP、设置user-agent和cookie，并实现了跨浏览器的数据抓取。合理的参数配置能有效减少爬虫被封禁的风险，提高数据抓取效率。
奔跑的数据
318 6
使用Selenium与WebDriver实现跨浏览器自动化数据抓取
游客qf4jmczx4xu2y
|
2月前
|
Web App开发 JavaScript Java
自动化测试的利剑：Selenium WebDriver入门与实践
【9月更文挑战第21天】在软件开发的海洋中，自动化测试犹如一艘船，帮助开发者们快速航行至质量保证的彼岸。本文将作为你的罗盘，指引你了解和掌握Selenium WebDriver这一强大的自动化测试工具。通过深入浅出的方式，我们将探索Selenium WebDriver的基本概念、安装过程以及编写简单测试脚本的方法。无论你是刚接触自动化测试的新手，还是希望提升测试技能的开发者，这篇文章都将为你提供有价值的指导。
游客qf4jmczx4xu2y
105 7
shuj
|
2月前
|
测试技术 开发者 Python
深入浅出：Python中的装饰器使用与原理解析
【9月更文挑战第20天】本文深入探讨Python中一个强大而神秘的功能——装饰器。通过浅显易懂的语言和生动的比喻，我们将一步步揭开装饰器的面纱，理解其背后的原理，并通过实际代码示例掌握如何运用装饰器来增强我们的函数功能。无论你是初学者还是有一定基础的开发者，这篇文章都将带给你新的启发和思考。
shuj
48 7
龙大吉
|
2月前
|
调度 Python
揭秘Python并发编程核心：深入理解协程与异步函数的工作原理
在Python异步编程领域，协程与异步函数成为处理并发任务的关键工具。协程（微线程）比操作系统线程更轻量级，通过`async def`定义并在遇到`await`表达式时暂停执行。异步函数利用`await`实现任务间的切换。事件循环作为异步编程的核心，负责调度任务；`asyncio`库提供了事件循环的管理。Future对象则优雅地处理异步结果。掌握这些概念，可使代码更高效、简洁且易于维护。
龙大吉
26 1
游客moiomvrp3vyac2
|
2月前
|
API 开发者 Python
Python中的魔法方法：从原理到实践
【9月更文挑战第24天】本文将深入探讨Python的魔法方法，这些特殊的方法允许对象定制其行为。文章首先揭示魔法方法的本质和重要性，然后通过代码示例展示如何利用它们来增强类的功能性。最后，我们将讨论在实际应用中应注意的事项，以确保正确和高效地使用这些方法。
游客moiomvrp3vyac2
38 2
龙大吉
|
2月前
|
中间件 API 开发者
深入理解Python Web框架：中间件的工作原理与应用策略
在Python Web开发中，中间件位于请求处理的关键位置，提供强大的扩展能力。本文通过问答形式，探讨中间件的工作原理、应用场景及实践策略，并以Flask和Django为例展示具体实现。中间件可以在请求到达视图前或响应返回后执行代码，实现日志记录、权限验证等功能。Flask通过装饰器模拟中间件行为，而Django则提供官方中间件系统，允许在不同阶段扩展功能。合理制定中间件策略能显著提升应用的灵活性和可扩展性。
龙大吉
40 4
shuj
|
2月前
|
Web App开发 测试技术 持续交付
自动化测试的利器：Selenium与Python的完美结合
【9月更文挑战第21天】在软件开发的世界里，测试是确保产品质量的关键步骤。随着敏捷开发和持续集成的流行，自动化测试工具变得尤为重要。本文将介绍如何使用Selenium和Python进行高效的自动化测试，不仅提供代码示例，还深入探讨如何设计测试用例、选择正确的测试框架、以及如何整合到CI/CD流程中。无论你是初学者还是有经验的开发者，这篇文章都将为你提供宝贵的见解和实用的技巧。
shuj
48 3

热门文章

最新文章

  • 1
    手把手教你用Python实践深度学习
  • 2
    3、Python与设计模式--建造者模式
  • 3
    Python自动化：根据模板批量生成含指定数据的word文档
  • 4
    Python编程：elasticsearch库操作Elasticsearch
  • 5
    Python中参数多个值的表示法
  • 6
    测试Flask+PYTHON的WEB框架
  • 7
    基于深度学习的动物识别系统（YOLOv5清新界面版，Python代码）
  • 8
    8.python之上下文管理协议
  • 9
    第2天，Python基础
  • 10
    Foundations of Python Network Programming - 读书笔记系列(1) - Low-Level Networking
  • 1
    《手把手教你》系列技巧篇（四十二）-java+ selenium自动化测试 - 处理iframe -下篇（详解教程）
    62
  • 2
    深入理解自动化测试框架Selenium的设计与实现
    85
  • 3
    《手把手教你》系列技巧篇（四十一）-java+ selenium自动化测试 - 处理iframe -上篇（详解教程）
    64
  • 4
    《手把手教你》系列技巧篇（四十）-java+ selenium自动化测试-JavaScript的调用执行-下篇（详解教程）
    54
  • 5
    自动化测试 selenium基础
    32
  • 6
    《手把手教你》系列技巧篇（三十九）-java+ selenium自动化测试-JavaScript的调用执行-上篇（详解教程）
    94
  • 7
    《手把手教你》系列技巧篇（三十八）-java+ selenium自动化测试-日历时间控件-下篇（详解教程）
    94
  • 8
    《手把手教你》系列技巧篇（三十七）-java+ selenium自动化测试-日历时间控件-上篇（详解教程）
    130
  • 9
    探索自动化测试工具Selenium Grid的高效集成策略
    63
  • 10
    深入理解自动化测试框架：以Selenium为例
    59

    • 相关课程

    更多
  • Python Web开发基础
  • Python爬虫实战
  • Python常用数据科学库
  • Python网络爬虫实战
  • Python完全自学手册图文教程
  • Python基础快速入门实战教程

    • 相关电子书

    更多
  • From Python Scikit-Learn to Sc
  • Data Pre-Processing in Python:
  • 双剑合璧-Python和大数据计算平台的结合

    • 相关实验场景

    更多
  • 用Python画圣诞树
  • Python选择及循环结构
  • 云端Python及基本操作
  • Python网络通信程序典型应用
  • Python新手入门（Anolis OS）
  • Python新手入门

    • 推荐镜像

    更多
  • python-release
  • nodejs-release
  • pypi
    • 下一篇
    无影云桌面