[Python爬虫] Selenium自动访问Firefox和Chrome并实现搜索截图

简介:

        前两篇文章介绍了安装,此篇文章算是一个简单的进阶应用吧!它是在Windows下通过Selenium+Python实现自动访问Firefox和Chrome并实现搜索截图的功能。
        [Python爬虫] 在Windows下安装PhantomJS和CasperJS及入门介绍(上)
        [Python爬虫] 在Windows下安装PIP+Phantomjs+Selenium

自动访问Firefox

        可以参照前文安装Selenium环境,目前Selenium这个用于Web应用程序测试的工具支持的浏览器包括IE、Mozilla Firefox、Mozilla Suite、Chrome等。但是由于Firefox是默认安装路径,webdriver可以正常访问它,而Chrome和IE需要设置driver路径。

from selenium import webdriver
from selenium.webdriver.common.keys import Keys
import sys 

reload(sys) 
sys.setdefaultencoding('gb18030') 
driver = webdriver.Firefox()
driver.get("http://www.baidu.com")
assert "百度" in driver.title
elem = driver.find_element_by_name("wd")
elem.send_keys("Eastmount")
elem.send_keys(Keys.RETURN)
assert "谷歌" in driver.title
driver.save_screenshot('baidu.png')
driver.close()
driver.quit()
        运行效果如下图所示,自动调用Firefox浏览器搜索,同时输出断言错误:
        assert "谷歌" in driver.title AssertionError


源码分析

from selenium import webdriver
       from selenium.webdriver.common.keys import Keys
       import sys

        首先导入Selenium.webdriver模板,它提供了webdriver的实现方法,目前支持这些方法的有Firefox、Chrome、IE和Remote。同时导入Keys类,它提供了操作键盘的快捷键,如RETURE、F1、ALT等。最后导入sys主要是设置编码方式。

reload(sys)
       sys.setdefaultencoding('gb18030') 

        由于汉语中可能会遇到错误:
        UnicodeDecodeError: 'ascii' codec can't decode byte 0xc4 in position 33
        UnicodeDecodeError: 'utf8' codec can't decode byte 0xb0 in position 35
        所以此处转换成gb编码,该篇不重点介绍了。

driver = webdriver.Firefox()
       driver.get("http://www.baidu.com")

        创建Firefoxwebdriver实例。其中Firefox最简单,其他Chrome还需要driver和配置路径。接下来通过driver.get()打开百度URL网页,webdriver会等待网页元素加载完成之后才把控制权交回脚本。但是,如果要打开了页面在加载的过程中包含了很多AJAX,webdriver可能无法准确判断页面何时加载完成。

assert "百度" in driver.title
       assert "谷歌" in driver.title

         接下来使用断言判断文章的标题Title是否包含“百度”和“谷歌”。对应的标题是“百度一下,你就知道”,所以其中“百度”包括,而“谷歌”会出现断言报错。
        同时提交页面并获得返回结果,为了判断结果是否成功返回也可以使用断言。

elem = driver.find_element_by_name("wd")

        webdriver提供了很多如find_element_by_*的方法来匹配要查找的元素。如利用name属性查找方法find_element_by_name来定位输入框,审查元素name=wd。
        元素定位方法可以参考官网: Locating Elements


elem.send_keys("Eastmount")

elem.send_keys(Keys.RETURN)

        send_keys方法可以用来模拟键盘操作,相当于是在搜索框中输入“Eastmount”再按回车键搜索。但首先要从selenium.webdriver.common.keys导入Keys类。

driver.save_screenshot('baidu.png')

driver.close()

driver.quit()

        最后是调用save_screenshot进行截图,但是图片是过程中的,怎样获取最后加载的图片呢?同时,操作完成并关闭浏览器。当然,也可以调用quit()方法,两者的区别在于:quit()方法会退出浏览器,而close()方法只是关闭页面,但如果只有一个页面被打开,close()方法同样会退出浏览器。


自动访问Chrome

        首先下载chromedriver并置于Chrome安装目录。可能会遇到错误:
        WebDriverException: Message: 'chromedriver' executable needs to be in PATH.参考官网解决方法:How to use chromedriver,我采用的是设置driver环境。
        代码如下:
import os
from selenium import webdriver
from selenium.webdriver.common.keys import Keys

chromedriver = "C:\Program Files (x86)\Google\Chrome\Application\chromedriver.exe"
os.environ["webdriver.chrome.driver"] = chromedriver

driver = webdriver.Chrome(chromedriver)
driver.get("http://www.python.org")
assert "Python" in driver.title
elem = driver.find_element_by_name("q")
elem.send_keys("selenium")
elem.send_keys(Keys.RETURN)
assert "Google" in driver.title
driver.close()
driver.quit()
        需要放置chromedriver如下路径,同时可以通过代码设置。但是由于我的Chrome可能Bug一直未修复,总是打开错误。

driver = webdriver.Chrome(executable_path="G:\chromedriver.exe")



参考资料:
        用python玩转selenium:2-入门实例及分析 - Reiki
        构建Python+Selenium2自动化测试环境<二>:IE、Chrome和Firefox运行
        用selenium实现某微博搜索数据的抓取
        RobotFramework+seleniumlibrary Web自动化测试 (三)

        最后希望该篇基础性文章对你有所帮助吧!如果有不足之处,还请海涵~
      (By:Eastmount 2015-8-20 下午4点   http://blog.csdn.net/eastmount/


目录
相关文章
|
22天前
|
数据采集 存储 XML
Python爬虫:深入探索1688关键词接口获取之道
在数字化经济中,数据尤其在电商领域的价值日益凸显。1688作为中国领先的B2B平台,其关键词接口对商家至关重要。本文介绍如何通过Python爬虫技术,合法合规地获取1688关键词接口,助力商家洞察市场趋势,优化营销策略。
|
6天前
|
存储 应用服务中间件 开发工具
对象存储OSS-Python设置代理访问请求
通过 Python SDK 配置 nginx 代理地址请求阿里云 OSS 存储桶服务。示例代码展示了如何使用 RAM 账号进行身份验证,并通过代理下载指定对象到本地文件。
45 15
|
7天前
|
数据采集 JSON API
如何利用Python爬虫淘宝商品详情高级版(item_get_pro)API接口及返回值解析说明
本文介绍了如何利用Python爬虫技术调用淘宝商品详情高级版API接口(item_get_pro),获取商品的详细信息,包括标题、价格、销量等。文章涵盖了环境准备、API权限申请、请求构建和返回值解析等内容,强调了数据获取的合规性和安全性。
|
12天前
|
数据采集 存储 API
利用Python爬虫获取1688关键词接口全攻略
本文介绍如何使用Python爬虫技术合法合规地获取1688关键词接口数据,包括环境准备、注册1688开发者账号、获取Access Token、构建请求URL、发送API请求、解析HTML及数据处理存储等步骤,强调遵守法律法规和合理使用爬虫技术的重要性。
|
19天前
|
数据采集 JSON 开发者
Python爬虫京东商品详情数据接口
京东商品详情数据接口(JD.item_get)提供商品标题、价格、品牌、规格、图片等详细信息,适用于电商数据分析、竞品分析等。开发者需先注册账号、创建应用并申请接口权限,使用时需遵循相关规则,注意数据更新频率和错误处理。示例代码展示了如何通过 Python 调用此接口并处理返回的 JSON 数据。
|
24天前
|
XML 数据采集 数据格式
Python 爬虫必备杀器,xpath 解析 HTML
【11月更文挑战第17天】XPath 是一种用于在 XML 和 HTML 文档中定位节点的语言,通过路径表达式选取节点或节点集。它不仅适用于 XML,也广泛应用于 HTML 解析。基本语法包括标签名、属性、层级关系等的选择,如 `//p` 选择所有段落标签,`//a[@href=&#39;example.com&#39;]` 选择特定链接。在 Python 中,常用 lxml 库结合 XPath 进行网页数据抓取,支持高效解析与复杂信息提取。高级技巧涵盖轴的使用和函数应用,如 `contains()` 用于模糊匹配。
|
27天前
|
数据采集 XML 存储
构建高效的Python网络爬虫:从入门到实践
本文旨在通过深入浅出的方式,引导读者从零开始构建一个高效的Python网络爬虫。我们将探索爬虫的基本原理、核心组件以及如何利用Python的强大库进行数据抓取和处理。文章不仅提供理论指导,还结合实战案例,让读者能够快速掌握爬虫技术,并应用于实际项目中。无论你是编程新手还是有一定基础的开发者,都能在这篇文章中找到有价值的内容。
|
25天前
|
数据采集 JavaScript 前端开发
Python爬虫能处理动态加载的内容吗?
Python爬虫可处理动态加载内容,主要方法包括:使用Selenium模拟浏览器行为;分析网络请求,直接请求API获取数据;利用Pyppeteer控制无头Chrome。这些方法各有优势,适用于不同场景。
|
1月前
|
数据采集 监控 搜索推荐
python爬虫的基本使用
本文介绍了Python爬虫的基本概念及其广泛应用,包括搜索引擎、数据挖掘、网络监控、舆情分析和信息聚合等领域。通过安装`urllib`和`BeautifulSoup`库,展示了如何编写简单代码实现网页数据的抓取与解析。爬虫技术在大数据时代的重要性日益凸显,为各行业提供了高效的数据获取手段。
35 1
|
1月前
|
数据采集 存储 XML
Python爬虫定义入门知识
Python爬虫是用于自动化抓取互联网数据的程序。其基本概念包括爬虫、请求、响应和解析。常用库有Requests、BeautifulSoup、Scrapy和Selenium。工作流程包括发送请求、接收响应、解析数据和存储数据。注意事项包括遵守Robots协议、避免过度请求、处理异常和确保数据合法性。Python爬虫强大而灵活,但使用时需遵守法律法规。

热门文章

最新文章