selenium的简单实用以及实战

简介: selenium的简单实用以及实战

一、为什么要使用selenium


1-1、什么是selenium?

1、Selenium最初是一个Web的自动化测试工具,开始是为了网站的自动化测试开发的。
2、它可以按照指定的命令自动操作。可以直接运行在浏览器上,支持所有的主流浏览器。

1-2、它的优点?

1、直观简单,可以直接模拟用户的行为
2、可以根据我们的指令,让浏览器自动加载页面获取需要的数据,方便。
3、可以与scrapy结合,scrapy是强大的静态网页爬取库。
4、多种web-driver支持。支持众多浏览器

1-3、它的缺点?

1、自己不带浏览器,不支持浏览器功能,需要与第三方浏览器结合才能一起使用。
2、容易崩溃。
3、容易被发现。


二、配置、操作selenium的方法

2-1、安装selenium的前置操作

1、因为selenium不带浏览器,所以需要首先安装浏览器,这里以谷歌浏览器为例。
2、下载安装谷歌浏览器,以及对应版本的驱动器ChromeDriver,并且配置好环境变量。
3、浏览器直接搜索https://chromedriver.chromium.org/downloads来下载ChromeDriver,注意对应自己谷歌浏览器的版本
4、查看版本方式 打开谷歌浏览器点击右上角三点-》帮助-》关于Google Chrome
5、配置环境变量:我的电脑-》属性-》高级系统设置-》环境变量-》系统变量-》找到Path-》编辑-》新建-》将谷歌的文件Application路径加入,我的是在(C:\Users\My PC\AppData\Local\Google\Chrome\Application)
6、注意将ChromeDriver安装到python安装的根目录。

2-2、安装selenium并且测试是否安装成功。

# 使用命令安装
# 这里使用镜像源下载可以快很多
pip install selenium -i https://mirror.baidu.com/pypi/simple
# 在pycharm中进行测试
from selenium import webdriver
driver = webdriver.Chrome()
driver.maximize_window()
driver.get('http://www.baidu.com')
# 如果成功打开链接,则代表配置完成。


三、selenium基本API

import time
from selenium import webdriver
import selenium
from selenium.webdriver.common.by import By
# from selenium.webdriver import ChromeOptions
from selenium.webdriver.chrome.options import Options
from selenium.webdriver.support.wait import WebDriverWait
from selenium.webdriver.support import expected_conditions as EC
from selenium.webdriver.common.by import By
def practice():
    """"
    selenium 的常用操作
    """
    # 1、打开浏览器
    driver = webdriver.Chrome()
    # 2、最大化浏览器窗口
    driver.maximize_window()
    # 设置浏览器大小
    # driver.set_window_size(800,600)
    # 3、打开百度网页
    driver.get('http://www.baidu.com')
    # 设置停留时间
    time.sleep(5)
    driver.get('https://www.csdn.net/')
    time.sleep(2)
    # 退回到上一个网页——百度
    driver.back()
    time.sleep(2)
    # 前进到网页csdn
    driver.forward()
    time.sleep(2)
    # 页面刷新
    driver.refresh()
    # 4、关闭浏览器
    # driver.close()
    # 5、网页元素定位
    # selenium提供了8种网页元素定位的方式
    # 根据ID定位,加s是寻找多节点,其他方式类似,多节点的话,需要使用for循环来遍历每一个节点
    # find_element_by_id()
    # find_elements_by_id()
    # 根据class定位
    # find_elements_by_class_name()
    # 根据标签名定位
    # find_elements_by_tag_name()
    # 根据CSS选择器定位
    # find_element_by_css_selector()
    # 根据name定位
    # find_elements_by_name()
    # 根据XPath定位
    # find_element_by_xpath()
    # 根据链接文本定位
    # find_element_by_link_text()
    # 根据部分链接文本定位
    # find_element_by_partial_link_text()
    # 获取到元素之后,一些常用属性, 调用一些常用属性
    # get_attribute  获取属性值
    # text  获取文本值
    # id  获取节点id
    # location  获取节点在页面中的相对位置
    # tag_name  获取标签名称
    # size  获取节点大小(宽和高)
    # 注意:现在的版本上述方法已经弃用,现在统统使用新方法替代
    # 需要首先导入方法
    from selenium.webdriver.common.by import By
    # 使用By来调用具体使用哪个方法,第二个参数是所要搜索的标签。
    driver.find_element(By.ID, 'q')
    # 6、获取网页源码
    # driver.page_source
    # 7、打印url
    # driver.current_url
    # 8、打印cookie
    # driver.get_cookies()
    # # 防止被网站识别
    # # 需要首先进行设置
    # chrome_options = Options()
    # chrome_options.add_experimental_option('excludeSwitches', ['enable-automation'])
    # browser = webdriver.Chrome(chrome_options=chrome_options)
    # 其他方法:
    # 将进度条下拉到最底部
    # driver.execute_script("window.scrollTo(0,document.body.scrollHeight)")
    # 弹出alert提示窗
    # driver.execute_script("alert('hello word')")
    # 加入隐式等待,防止网页崩溃
    # driver.implicitly_wait(3)


四、selenium爬取动态网页小项目

4-1、打开简书并且搜索内容

def jianshu():
    """
    以打开简书为例,分析定位, 输入搜索内容:东南亚的Paul
    :return:
    """
    browers = webdriver.Chrome()
    browers.maximize_window()
    browers.get("http://www.jianshu.com")
    # send_keys()表示向目标元素中输入数据,click()表示点击操作
    # 其他方法:clear(): 文字清空
    # 弃用方法
    # browers.find_element_by_id('q').send_keys('东南亚的Paul')
    browers.find_element(By.ID, 'q').send_keys('东南亚的Paul')
    time.sleep(2)
    # 弃用方法
    # link = browers.find_element_by_class_name('search-btn').click()
    browers.find_element(By.CLASS_NAME, 'search-btn').click()
    time.sleep(2)
    # 窗口切换:当我们点击按钮跳转到新页面的时候,我们是无法操作的,比如说获取url
    # 获取网页源代码都是做不到的,所以我们需要切换窗口!
    # 获取所有页面,至今为止的所有跳转页面都在一个列表里,通过browers.window_handles
    # 来获取到这个列表
    print(browers.window_handles)
    # 跳转到指定window页面,参数为所要切换到的窗口
    # browers.switch_to.window(browers.window_handles[1])
    # print(browers.current_url)
    # 根据获取到的源码来进行进一步的操作。


相关文章
|
6月前
selenium 实战
selenium 实战
73 0
|
9天前
|
数据采集 Web App开发 前端开发
Python爬虫进阶:Selenium在动态网页抓取中的实战
【10月更文挑战第26天】动态网页抓取是网络爬虫的难点,因为数据通常通过JavaScript异步加载。Selenium通过模拟浏览器行为,可以加载和执行JavaScript,从而获取动态网页的完整内容。本文通过实战案例,介绍如何使用Selenium在Python中抓取动态网页。首先安装Selenium库和浏览器驱动,然后通过示例代码展示如何抓取英国国家美术馆的图片信息。
30 6
|
6月前
|
Web App开发 IDE 测试技术
实战练习:用airtest-selenium脚本爬取百度热搜标题
实战练习:用airtest-selenium脚本爬取百度热搜标题
134 0
|
数据采集 前端开发 JavaScript
Selenium+2Captcha 自动化+验证码识别实战
Selenium+2Captcha 自动化+验证码识别实战
393 0
selenium-鼠标键盘事件+内附实战
selenium-鼠标键盘事件+内附实战
126 0
|
Web App开发 JavaScript 测试技术
selenium-等待时间+窗口操作详解+实战
selenium-等待时间+窗口操作详解+实战
255 0
|
前端开发 索引
selenium-元素定位+下拉选选项实战
selenium-元素定位+下拉选选项实战
153 0
|
前端开发 黑灰产治理 索引
selenium-元素定位+下拉框代码实战
selenium-元素定位+下拉框代码实战
185 0
|
Java 测试技术 C语言
软件工程高效学 | 实战案例:Selenium单元测试实战
软件工程是计算机领域的一门专业基础课,它对于培养开发者的软件素质、提高开发者的软件开发能力与软件项目管理能力具有重要意义。本篇介绍了Selenium单元测试实战。
144 0
软件工程高效学 | 实战案例:Selenium单元测试实战
|
测试技术 Python
HTMLReport应用之Unittest+Python+Selenium+HTMLReport项目自动化测试实战
HTMLReport应用之Unittest+Python+Selenium+HTMLReport项目自动化测试实战
836 0
HTMLReport应用之Unittest+Python+Selenium+HTMLReport项目自动化测试实战