转载请注明出处❤️
作者:测试蔡坨坨
原文链接:caituotuo.top/6d2908e8.html
你好,我是测试蔡坨坨。
由于目前大多数GUI工具均需要依赖于程序类型进行特征属性识别,例如:Selenium、Appium、UIAutomator。在进行WebUI自动化测试的时候,有些元素使用传统的Selenium方法(传统方法:使用id等属性定位)很难或无法定位到,比如:object元素;基于Flash、JavaScript或Ajax等技术实现的文件上传功能。
对于非input框的文件上传问题,Python可以使用win32gui库,而Java可以使用AutoIt,但是AutoIt只有Windows版本,又要考虑兼容Windows和macOS。
对于这种情况,推荐一个好玩的东西SikuliX。
本篇就来聊聊SikuliX这个工具,什么是SikuliX,如何使用,以及文件上传功能demo实现。
SikuliX简介
SikuliX是基于PC图像识别的自动化测试工具,由MIT(麻省理工学院)研究团队发布。
与其他UI自动化工具相比,SikuliX的优势在于,它是基于像素实现的元素定位,所以即使页面上的元素没有像id、name这些属性,也可以通过图像识别进行UI的交互操作,无需关注元素有哪些属性,所见即所得;适合非标准控件等自定义界面的定位;支持跨平台,如:Windows、macOS、Linux。
但是,它也有一定的局限性,由于是基于图像识别,因此图片的大小、分辨率、色彩都会对识别造成影响,定位不能百分百准确识别到元素,如果有两个相同或相似的图片,无法区分具体哪一个,需要手动调整精确度,工作量大;只能定位当前正在操作的窗口界面;若流程过长,则会造成脚本过于臃肿;目前还不适合设计成一种测试框架。
尽管SikuliX用来实现复杂的测试场景不太现实,这也是所有GUI自动化测试无法改变的现实,但是用来做一些特定场景的测试还是游刃有余。对于Web自动化主要用该端的自动化框架,如Selenium,SikuliX作为辅助,可以和Selenium结合使用。
使用
导入依赖
方法一(推荐):使用Maven构建工具,导入pom依赖
<!-- https://mvnrepository.com/artifact/com.sikulix/sikulixapi -->
<dependency>
<groupId>com.sikulix</groupId>
<artifactId>sikulixapi</artifactId>
<version>1.1.0</version>
</dependency>
<!-- https://mvnrepository.com/artifact/com.sikulix/sikulixlibswin -->
<!-- 这里是Windows版本,其他系统版本选择参考 https://mvnrepository.com/artifact/com.sikulix -->
<dependency>
<groupId>com.sikulix</groupId>
<artifactId>sikulixlibswin</artifactId>
<version>1.1.1</version>
</dependency>
方法二:手动下载jar包加入到引用库
https://raiman.github.io/SikuliX1/downloads.html
核心类
SikuliX提供两大核心类,Region(界面部分区域识别)和Screen(全屏识别)。
实例化Region:
Region r = new Region(100, 100, 100, 100);
说明:
class Region
Region(x, y, w, h)
Region(region)
Region(Rectangle)
Create a region object
Parameters:
x – x position of a rectangle.
y – y position of a rectangle.
w – height of a rectangle.
h – width of a rectangle.
region – an existing region object.
rectangle – an existing object of Java class Rectangle
Returns:
a new region object.
实例化Screen:
Screen s = new Screen();
常用API
等待元素出现:wait()
s.wait(inputImg, 10);
判断元素是否在屏幕上显示:exists()
s.exists(inputImg);
在文本输入框输入指定文本内容:type()
s.type(inputImg, "caituotuo");
单击元素:click()
s.click(btnImg);
右键单击元素:rightClick()
s.rightClick(btnImg);
双击元素:doubleClick()
s.doubleClick(btnImg);
旋转指定图像:wheel()
s.wheel(btnImg,25,0);
拖放图片:dragDrop()
s.dragDrop(img,img2);
鼠标悬停:hover()
s.hover(btnImg);
粘贴复制的字符串:paste()
由于type()不支持输入中文,所以可以用paste()来在指定的文本框中粘贴文本
s.paste(inputImg,"蔡坨坨");
按下键盘键:type()
s.type(Key.ENTER);
s.type("c",Key.CTRL); // 快捷键
SikuliX实现百度搜索
public static void baiduSearch() throws InterruptedException, FindFailed {
String imgPath = PathUtils.getProjectPath() + "src\\test\\resources\\images\\";
// Pattern baiduInput = new Pattern(imgPath + "baiduInput.png");
String baiduInput = imgPath + "baiduInput.png";
// Pattern baiduBtn = new Pattern(imgPath + "baiduBtn.png");
String baiduBtn = imgPath + "baiduBtn.png";
// 打开浏览器
WebDriver driver = new ChromeDriver();
// 窗口最大化
driver.manage().window().maximize();
// 访问百度网站
driver.get("https://www.baidu.com");
// 等待1s
Thread.sleep(1000);
// 实例化Screen类
Screen s = new Screen();
// 等待搜索框出现
s.wait(baiduInput, 10);
// s.type(baiduInput, "sikuli");
// 粘贴文本
s.paste(baiduInput, "测试蔡坨坨");
// 按下回车键
s.keyDown(Key.ENTER);
// 判断百度一下按钮是否存在
s.wait(baiduBtn, 10);
// 点击百度一下
s.click(baiduBtn);
// 等待3s
Thread.sleep(3000);
// 关闭浏览器
driver.quit();
}
SikuliX实现文件上传
public static void uploadFileBySikuli() throws InterruptedException, FindFailed {
String imgPath = PathUtils.getProjectPath() + "src\\test\\resources\\images\\";
String img = PathUtils.getProjectPath() + "src\\test\\resources\\images\\avatar.png";
Screen s = new Screen();
Pattern fileInputTextBox = new Pattern(imgPath + "fileInputTextBox.png");
Pattern openButton = new Pattern(imgPath + "openButton.png");
// 启动浏览器并打开链接
WebDriver driver = new ChromeDriver();
driver.get("http://www.sahitest.com/demo/php/fileUpload.htm");
// 窗口最大化
driver.manage().window().maximize();
Thread.sleep(2000);
// 点击上传按钮
WebElement ele = driver.findElement(By.id("file"));
new Actions(driver).click(ele).perform();
// 等待文件上传弹窗出现,sikuli开始操作
s.wait(fileInputTextBox, 20);
// 输入文件路径
s.type(fileInputTextBox, img);
// 点击回车
s.keyDown(Key.ENTER);
// 点击打开按钮
s.click(openButton);
Thread.sleep(3000);
driver.quit();
}