基于Sikuli GUI图像识别框架的PC客户端自动化测试实践

本文涉及的产品
视觉智能开放平台,分割抠图1万点
视觉智能开放平台,图像资源包5000点
视觉智能开放平台,视频资源包5000点
简介: Sikuli是一款基于GUI图像识别框架的自动化测试工具,它以图像检索技术为基础,提供了一套基于 Jython 的脚本语言以及集成开发环境。使用者可利用屏幕截图直接 引用 GUI 元素进行编程,完成交互操作。Sikuli 一词取自墨西哥的土著语,意为“上帝之眼”,寓意—— Sikuli 让电脑能像人一样”看”这个”真实世 界”。

写在前面


最近两天,公司有个PC客户端的测试任务,除了最基础的功能测试外,还包括稳定性测试和兼容性测试需求。刚好去年接触过Sikuli这款基于GUI图像识别框架的自动化测试工具,于是便应用于测试工作中,辅助测试任务。初步试用下来,总体效果还算差强人意,也间接助我发现了一个致命级别的大bug(后续会介绍)。

一、GUI图像识别框架元祖:Sikuli

Sikuli 创始于 2009 年,是麻省理工学院用户界面设计小组的一个开源研究项目。2012 年由 RaiMan 接管开发和 支持并将其命名为 SikuliX。它以图像检索技术为基础,提供了一套基于 Jython 的脚本语言以及集成开发环境。使用者可利用屏幕截图直接 引用 GUI 元素进行编程,完成交互操作。Sikuli 一词取自墨西哥的土著语,意为“上帝之眼”,寓意—— Sikuli 让电脑能像人一样”看”这个”真实世 界”。官网:http://www.sikulix.com/

SikuliX支持作为脚本语言:

  • Python 语言级别 2.7(由Jython支持)
  • 支持运行RobotFramework文本脚本
  • Ruby 语言级别 1.9 和 2.0(由JRuby支持)
  • JavaScript(受 Java 脚本引擎支持)

SikuliX的常见用途:

  • 应用程序或网页的日常自动化任务
  • 玩游戏
  • IT系统和网络的管理

二、Sikuli运行原理

http://doc.sikuli.org/devs/system-design.html#sikuli-ide

三、Sikuli安装

Sikuli 支持跨平台运行,可以运行在Mac OS X、Windows 和 Linux 系统下。下载地址:https://launchpad.net/sikuli/+download或者官网:http://sikulix.com/

推荐安装x1.0-rc3(需要依赖JDK1.6版本)

四、Sikuli IDE主界面基本使用

Sikuli1.x版本官方文档:http://doc.sikuli.org/

  • 左侧为常用函数,包括查找、鼠标动作、键盘动作等
  • 点击元素的图片可以调节识别的偏移度、匹配的精度
  • sikuli脚本首次保存会提示并弹出保存路径,可自定义保存路径
  • 脚本也可以导出为exe格式的可执行文件
  • 一个脚本对应一个目录,目录中对应脚本中的图标截图、python脚本

五、Sikuli 脚本语法

Sikuli 的脚本编写遵循 Python 语法规范,其本身提供了多种自定义类及其自定义方法。由于 Sikuli 基于 Jython,其核心代码由 Java 编写,可在用户自定义的 Java 工程中将其作为 Java 标准类库进行

  • 定位APP窗口:myApp.window()
  • 聚焦到当前APP:myApp.focus()
  • 判断元素是否存在:exists()
  • 点击某个元素或图标:click()
  • 输入文本内容:type("hello world")
  • 按下键盘按键:type(Key.ENTER)  按键名要大写

六、Sikuli 应用示例

PC客户端的自动循环发送消息的脚本示例:

importtimeimportrandommyApp=App("yueyun-im")  # 声明APP实例ifnotmyApp.window():  # 判断当前是否处于APP窗口openApp("D:\\yueyun-im\\yueyun-im.exe")  # 如果不处于APP窗口,则打开指定位置EXEmyApp.focus()  # 聚焦于APPifexists("K7iX.png"):  # 判断图标是否存在click("K7iX.png")  # 点击指定图标按钮ifnotexists("1655945972853.png"):
click("1655946081065.png")
click("1655945972853.png")
#while 'p' in 'python': foriinrange(10):
type("TEST-SIKULI-MSG-"+str(i))
time.sleep(0.2)  # 休眠3秒#click("1655946081065.png")type(Key.ENTER)  # 按下键盘的ENTER键,按键名要大写type(Key.ENTER)
myApp.close()  # 关闭APP


七、Sikuli 优势及局限

1.优势

① 学习成本低,只需掌握简单的python语法就能快速上手;

② 无需关注元素有哪些属性,所见即所得;

③ 适合非标准控件等自定义界面的定位,如游戏界面;

④ 支持跨平台,如:Windows、Linux、macOS;

2.局限

① 基于图像识别,图片的大小、分辨率、色彩都会对识别造成影响,定位不能百分百准确地识别到元素;

② 只能定位当前正在操作的窗口界面;

③ 若流程过长,则会造成脚本过于臃肿;

④ 图片存在相似度,会对识别造成影响,需要手动一一调整图片的精度;

Sikuli 使用小结


  • 尽管sikuli用来实现复杂的测试场景不太现实,这也是所有GUI自动化测试无法改变的现实。但用来做一些特定场景的测试还是游刃有余,比如:

① 循环、持续发送消息,7*24h运行,以检测程序运行稳定性;

② 持续发送图片或视频文件,以检测程序连续上传、下载文件稳定性;

③ 在不同的PC系统版本上运行,以检测程序的兼容性;

  • 对于web自动化、APP自动化主要用该端特定的自动化框架,如selenium、appium,sikuli作为辅助、可以和selenium等结合使用;
  • 对于特定的、复杂的场景,如游戏界面、flash应用等难以识别到元素的应用界面,可以使用sikuli;
  • 今天在测试场景②的过程中也发现了一个bug:【当前聊天窗口,持续下载图片过程中,程序闪退】。虽然说这个bug是sikuli测出来的bug有些牵强(本身自动化测试也不是用来发现bug的),但sikuli绝对是出了很大一份力。只要能合理地利用,任何不起眼的工具都可以发挥它的价值!



相关文章
|
3月前
|
人工智能 搜索推荐 数据管理
探索软件测试中的自动化测试框架选择与优化策略
本文深入探讨了在现代软件开发流程中,如何根据项目特性、团队技能和长期维护需求,精准选择合适的自动化测试框架。
172 11
|
3月前
|
数据采集 监控 机器人
浅谈网页端IM技术及相关测试方法实践(包括WebSocket性能测试)
最开始转转的客服系统体系如IM、工单以及机器人等都是使用第三方的产品。但第三方产品对于转转的业务,以及客服的效率等都产生了诸多限制,所以我们决定自研替换第三方系统。下面主要分享一下网页端IM技术及相关测试方法,我们先从了解IM系统和WebSocket开始。
79 4
|
9天前
|
数据可视化 JavaScript 前端开发
利用Postman和Apipost进行API测试的实践与优化-动态参数
在API测试中,Postman和Apipost是常用的工具。Postman内置变量功能有限,面对复杂场景时需编写JavaScript脚本,增加了维护成本。而Apipost提供丰富的内置变量、可视化动态值配置和低代码操作,支持生成真实随机数据,如邮箱、手机号等,显著提升测试效率和灵活性。对于复杂测试场景,Apipost是更好的选择,能有效降低开发与维护成本,提高测试工作的便捷性和可维护性。
|
8天前
|
机器学习/深度学习 设计模式 测试技术
Python 高级编程与实战:构建自动化测试框架
本文深入探讨了Python中的自动化测试框架,包括unittest、pytest和nose2,并通过实战项目帮助读者掌握这些技术。文中详细介绍了各框架的基本用法和示例代码,助力开发者快速验证代码正确性,减少手动测试工作量。学习资源推荐包括Python官方文档及Real Python等网站。
|
1月前
|
JSON 前端开发 API
以项目登录接口为例-大前端之开发postman请求接口带token的请求测试-前端开发必学之一-如果要学会联调接口而不是纯写静态前端页面-这个是必学-本文以优雅草蜻蜓Q系统API为实践来演示我们如何带token请求接口-优雅草卓伊凡
以项目登录接口为例-大前端之开发postman请求接口带token的请求测试-前端开发必学之一-如果要学会联调接口而不是纯写静态前端页面-这个是必学-本文以优雅草蜻蜓Q系统API为实践来演示我们如何带token请求接口-优雅草卓伊凡
64 5
以项目登录接口为例-大前端之开发postman请求接口带token的请求测试-前端开发必学之一-如果要学会联调接口而不是纯写静态前端页面-这个是必学-本文以优雅草蜻蜓Q系统API为实践来演示我们如何带token请求接口-优雅草卓伊凡
|
2月前
|
人工智能 运维 Prometheus
AIOpsLab:云服务自动化运维 AI,微软开源云服务 AI 框架,覆盖整个生命周期
AIOpsLab 是微软等机构推出的开源框架,支持云服务自动化运维,涵盖故障检测、根本原因分析等完整生命周期。
170 13
AIOpsLab:云服务自动化运维 AI,微软开源云服务 AI 框架,覆盖整个生命周期
|
2月前
|
Dart 前端开发 Android开发
【02】写一个注册页面以及配置打包选项打包安卓apk测试—开发完整的社交APP-前端客户端开发+数据联调|以优雅草商业项目为例做开发-flutter开发-全流程-商业应用级实战开发-优雅草央千澈
【02】写一个注册页面以及配置打包选项打包安卓apk测试—开发完整的社交APP-前端客户端开发+数据联调|以优雅草商业项目为例做开发-flutter开发-全流程-商业应用级实战开发-优雅草央千澈
43 1
【02】写一个注册页面以及配置打包选项打包安卓apk测试—开发完整的社交APP-前端客户端开发+数据联调|以优雅草商业项目为例做开发-flutter开发-全流程-商业应用级实战开发-优雅草央千澈
|
2月前
|
人工智能 编解码 自然语言处理
AGUVIS:指导模型实现 GUI 自动化训练框架,结合视觉-语言模型进行训练,实现跨平台自主 GUI 交互
AGUVIS 是香港大学与 Salesforce 联合推出的纯视觉 GUI 自动化框架,能够在多种平台上实现自主 GUI 交互,结合显式规划和推理,提升复杂数字环境中的导航和交互能力。
143 8
AGUVIS:指导模型实现 GUI 自动化训练框架,结合视觉-语言模型进行训练,实现跨平台自主 GUI 交互
|
3月前
|
人工智能 Linux API
PromptWizard:微软开源 AI 提示词自动化优化框架,能够迭代优化提示指令和上下文示例,提升 LLMs 特定任务的表现
PromptWizard 是微软开源的 AI 提示词自动化优化框架,通过自我演变和自我适应机制,迭代优化提示指令和上下文示例,提升大型语言模型(LLMs)在特定任务中的表现。本文详细介绍了 PromptWizard 的主要功能、技术原理以及如何运行该框架。
333 8
PromptWizard:微软开源 AI 提示词自动化优化框架,能够迭代优化提示指令和上下文示例,提升 LLMs 特定任务的表现
|
3月前
|
数据采集 人工智能 自然语言处理
Midscene.js:AI 驱动的 UI 自动化测试框架,支持自然语言交互,生成可视化报告
Midscene.js 是一款基于 AI 技术的 UI 自动化测试框架,通过自然语言交互简化测试流程,支持动作执行、数据查询和页面断言,提供可视化报告,适用于多种应用场景。
829 1
Midscene.js:AI 驱动的 UI 自动化测试框架,支持自然语言交互,生成可视化报告