基于图像识别的启发式UI自动化测试介绍

一、前言

   使用图像识别技术进行客户端游戏自动化是一种比较通用快捷的做法，是一种不依赖游戏客户端的外部自动化操作。在结合方便的脚本编辑工具后，使得这种自动化测试方式和按键精灵一样门槛极低。

二、主要实现方式

   1. 屏幕截图。

       将游戏客户端屏幕内容进行截图。在windows平台需要调用系统获取屏幕内容API进行屏幕画面保存。在Android平台可以调用adb命名进行截图保存。

   2. 图像识别。

       通过已有的关键内容图与截取屏幕图片进行内容识别，如果匹配成功则可计算出位置等信息。可以使用opencv库完成图像匹配识别的操作，网上可以找到很多相关的学习资料。

   3. 输入操作。

       当匹配成功获取到关键图在屏幕中的坐标信息后，可以调用系统点击、滑动等API完成相应的操作。执行操作后需要对执行的结果进行检查，例如打开特定界面的关键图识别检查，或通过捕获客户端输出日志进行检查。

   4. 移动平台额外支持。

       手机平台需要额外进行APP包安装拉起操作，可以针对移动平台增加额外的执行操作步骤，从而做到无人值守下的自动化测试，即：自动出包，自动安装，自动启动，自动运行测试脚本。

       同时我们在做手机游戏或APP测试时，还需要关注其性能表现，通过与性能采集工具联动，可以实现自动化性能数据收集，建立应用的版本迭代性能表现库，方便快速定位问题。

   5. 适用范围。

       虽然UI自动化测试看上去前景无限，但仍还有诸多的问题待解决，目前在大部分的游戏公司中还没有广泛应用，我个人觉得主要是以下原由造成的：

       1. 图像识别的准确度问题，在不同的手机上的表现效果不理想。可以通过只在特定手机上进行自动化测试来规避。

       2. 仅支持UI相关的简单操作（例如点击、滑动、缩放、文本输入），无法用于更复杂的场景。例如使用一个礼包获得100货币，如果需要准确知道使用的结果，就比较难了，然而还有很多更复杂的场景测试需求无法满足。

       3. 随着游戏UI的迭代，自动化脚本必须随之进行更新，产生大量的自动化脚本维护成本。这也是造成UI自动化无法广泛应用的主要原因。

三、“启发式”自动化

  如何将自动化测试更加完善的应用于游戏项目，我相信已有很多人在这条路上持续探索了。“启发式”自动化目前的目的仅基于解决UI迭代造成的维护成本问题，“启发式”这个名字是我自己随便想的，以下是简单的介绍。

图片源自网络

   1. 仅提供整个游戏UI可操作(点击)的图集，然后运行启发式自动化工具，由工具自行按照当前游戏内容和图例匹配，然后进行自由点击并形成操作步骤顺序树。

   2. 在穷举模式下几乎可以将游戏的全部可点击UI都完成操作，这样就可以生成一份完整的UI操作逻辑顺序树，在第二次启动时就可以直接用之前生成的逻辑树进行自动化测试，并获得无法完成的测试步骤。同样可以通过监控日志错误和错误提示来判断UI操作逻辑是否产生异常。

   3. 在完成一次穷举模式后生成完整的测试步骤用例，在后续的运行中就可以参考已有用例步骤进行内容对比，确认是否执行正常。另外可以自动更新变更的用例步骤，从而减少人工维护的成本。

   4. 即使UI完全被更换后，也仅需要更新可操作图集，其实这里可以将可操作图集与UI人员输出的UI切图关联，这样UI迭代的时候我们的图集也就自动更新了。

四、总结

   UI自动化测试还有其他的解决方案，我也会慢慢进行更新。上面介绍的“启发式”自动化仍有一些问题需要解决，但通过图集生成测试用例，然后跑自动化确实简单快捷了很多。如果大家有兴趣可以在工作中试一试，欢迎大家关注一起交流哦。

欢迎微信搜索"游戏测试开发"关注一起沟通交流。