Airtest脚本的点击位置与点击偏移

简介: Airtest脚本的点击位置与点击偏移

此文章来源于项目官方公众号:“AirtestProject”

版权声明:允许转载,但转载必须保留原链接;请勿用作商业或者非法用途

1. 前言

我们经常会听同学们提到:这个图片脚本怎么没有点击效果?为什么脚本会点偏了?我想点图片的其它位置可以吗?诸如此类的问题。

今天就来跟同学们详细聊一聊,Airtest的点击位置与点击偏移这块内容,看完之后,遇到类似上面的问题,我们都可以迎刃而解啦。

2. Airtest的点击位置

用一个最简单的图像点击脚本来作为示例:

image.png

执行这条图像脚本,会点在哪个位置呢?熟悉Airtest的同学都会知道,是图片的中心位置。那我们如何哪些地方知道这条脚本实际的点击效果呢?教大家几个小技巧。

一个是在手机的设置里面打开“显示触摸操作”,这样我们在IDE运行图像脚本的时候,可以清楚地在手机画面上看到点击位置:

image.png

所以在同学们遇到,脚本执行了,但是没有点击效果的时候,不妨打开手机设置,启用“显示触摸操作”,看下究竟是脚本执行了无响应?还是脚本真的没有执行这个点击动作。

另外一个方式是,在IDE的log查看窗里,查看图像算法给出的识别结果(找带有关键词 match resultdebug 信息):

[15:17:32][DEBUG]<airtest.core.api> match result: {'result': (439, 348), 'rectangle': ((370.76, 265.76), (370.76, 431.76), (508.76, 431.76), (508.76, 265.76)), 'confidence': 0.975566565990448, 'time': 0.3353738784790039}

可以看到,图像算法给出的识别结果是(439, 348),我们可以借助IDE查看移动设备坐标的小工具,来检查下这个结果是否是符合我们预期的结果:

这个方式的好处就是,有时候我们发现,脚本的实际点击位置,偏离了我们的预期,我们就可以到log查看窗里,找到算法识别出来的结果,用坐标工具去设备画面上核对算法结果是否符合我们的预期,是不是真的找偏了。

还有个很直观的方式,就是生成Airtest报告来查看,可以非常直观的看到点击步骤的执行情况,在画面上的具体点击位置等:

3. Airtest的点击偏移

默认情况下,Airtest都是点击图像的中心位置的,也就是 target_pos=5 的位置。如果想要做点击偏移,比如我就要点击图片的左上角位置,那就要先好好了解这个 target_pos 是个什么参数了:

image.png

如图所示,target_pos 用于设置在匹配结果图像上的操作位置,取值为1-9的整数,默认为5(即图像中心位置)。如果我们要点击图像左上角的位置,那我们必须手动指定 target_pos=1

touch(Template(r"tpl1658387780768.png", target_pos=1, record_pos=(0.108, -0.517), resolution=(720, 1440)))

图像点击偏移,常用于下述场景中:

一个是,当我们的页面中,存在很多个相同的图标,我们想指定点击某个位置的图标,就有可能用到 target_pos 的参数,举个例子,在下述的页面中,有3个相同的播放按钮:

image.png

如果我们想点击第一个播放按钮,但是仅仅截图,是无法保证一定可以点到第一个播放按钮的。

但是如果我们扩大截图范围,并且通过指定 target_pos ,就可以确保我们能点到第一个目标按钮:

另外一个常用的场景是,当我们的点击图片特征点太少时,可以适当增加截图范围,然后通过设置 target_pos ,来点到我们的目标位置。

image.png

假设我们想点击上图黄框内的button,如果我们仅仅截图目标图像,可以预想的到,目标图像底色一致,基本没有变化,里面也仅有简单的线条,这样的图像脚本,很容易被算法判定为特征点过少,或者是识别到了错误的目标上去。

image.png 当我们扩大截图范围,给截图增加更多的特征点,并且适当地设置 target_pos ,就能得到一个兼容性效果更好的图像脚本了:

image.png

4. 拓展:Airtest的其它点击参数

# 点击绝对坐标
touch([100,100])
# 点击图片的右下角位置
touch(Template(r"tpl1606730579419.png", target_pos=9))
# 点击2次【不一定能实现双击的效果】
touch([100, 100], times=2)
# 在Android和Windows下,可以设置点击持续时间
touch([100, 100], duration=2)
# 右键点击(Windows)
touch([100, 100], right_click=True)
# 双击
double_click([100, 100])
double_click(Template(r"tpl1606730579419.png"))

5. 小结

今天我们聊了Airtest图像脚本的点击位置与点击偏移,其实,Poco控件脚本也存在类似的情况,我们下期再继续讨论。


AirtestIDE下载:airtest.netease.com/

Airtest 教程官网:airtest.doc.io.netease.com/

搭建企业私有云服务:airlab.163.com/b2b


相关文章
|
存储 Java 芯片
探索计算机的I/O控制方式:了解DMA控制器的作用与优势
对于有科班背景的读者,可以跳过本系列文章。这些文章的主要目的是通过简单易懂的汇总,帮助非科班出身的读者理解底层知识,进一步了解为什么在面试中会涉及这些底层问题。否则,某些概念将始终无法理解。这些计算机基础文章将为你打通知识的任督二脉,祝你在编程领域中取得成功!
402 1
探索计算机的I/O控制方式:了解DMA控制器的作用与优势
|
Linux Python Windows
为Python打包创建一个世外桃源,解决打包太大且启动慢的问题
首先是我用的是Anaconda的集成环境,由于Anaconda或者自己搭建的环境里内置了很多库,而且在日常的开发中又安装很多开发所需要的其他库,打包的时候就把很多不必要的模块打包进去,导致打包出来的文件过于臃肿.打开慢由于运行需要加载这些环境,由于加载的库过多导致耗时过长,而且Python是一门解释型语言,本身运行效率上也稍慢,所以能够明显体会到启动时的漫长等待 我们写代码就是为了高效,怎么能受得了打开慢且占资源的东西呢,那如何能解决这个问题呢?
2028 1
|
3月前
|
存储 机器学习/深度学习 API
Android API Level 到底是什么?和安卓什么关系?应用发布如何知道自己的版本?优雅草卓伊凡
Android API Level 到底是什么?和安卓什么关系?应用发布如何知道自己的版本?优雅草卓伊凡
560 31
Android API Level 到底是什么?和安卓什么关系?应用发布如何知道自己的版本?优雅草卓伊凡
|
自然语言处理 Python
Python 句法错误:"SyntaxError: invalid character in identifier",原因及解决方法
Python 句法错误:"SyntaxError: invalid character in identifier",原因及解决方法
7222 0
|
11月前
|
开发者 Python
Python中__init__.py文件的作用
`__init__.py`文件在Python包管理中扮演着重要角色,通过标识目录为包、初始化包、控制导入行为、支持递归包结构以及定义包的命名空间,`__init__.py`文件为组织和管理Python代码提供了强大支持。理解并正确使用 `__init__.py`文件,可以帮助开发者更好地组织代码,提高代码的可维护性和可读性。
793 2
|
12月前
|
Arthas Kubernetes Java
字节面试:CPU被打满了,CPU100%,如何处理?
尼恩,一位拥有20多年经验的老架构师,针对近期读者在一线互联网企业面试中遇到的CPU 100%和红包架构等问题,进行了系统化梳理。文章详细解析了CPU 100%的三大类型问题(业务类、并发类、内存类)及其九种常见场景,提供了使用jstack和arthas两大工具定位问题的具体步骤,并分享了解决死锁问题的实战案例。尼恩还强调了面试时应先考虑回滚版本,再使用工具定位问题的重要性。此外,尼恩提供了丰富的技术资料,如《尼恩Java面试宝典》等,帮助读者提升技术水平,轻松应对面试挑战。
字节面试:CPU被打满了,CPU100%,如何处理?
|
11月前
|
机器学习/深度学习 人工智能 自然语言处理
智能化软件测试:AI驱动的自动化测试策略与实践####
本文深入探讨了人工智能(AI)在软件测试领域的创新应用,通过分析AI技术如何优化测试流程、提升测试效率及质量,阐述了智能化软件测试的核心价值。文章首先概述了传统软件测试面临的挑战,随后详细介绍了AI驱动的自动化测试工具与框架,包括自然语言处理(NLP)、机器学习(ML)算法在缺陷预测、测试用例生成及自动化回归测试中的应用实例。最后,文章展望了智能化软件测试的未来发展趋势,强调了持续学习与适应能力对于保持测试策略有效性的重要性。 ####
|
12月前
|
测试技术 Python
自动化测试项目学习笔记(四):Pytest介绍和使用
本文是关于自动化测试框架Pytest的介绍和使用。Pytest是一个功能丰富的Python测试工具,支持参数化、多种测试类型,并拥有众多第三方插件。文章讲解了Pytest的编写规则、命令行参数、执行测试、参数化处理以及如何使用fixture实现测试用例间的调用。此外,还提供了pytest.ini配置文件示例。
538 2
|
存储 缓存 Ubuntu
在Ubuntu 18.04上安装和配置Postfix的方法
在Ubuntu 18.04上安装和配置Postfix的方法
306 1
|
搜索推荐 物联网 Linux
鸿蒙OS Next与安卓系统的比较
【6月更文挑战第2天】鸿蒙OS Next与安卓系统的比较
1844 3