1. 背景
项目测试过程中经常需要在手机端体验语音产品的识别效果和稳定性，识别效果与手机硬件强相关无法抛开硬件影响。因此开发了一套基于uiautomator2+python UI自动化工具，可以实现在电脑端控制手机demo开始收音+播放待测音频+保存识别结果的APP自动化效果测试工具。
2. uiautomator2安装及介绍
uiautomator2是一个自动化测试开源工具，仅支持Android平台的原生应用测试。它本来是Google提供的一个自动化测试的Java库，后来发展了python-uiautomator2，封装了谷歌自带的uiautomator测试框架，提供便利的python接口，用它可以很便捷的编写python脚本来实现app的自动化测试。uiautomator2 提供了点击、长按、输入文本、滑动、拖拽、截屏等方法，能够模拟用户的各种动作。用户可以通过控件的 id 或 text 等属性，定位到控件，从而对控件实施上述操作。
2.1 环境搭建
2.1.1 安装adb
安装adb并使手机与电脑连接（具体安装自行百度）。 adb devices 查看连接设备。
2.1.2 安装uiautomator2
pip install --pre -U uiautomator2
2.1.3 设备安装atx-agent
python -m uiautomator2 init （安装包含httprpc服务的apk到手机）
2.1.4 安装weditor
基于浏览器技术的weditor UI查看器，方便抓取手机上应用的控件。
pip install --pre weditor（安装） python -m weditor（运行）
2.2 atx主要方法
2.2.1 设备连接
import uiautomator2 as u2 d = u2.connect('192.168.1.169') #通过WIFI d = u2.connect_usb('123456f') #通过USB(手机的序列号可以通过adb devices获取到，假设序列号是123456f)
2.2.2 获取当前包名
cmd界面输入“uiautomator2 current ”，能获取手机当前界面APP的包名、activity以及pid等相关信息，如下：{"package": "com.android.browser", "activity": "com.uc.browser.InnerUCMobile", "pid": 28478 }。
2.2.3 启动/停止APP
//启动 d.app_start("com.android.browser") #默认的这种方法是先通过atx-agent解析apk包的mainActivity，然后调用am start -n $package/$activity启动 d.app_start("com.android.browser", use_monkey=True) #使用 monkey -p com.example.hello_world -c android.intent.category.LAUNCHER 1 启动，这种方法有个副作用，自动会将手机的旋转锁定给关掉 //停止 d.app_stop("com.android.browser") d.app_clear('com.android.browser')
2.2.4 元素定位方法
d(resourceId="com.smartisanos.clock:id/text_stopwatch").click() #ResourceId定位 d(text="发现").click() #Text定位 d(description="..").click() #Description定位 d(className="android.widget.TextView").click() #ClassName定位
2.2.5 控件操作
d.click(x, y) #点击 d.double_click(x, y) #双击 d.double_click(x, y, 0.1) # 两次点击时间间隔0.1秒 d.long_click(x, y) d.long_click(x, y, 0.5) # 点击时间0.5秒，长按
2.3 uiautomator2+python UI自动化测试框架简介
python端：运行脚本，并向移动设备发送HTTP请求。移动设备：移动设备上运行了封装了uiautomator2的HTTP服务，解析收到的请求，并转化成uiautomator2的代码，对被测程序进行相关操作。
3.实战案例
3.1 手机计算器
以下以计算器为例，计算七加八并自动获取计算结果。
#!/usr/bin/env python # -*- coding: utf-8 -*- import uiautomator2 as u2 import time if __name__ == '__main__': d = u2.connect_usb("123456f") # 通过USB连接手机(手机的序列号可以通过adb devices获取到，假设序列号是123456f) d.app_start("com.coloros.calculator") # 通过包名启动手机计算器（不同手机计算器包名可能不同，需要修改） d(resourceId="com.coloros.calculator:id/digit_7").click() # resourceId定位法，点击“7” d(resourceId="com.coloros.calculator:id/op_add").click() # 点击“+” d(text="8").click() # text定位法，点击“8” # d(resourceId="com.coloros.calculator:id/eq").click() d.click(0.829, 0.92) # 坐标定位法，找到“=”的坐标点，点击“=” d(resourceId="com.coloros.calculator:id/result").get_text() #获取result结果 time.sleep(5) d.app_stop("com.coloros.calculator") #关闭手机计算器
3.2 语音助手识别效果自动化测试
同时控制手机和音箱，配合模拟人与手机助手的语音交互并保存返回的识别结果
控制手机打开语音助手
def openAssistant（） d = u2.connect_usb("手机序列号") d.app_start("包名", "activity", use_monkey=True) #启动手机语音助手，需要通过语音助手包名启动 d.click(x, y) #通过坐标定位方法，点击语音助手浮球，开启语音助手交互
播放测试音频文件
# pcm音频读取 class PcmRead: def __init__(self, path, sampleRate, sampleSize, channelCount): self._i_opened_the_file = None if isinstance(path, str): f = open(path, 'rb') self._i_opened_the_file = f # else, assume it is an open file object already self._framerate = sampleRate self._sampwidth = sampleSize self._nchannels = channelCount self._nframes = os.path.getsize(path) // (sampleSize * channelCount); def __del__(self): self.close() def __enter__(self): return self def __exit__(self, *args): self.close() def close(self): file = self._i_opened_the_file if file: self._i_opened_the_file = None file.close() def getnchannels(self): return self._nchannels def getnframes(self): return self._nframes def getsampwidth(self): return self._sampwidth def getframerate(self): return self._framerate def readframes(self, nframes): size = nframes * self._sampwidth * self._nchannels; data = self._i_opened_the_file.read(size); return data #播放音频文件 def play(audioPath): if audioPath.endswith(".pcm"): wf = PcmRead(audioPath, "音频采样率", "采样点大小，只支持2", "音频声道数") elif audioPath.endswith(".wav"): wf = wave.open(audioPath, 'rb') else: raise ValueError("invalid suffix") with wf: p = pyaudio.PyAudio() stream = p.open(format=p.get_format_from_width(wf.getsampwidth()), channels=wf.getnchannels(), rate=wf.getframerate(), output=True) CHUNK = 1024 data = wf.readframes(CHUNK) while b'' != data: stream.write(data) data = wf.readframes(CHUNK) stream.stop_stream() stream.close() p.terminate()
4.可扩展领域
uiautomator2+python UI自动化测试框架，与selenium 和 unittest 的 Web UI自动化测试框架相类似，基于Android系统有屏设备的自动化测试解决方案，支持对被测设备的模拟点击、截图、获取返回结果等功能。可用于所有Android带屏设备的APP测试。
