利用cdp拿到自动化测试后的js覆盖率数据并展示

简介: 不熟悉cdp的可以参见前文:Chrome remote debugging protocol在自动化测试中的应用和实践cov的数据结构首先,使用takePreciseCoverage方法来拿到js执行数据,这个数据的数据结构是这样的: 'r...

不熟悉cdp的可以参见前文:Chrome remote debugging protocol在自动化测试中的应用和实践

cov的数据结构

首先,使用takePreciseCoverage方法来拿到js执行数据,这个数据的数据结构是这样的:

    'result': {
        'result': [{
            'scriptId': '17',
            'url':'https://www.xxxxxxxxx.com/browser/guide.js',
            'functions': [{
                'functionName': 'get',
                'ranges': [{
                    'startOffset': 0,
                    'endOffset': 4273,
                    'count': 1
                }],
                'isBlockCoverage': False
            },
            }],
        }],
    }
        ......

一个result包含多个js的统计情况,每个url基本就是js的请求地址;在每个js的统计情况里,又有多个function的统计情况,每个function里的startOffset和endOffset指的是这个方法的被统计语句按字节位置来算的开始位置和结束位置,count代表这段语句是否被执行到,1代表是,0代表否。

因此,思路就是,拿到测试完成后的js统计数据,然后通过每个js统计数据里的每个function的统计坐标值和统计状态,和原始js数据比对,从而实现对js覆盖状况的总览。

下面说一下具体流程。

过滤cov数据

cov数据(也就是上文的js统计数据)不是直接可用的,因为首先获取到的覆盖率是十分全面的,全面到会有很多额外的你不想要的数据,比如通用的js类库,还有dev tools操作时的js数据等等,所以第一步是过滤cov数据。

过滤分为两步,第一步是过滤掉你不需要的js统计数据,这里根据主域名来过滤,具体是写了cov_domain_filter()这个方法(详见源码,下同。),接受一个数组,数组内容是你要过滤的主域名列表,然后返回给你只留下含有主域名的js的统计数据。

第二步,因为这个统计数据包含了所有的执行状态的统计,包括覆盖到的和未覆盖到的,我们只需要标注出未覆盖到的代码,就可以体现出覆盖情况,因此这里进一步过滤了状态,只留下了未覆盖到的代码的统计情况,具体方法是cov_not_count_filter()。

至此,我们的数据就过滤完成了。

合并cov数据

仔细研究了一下cov数据,发现每个js的统计数据里,会有相同的function的统计数据,例如前面有一个function test,他的数据是{startoffset:10;endoffset:29},后面又可能存在一个unction test,他的数据是{startoffset:30;endoffset:60},当然他们的数据不一样,我猜测他是根据测试的进程,不断的在js的统计数据里追加方法统计数据,这点没有彻底的领悟作者的意图。

出于后面的统计结果展示方便,这里我把这种数据都给合并了,例如前文的例子,把他的数据合并了就是{startoffset:10;endoffset:60},这样每个js的统计数据里,只可能存在一个方法,每个方法会有多个不可再合并的统计数据,这里的方法是merge_same_func_ranges。

对比和追加cov数据

如果只进行一次的测试过程的覆盖率收集,那么这一步是不必要做的,但是,考虑到一个模块可能要多个测试用例才能覆盖完流程分支,那么要想获得这个模块的覆盖率,就只有在每个用例完成后,将收集的cov数据和前一次的进行对比和追加。

这里是写的很痛苦了,因为cov的数据结构不是我是谷歌制定的,本身对于为什么要这么设计也并不理解充分,这个数据结构层级非常的深,所以要对比并进行追加就非常的繁琐,这里用了大量的列表推导式来代替for循环,否则for循环会更多,这个方法是make_covdata_file。

将cov数据最终展示

cov数据处理完,还需要一个网页进行展示,这里是用了一个模板类,通过设立html模板,将数据替换,再生成从而实现了简单的网页展示,如果你有更高的需求可以自行进行设计。

这里要说的是着色器模块,也就是给数据上背景色,设计上是通过对未覆盖的代码两端插入背景色的html代码来实现未覆盖代码的醒目展示,这里存在一个算法问题,因为你不能直接根据代码的起始坐标(也就是startoffset和endoffset)直接插入背景色html代码,因为当你第一次插入的时候是没问题的,但你要在下一个坐标插入的时候,就会出问题,因为你之前插入了代码的缘故,对下一个坐标而言,已经不是真实坐标了,需要加上之前背景色代码的偏移量。

这里我不(jiu)得(shi)已(lan)采用了一个非常牺牲性能的办法,就是直接拿cov数据复制出副本,用需要加背景的代码的起始坐标拿出这部分的字符串,然后在副本里搜索并添加背景代码,然后再替换回去(捂脸哭)。

最终的展示效果

这里我做了一个简单的本地文件作为示例,看一下最终结果。

img_d175b822bbe4517076ddcce9d6c6a3f1.png
覆盖率效果展示.png

为了方便演示,整个profiler模块被我集成进了之前的一个ui测试框架里,例子也直接扔进去了,只需要把这个项目clone下来,然后把环境变量修改为你的,再运行process模块就可以体验,当然你也可以直接使用这个模块。

一些tips

1.不能用于压缩混淆后的js上;

2.因为展示部分的着色器算法性能损耗过大,所以如果你要生成报告的话会很慢,有兴趣的可以自己重写这部分。

3.php项目,结合博客里的php覆盖率统计方法,可以和这个模块一起做到前后端代码覆盖率统计。

目录
相关文章
|
9天前
|
人工智能 测试技术 开发者
北大李戈团队提出大模型单测生成新方法,显著提升代码测试覆盖率
【9月更文挑战第27天】北京大学李戈团队在人工智能领域取得重要突破,提出HITS新方法,通过将待测方法分解为多个切片并利用大型语言模型逐个生成测试用例,显著提升代码测试覆盖率,尤其在处理复杂方法时效果显著,为软件开发和测试领域带来新希望。尽管存在一定局限性,HITS仍展示了巨大潜力,未来有望克服限制,推动软件测试领域的创新发展。论文详情见【https://www.arxiv.org/pdf/2408.11324】。
25 6
|
2月前
|
JavaScript 算法 前端开发
采招网JS逆向:基于AES解密网络数据
采招网JS逆向:基于AES解密网络数据
42 0
|
13天前
|
JavaScript 前端开发 安全
js逆向实战之烯牛数据请求参数加密和返回数据解密
【9月更文挑战第20天】在JavaScript逆向工程中,处理烯牛数据的请求参数加密和返回数据解密颇具挑战。本文详细分析了这一过程,包括网络请求监测、代码分析、加密算法推测及解密逻辑研究,并提供了实战步骤,如确定加密入口点、逆向分析算法及模拟加密解密过程。此外,还强调了法律合规性和安全性的重要性,帮助读者合法且安全地进行逆向工程。
57 11
|
8天前
|
JSON JavaScript 前端开发
6-19|Python数据传到JS的方法
6-19|Python数据传到JS的方法
|
2月前
|
SQL 存储 数据处理
"SQL触发器实战大揭秘:一键解锁数据自动化校验与更新魔法,让数据库管理从此告别繁琐,精准高效不再是梦!"
【8月更文挑战第31天】在数据库管理中,确保数据准确性和一致性至关重要。SQL触发器能自动执行数据校验与更新,显著提升工作效率。本文通过一个员工信息表的例子,详细介绍了如何利用触发器自动设定和校验薪资,确保其符合业务规则。提供的示例代码展示了在插入新记录时如何自动检查并调整薪资,以满足最低标准。这不仅减轻了数据库管理员的负担,还提高了数据处理的准确性和效率。触发器虽强大,但也需谨慎使用,以避免复杂性和性能问题。
34 1
|
2月前
|
存储 人工智能 自然语言处理
知识库优化增强,支持多种数据类型、多种检索策略、召回测试 | Botnow上新
Botnow近期对其知识库功能进行了全面升级,显著提升了数据处理能力、检索效率及准确性。新版本支持多样化的数据格式,包括PDF、Word、TXT、Excel和CSV等文件,无需额外转换即可直接导入,极大地丰富了知识来源。此外,还新增了细致的文本分片管理和编辑功能,以及表格数据的结构化处理,使知识管理更为精细化。 同时,平台提供了多种检索策略,包括混合检索、语义检索和全文检索等,可根据具体需求灵活选择,有效解决了大模型幻觉问题,增强了专业领域的知识覆盖,从而显著提高了回复的准确性。这些改进广泛适用于客服咨询、知识问答等多种应用场景,极大提升了用户体验和交互质量。
58 4
|
2月前
|
运维 JavaScript 安全
自动化运维:使用Ansible简化日常任务深入理解Node.js事件循环和异步编程
【8月更文挑战第27天】在快节奏的技术环境中,自动化不再是奢侈品,而是必需品。本文将引导你通过Ansible实现自动化运维,从基础到高级应用,解锁高效管理服务器群的秘诀,让你的IT操作更加流畅和高效。
|
18天前
|
存储 监控 安全
在自动化测试环境中,如何确保测试数据的安全性和隐私性
在自动化测试环境中,如何确保测试数据的安全性和隐私性
|
2月前
【Application Insights】使用Powershell命令向Application Insgihts发送测试数据
【Application Insights】使用Powershell命令向Application Insgihts发送测试数据
|
2月前
|
JSON Kubernetes Linux
【Application Insights】使用CURL命令向Application Insgihts发送测试数据
【Application Insights】使用CURL命令向Application Insgihts发送测试数据
下一篇
无影云桌面