测试平台对持续集成的支持(之四)——测试代码维护与调试

     一、当测试编辑完成后，就进入测试代码的调试阶段。


     为了支持测试代码的调试，业界已经有许多优秀的分层测试代码的调试工具，这里不再一一赘述。云效平台对测试代码的调试也离不开这些调试工具，近期也不打算从调试工具本身的升级开发来对测试代码调试环节进行提效。而是走另一条思路，通过将用例编写->代码编写->代码调试->代码执行集成于测试平台一个页面或几个页面供测试和开发人员在线使用从而达到这些环节的整体提效。这样用户不需要先启动如QC这样的用例管理系统写用例，再在线下编辑器和调试工具进行代码编辑和调试，再上传到SVN并在测试环境中进行执行等等一系列繁杂琐碎的工作。


     这样做还有一个无可比拟的优点，就是用户在测试平台一个或几个页面进行用例编写->代码编写->代码调试->代码执行时，系统自动的将组织关系-用例-脚本进行关联，而无须人工操作。笔者之前说过，用例是整个测试平台的核心，用例在测试平台中将会与需求，测试代码，缺陷，组织关系自动关联，只有这样才能发挥出测试平台工作流程最大程度自动化的效果。目前已经有一些优秀的测试平台能提供给用户人工或者半自动化的方式关联用例和脚本，但云效平台在接口和UI两层的分层测试中已经实现了用例和脚本的自动关联而不需要人工参与。


       二、我们重点来探讨一下测试代码的维护。


       测试代码的维护历来是让人头疼的地方。持续集成中往往会出现测试代码大批执行不通过。执行不通过有测试环境、测试数据准备、开发代码、测试代码等各个方面的原因，对集成工作来说只有开发代码的问题是我们需要的，其他的问题是我们不需要但又不得不面对和解决的。我们需要对执行失败的测试代码花费巨大的工作量逐个分析日志，查找原因。如果找到是测试代码的原因又面临着将大批测试代码进行一个一个手工修改的巨大工作量。


      如何来解决上述问题，云效平台着重于开发自动化分析测试代码日志，并将批量执行错误进行自动初步分类。并在用户解决某一类问题时将该问题的解决方法自动修改该类问题下的所有测试代码并进行自动测试。举个例子，比如在某次用例批量执行中100个用例代码执行失败后，平台将会自动分析这100个测试代码的错误日志，并进行问题的初步归类(比如5类问题)。然后用户在每一类问题中只要分析一个测试代码的日志并进行修改，系统将自动把该问题的修改作用于这类问题所包含的所有测试代码，并自动进行验证。如此对测试和开发人员对测试代码的维护的提效是巨大的。


       另外，云效平台已经解决了分层测试中维护工作量最为巨大的UI测试代码的维护自动化难题。测试代码的维护将不再是测试与开发人员的恶梦。持续集成也将会把这一阻碍扫清。


云效平台官网地址：http://yunxiao.aliyun.com/