网站测试自动化系统—在测试代码中硬编码测试数据

本文涉及的产品
应用实时监控服务ARMS - 应用监控,每月50GB免费额度
简介:

在前面的文章数据驱动测试里,讲到了将测试数据以及表现测试步骤的代码分开的技术。从测试的角度来看,固然希望能够覆盖的测试场景越多越好,但是在设计和编写自动化测试代码的时候,却又可以事先设计好一些固定的测试数据简化自动化测试代码的编写工作。

之所以要这样做(按照编程的术语讲是硬编码),是因为按照等价类划分,固定的测试数据一般都已经被其他测试用例覆盖了。请考虑下面这个例子,假设你要测试一个博客网站(例如博客园)的文章评论功能,例如测试禁用一篇文章的评论功能,或者是测试文章作者删除评论的功能。按照正常的流程,肯定是需要先编码发布一篇文章,然后再编码指定的评论功能测试用例。这样的流程有以下几个缺点:

1.         需要冗余的编码,因为每个评论测试用例的代码都要包含发布文章的步骤,在编程里面,我们都是极力推荐,什么只要代码在不同的地方重复两次,就要考虑是否将它封装成一个函数之类的理念。这种包含冗余编码的方式是我们在测试过程中极力要避免地,否则,程序员可能哪天心情很好,重构一下代码,破坏了一些网页的HTML结构但是从用户的角度来看又没有任何区别;这种代码重构,作为测试人员只能跟着程序员的代码重构,修改测试代码,那个时候,你当然会希望改的地方越少越好啦。

 

对于这个缺点,可能有人要说,在前面的文章“网站测试自动化系统—基于Selenium和VSTT”,创建博客的测试步骤不是已经被有效地封装成一个函数了吗,为什么还会说有冗余?这是因为在自动化测试过程中, 测试人员会定期(一些高规格的软件开发团队要求每天)将所以编写完毕的测试代码批量执行一遍,这就涉及到对于任何测试用例编码都非常重要的两个原则:

 

1)        一个测试用例可以独自执行成功,就是说如果是单独执行这一个测试用例的话,这个测试用例是可以执行成功的否则就是产品编码的失误(Bug)。举个例子,你正要编码测试一个管理博客文章的功能,这个功能通常来说都是登录用户才可以使用的。然而,也许你刚刚编码完毕一个登录方面的测试用例,而且用例执行完毕的时候,没有执行注销操作。这个时候你不能想当然地以为下一个测试用例一定就是你现在正在编码的文章管理的测试用例。

 

因为测试人员既保留有将多个测试用例任意排列执行的权力,也可以选择单独执行这一个测试用例比如程序员刚刚重构了文章管理功能的代码,为了节省测试时间,测试人员可能会选择只执行文章管理方面的测试用例。所以不要将自己的命运寄托在别人手里。即除了整个团队都公认的前提以外,不要相信任何前提。

 

2)        测试用例可以在任意排列的用例序列中执行通过,因此测试代码应该尽量保护测试环境。举个例子,你设计了一个管理用户权限的测试用例,一般来说这种功能只有管理员才有权限操作的。然而,也许另一个粗心大意的测试工程师编码了一个测试删除用户的用例,恰好将管理员删除了,而你的用例正好在他的用例之后执行……己所不欲,勿施于人,既然你不希望碰到这种情况,那么在编码自己的测试用例之前也应该避免类似的事情发生。

 

回过头来再举评论管理测试用例的设计,于是你的几个测试代码可能看起来像下面这样:

[TestMethod]

public void BlogCommentIsDisabled()

{

    TestLibrary.UserHelper.LogOnAsAdmin();

    var blog = TestLibrary.BlogHelper.CreateBlog("博客文章标题""文章内容");

    // 去管理文章的网页

    TestLibrary.BlogHelper.ManageArticles();

    // 在文章管理的网页的文章列表里依次查找标题为

    // "博客文章标题"的文章连接,

    var blogListItem = TestLibrary.BlogHelper.FindBlog(blog.Title);

    // 并且在网页上点击"浏览这个链接,打开阅读文章的网页

    blogListItem.View();

    // 评论这篇文章

    TestLibrary.BlogHelper.Comment(blog);

    // 然后执行一些验证判断评论功能的确被禁用掉了

    // ...

}

 

[TestMethod]

public void DeleteBlogComment()

{

    TestLibrary.UserHelper.LogOnAsAdmin();

    var blog = TestLibrary.BlogHelper.CreateBlog("博客文章标题""文章内容");

    // 去管理文章的网页

    TestLibrary.BlogHelper.ManageArticles();

    // 在文章管理的网页的文章列表里依次查找标题为

    // "博客文章标题"的文章连接,

    var blogListItem = TestLibrary.BlogHelper.FindBlog(blog.Title);

    // 并且在网页上点击"浏览这个链接,打开阅读文章的网页

    blogListItem.View();

    // 评论这篇文章

    var comment = TestLibrary.BlogHelper.Comment(blog);

    // 找到刚才的评论、删除评论,然后执行验证确定

    // 评论被删除掉

}

 

每个测试用例单独执行的时候,都不会有任何问题,但是两个放在一起执行的时候,问题就来了,两个用例创建了同名的文章,这样就直接导致测试结果的不稳定。为了解决这个问题,也许有人会创建一个随机生成文章标题的帮助类(Helper Class),这种编码的难度很大,因为需要确保文章的标题永远是唯一的(或许可以考虑Guid?)。

 

2.         节省测试的时间,在用例中执行过多的步骤也会增加测试时间。虽然测试团队都会在晚上批量执行自动化测试用例,但是在产品开发的过程当中,测试用例通过率不能达到100%是很正常的。对于每一个失败的测试用例,测试人员都要分析失败的原因判断是产品的缺陷导致的,还是由于测试代码本身的问题引起的。额外的测试步骤也会相应地增加测试人员分析失败的时间(一般测试人员都会重新执行一遍测试代码来找出问题原因)。

 

3.         增加不必要的测试用例失败,测试可以分好几块,一种是功能测试,也就是验证产品的功能是否可以正常工作;一种是压力测试,即测试产品在极端情况下的执行情况;还有其他的例如性能测试,国际化测试等等。一般来说,不同的测试都会有自己的自动化测试用例集合。如果在功能测试当中,用例代码在系统里面添加了很多冗余数据,执行的测试用例多了,必然导致网站的性能和反应速度会有所下降。而在测试代码中,一般都会在执行一步操作以后,等待一段时间等网页的内容刷新。网站反应速度的下降,直接导致测试失败。例如本来在编写测试代码的时候,3秒钟肯定会刷新的网页,在测试执行的环境中,因为过多的冗余数据,30秒可能都打不开一个网页。当然啦,网站反应速度的下降肯定是产品代码的缺陷,但是不应该将压力测试和功能测试混合起来做。

因此,我个人建议,在测试过程中,例如前面举的评论功能的测试中,完全可以事先在网站的数据库中先创建好一篇或多篇专门用来做评论测试的文章。而每天晚上,在大规模执行自动化测试用例之前,编写一个小的脚本,将网站的数据库替换成这个基准数据库。

又比如,为了测试用户权限管理的功能,完全可以事先在网站的数据库当中先准备好一个管理员帐号,这个管理员帐号和密码可以当作一个常量,然后测试代码里都使用这个帐号来执行权限管理的测试。例如下面的代码:

public class Consts

{

    public const string TimeToWaitForPageToLoad = "30000";

 

    public const string AdminUserName = "administrator";         

 

    public const string AdminPassword = "0123456";

}         

 

public class UserHelper : UIHelperBase

{

    public UserHelper(TestLibrary settings)

        : base(settings)

    {

    }

 

    public void LogOnAsAdmin()

    {

        LogOn(TestLibrary.Consts.AdminUserName, TestLibrary.Consts.AdminPassword);

    }

 

    public void LogOn(string username, string password)

    {

        if (String.IsNullOrEmpty(username))

            throw new CaseErrorException(new ArgumentNullException("username"));

        if (String.IsNullOrEmpty(password))

            throw new CaseErrorException(new ArgumentNullException("password"));

 

        selenium.Open("/");

        Thread.Sleep(2000);

        if (selenium.IsElementPresent("link=Log On"))

        {

            selenium.Click("link=Log On");

        }

        if (selenium.IsElementPresent("link=Login"))

        {

            selenium.Click("link=Login");

        }

        selenium.WaitForPageToLoad(TestLibrary.Consts.TimeToWaitForPageToLoad);

        selenium.Type("username", username);

        selenium.Type("password", password);

        selenium.Click("//input[@value='Log On']");

        selenium.WaitForPageToLoad(TestLibrary.Consts.TimeToWaitForPageToLoad);

    }

}

 

在上面的代码中,我也把等待网页刷新的时间设置成常量。对于在测试代码中使用事先在基准数据库中准备的测试数据,需要一点编程技巧。请先看下面的代码,下面的代码是一段记录通过网页操作创建文章的代码:

public class Blog : UIHelperBase

{

    // 博客的标题

    public string Title { getprivate set; }

 

    // 博客的超链接

    public string Permalink { getprivate set; }

 

    // 博客的超链接文本

    public string MenuText { getprivate set; }

 

    public string Owner { getprivate set; }

 

    public Blog(TestLibrary settings, string title,

        string permalink, string menutext, string owner)

        : base(settings)

    {

        Title = title;

        Permalink = permalink;

        MenuText = menutext;

        Owner = owner;

    }

 

    // 通过网页界面的操作创建一篇新文章

    //

    // PostSetting是一个结构,包含了一篇新文章的所有元素,

    // 例如文章标题,内容等等.

    public Post CreatePost(PostSettings settings)

    {

        if (settings == null)

            throw new CaseErrorException(new ArgumentNullException("settings"));

        if (!String.IsNullOrEmpty(settings.Body))

            throw new CaseErrorException("Set post body is not implemented yet!");

        if (settings.PublishDateTime.HasValue)

            throw new CaseErrorException("PublishDateTime is not implemented yet!");

 

        // selenium这个变量,你可以想象成是一个正在浏览网页的网友的封装

        selenium.Open("/");

        selenium.Click("link=Admin");

        selenium.WaitForPageToLoad(TestLibrary.Consts.TimeToWaitForPageToLoad);

        selenium.Click("link=Manage Blogs");

        selenium.WaitForPageToLoad("60000");

        selenium.Click(String.Format("link={0}", Title));

        selenium.WaitForPageToLoad(TestLibrary.Consts.TimeToWaitForPageToLoad);

        selenium.Click("link=New Post");

        selenium.WaitForPageToLoad(TestLibrary.Consts.TimeToWaitForPageToLoad);

        selenium.Type("Routable_Title", settings.Title);

        selenium.Type("Tags", settings.Tags);

 

        if (settings.Permalink != null)

            selenium.Type("Routable_Slug", settings.Permalink);

        if (settings.DisableNewComments)

            selenium.Click("CommentsActive");

 

        if (settings.PublishSetting == PostSettings.PublishSettings.PublishNow)

            selenium.Click("Command_PublishNow");

        else if ( settings.PublishSetting == PostSettings.PublishSettings.PublishLater )

            throw new CaseErrorException("PublishLater is not implemented yet!");

 

        selenium.Click("submit.Save");

        selenium.WaitForPageToLoad(TestLibrary.Consts.TimeToWaitForPageToLoad);

 

        return new Post(TestSettings, settings, this);

    }

}

 

public class PostSettings

{

    public enum PublishSettings

    {

        SaveDraft,

        PublishNow,

        PublishLater

    }

 

    public string Title { getset; }

 

    public string Permalink { getset; }

 

    public string Body { getset; }

 

    public string Tags { getset; }

 

    public bool DisableNewComments { getset; }

 

    public PublishSettings PublishSetting { getset; }

 

    public DateTime? PublishDateTime { getset; }

}

 

public class Post : UIHelperBase

{

// 当初创建文章的原始详细信息

    public PostSettings Settings { getprivate set; }

 

    // 文章的标题 – 从网页上获取

    public string Title { get { return selenium.Read(...); } }

 

// 下面省略文章相关的操作若干

// ...

 

    public Post(TestLibrary settings, PostSettings postSettings, Blog blog)

        : base(settings)

    {

        Settings = postSettings;

        ContainerBlog = blog;

}

 

// 下面省略文章相关的操作若干

// ...

 

}

 

从上面的代码中,你可以观察到,Post的属性,除了Settings属性以外,其他的属性都是从网页上直接读取的当然是假设当前网页正在显示对应的文章。因此,要将基准数据库集成到自动化测试代码中来,只要实例化一个PostSettings变量就好了。TestLibrary 负责连接到Selenium-RC,并保存对应连接的类。下面的代码演示了这个思想:

public class TestLibrary

{

    public UserHelper UserHelper { getprivate set; }

 

    public BlogHelper BlogHelper { getprivate set; }

 

    public CommentHelper CommentHelper { getprivate set; }

 

    public Blog DefaultBlog { getprivate set; }

 

    public Post DefaultPost { getprivate set; }

 

    public ISelenium Selenium { getprivate set; }

 

    public string SiteUrl { getprivate set; }

 

    public class Consts

    {

        public const string TimeToWaitForPageToLoad = "30000";

 

        public const string AdminUserName = "administrator";      

 

        public const string AdminPassword = "0123456";

    }

 

    public TestLibrary(ISelenium selenium)

    {

        this.UserHelper = new UserHelper(this);

        this.BlogHelper = new BlogHelper(this);

        this.CommentHelper = new CommentHelper(this);

        Selenium = selenium;

 

        InitialDefaultSiteDate();

    }

 

    private void InitialDefaultSiteDate()

    {

        DefaultBlog = new Blog(this"Default Test Blog""default-test-blog""Default Test Blog"Consts.AdminUserName);

        DefaultPost = new Post(thisnew PostSettings()

        {

            Title = "Default Test Post",

            Permalink = "default-test-post",

            Body = "This is for web site testing purpose.",

            Tags = "Test",

            PublishSetting = PostSettings.PublishSettings.PublishNow

        },

        DefaultBlog);

    }

}

下面是TestLibrary的完整源代码:

public class TestLibrary

{

    public UserHelper UserHelper { getprivate set; }

 

    public BlogHelper BlogHelper { getprivate set; }

 

    public CommentHelper CommentHelper { getprivate set; }

 

    public Blog DefaultBlog { getprivate set; }

 

    public Post DefaultPost { getprivate set; }

 

    public ISelenium Selenium { getprivate set; }

 

    public string SiteUrl { getprivate set; }

 

    public class Consts

    {

        public const string TimeToWaitForPageToLoad = "30000";

 

        public const string AdminUserName = "administrator";         

 

        public const string ContributorUser = "Contributor1";

 

        public const string AuthorUser = "Author1";

 

        public const string ModeratorUser = "Moderator1";

 

        public const string EditorUser = "Editor1";

 

        public const string CommonPassword = "0123456";

 

        public const string AdminPassword = "0123456";

 

        public const string DefaultSeleniumHost = "localhost";

 

        public const int DefaultSeleniumPort = 4444;

 

        public const string DefaultBrowser = "*firefox";

 

        public const string DefaultSite = "http://localhost:30320";

    }

 

    public TestLibrary(ISelenium selenium)

    {

        this.UserHelper = new UserHelper(this);

        this.BlogHelper = new BlogHelper(this);

        this.CommentHelper = new CommentHelper(this);

        Selenium = selenium;

 

        InitialDefaultSiteDate();

    }

 

    private void InitialDefaultSiteDate()

    {

        DefaultBlog = new Blog(this"Default Test Blog""default-test-blog""Default Test Blog"Consts.AdminUserName);

        DefaultPost = new Post(thisnew PostSettings()

        {

            Title = "Default Test Post",

            Permalink = "default-test-post",

            Body = "This is for web site testing purpose.",

            Tags = "Test",

            PublishSetting = PostSettings.PublishSettings.PublishNow

        },

        DefaultBlog);

    }

 

    public static TestLibrary SetupTest(TestContext testContext)

    {

        if (testContext != null && testContext.DataRow != null && testContext.DataRow.Table.Columns.Contains("seleniumHost"))

        {

            return SetupTest(testContext.DataRow["seleniumHost"].ToString(),

                Int32.Parse(testContext.DataRow["seleniumPort"].ToString()),

                testContext.DataRow["browser"].ToString(),

                testContext.DataRow["site"].ToString());

        }

        else

        {

            return SetupTest(Consts.DefaultSeleniumHost, Consts.DefaultSeleniumPort,

                Consts.DefaultBrowser, Consts. DefaultSite);

        }

    }

 

    public static TestLibrary SetupTest(string seleniumHost, int seleniumPort,

        string browser, string site)

    {

        var selenium = new DefaultSelenium(

            seleniumHost, seleniumPort, browser, site);

        selenium.Start();

 

        return new TestLibrary(selenium) { SiteUrl = site };

    }

 

    public void Shutdown()

    {

        try

        {

            Selenium.Stop();

        }

        catch (Exception)

        {

            // Ignore errors if unable to close the browser

        }

    }

}

 

未完待续……

本文转自 donjuan 博客园博客,原文链接:http://www.cnblogs.com/killmyday/archive/2010/03/19/1690247.html   ,如需转载请自行联系原作者

相关实践学习
通过云拨测对指定服务器进行Ping/DNS监测
本实验将通过云拨测对指定服务器进行Ping/DNS监测,评估网站服务质量和用户体验。
相关文章
|
6天前
|
Web App开发 JavaScript 前端开发
添加浮动按钮点击滚动到网页底部的纯JavaScript演示代码 IE9、11,Maxthon 1.6.7,Firefox30、31,360极速浏览器7.5.3.308下测试正常
添加浮动按钮点击滚动到网页底部的纯JavaScript演示代码 IE9、11,Maxthon 1.6.7,Firefox30、31,360极速浏览器7.5.3.308下测试正常
|
1天前
|
敏捷开发 jenkins Devops
探索软件测试的新篇章:自动化与持续集成的融合之道
【9月更文挑战第31天】 在软件开发的海洋中,测试是确保航船稳健前行的灯塔。本文将引领读者驶入软件测试的新纪元,探索自动化测试和持续集成如何携手共创高效、可靠的开发流程。我们将从基础概念出发,逐步深入到实际操作层面,揭示这一现代软件开发模式的核心价值和实现路径。你将看到,通过代码示例和实践案例,如何将理论转化为提升软件质量的具体行动。
|
5天前
|
测试技术 UED Python
探索软件测试的边界:自动化与手动测试的协同
【8月更文挑战第59天】在追求效率和质量的软件生产中,自动化测试与手动测试的辩论从未停止。本文将通过实际案例,揭示二者如何相辅相成,共同构建更健壮的软件测试体系。我们将深入探讨自动化测试的优势、手动测试不可替代的角色以及它们如何在实际项目中协同工作,旨在为读者提供一种平衡的视角来看待软件测试的实践。
99 65
|
4天前
|
Java C++
代码文件间重复性测试
本文介绍了如何使用代码相似性检测工具simian来找出代码文件中的重复行,并通过示例指令展示了如何将检测结果输出到指定的文本文件中。
|
9天前
|
自然语言处理 IDE Java
软件测试中的自动化策略
【9月更文挑战第23天】在软件生命周期中,测试是保证产品质量的关键步骤。随着技术的发展,自动化测试成为提升效率、减少错误和确保一致性的重要手段。本文将探讨自动化测试的重要性,并介绍一些实用的自动化测试工具和框架,帮助读者理解如何实施自动化测试策略,从而优化测试流程,提高软件开发的质量和速度。
|
12天前
|
敏捷开发 Java jenkins
软件测试中的自动化测试实践指南
本篇文章深入探讨了软件测试中自动化测试的重要性、实施步骤以及面临的挑战。我们将从为什么需要自动化测试开始,逐步解析其基本概念、工具选择、脚本开发、执行与维护等关键环节。同时,还将分享一些成功案例和最佳实践,帮助读者更好地理解和应用自动化测试技术。无论您是软件测试新手还是经验丰富的测试工程师,相信本文都能为您提供有价值的参考和启示。
|
11天前
|
测试技术
软件测试中的自动化策略与实践
【9月更文挑战第21天】在软件开发的生命周期中,测试阶段扮演着至关重要的角色。它不仅确保了软件产品的质量,还帮助团队及早发现并修复缺陷,从而节省时间和成本。本文将探讨如何通过实施自动化测试策略来提升测试效率和有效性,包括选择合适的工具、设计有效的测试用例以及维护测试脚本。文章旨在为读者提供一套清晰的指导方针,帮助他们在项目中成功地应用自动化测试。
|
12天前
|
数据管理 jenkins 测试技术
软件测试中的自动化测试实践与探索
本文探讨了在软件开发过程中,如何有效实施自动化测试,以提升软件质量和开发效率。通过对自动化测试的概念、工具选择、测试策略和具体实践案例的分析,旨在为软件测试人员提供一些有益的参考和启示。
|
10天前
|
测试技术 持续交付 Android开发
软件测试中的自动化测试策略与实践
本文深入探讨了软件测试中自动化测试的策略与实践,阐述了自动化测试的重要性、适用场景及常见工具。通过对自动化测试框架的搭建、脚本编写、持续集成等方面的详细分析,揭示了如何有效提升软件测试的效率和质量。同时,本文还指出了自动化测试在实际应用中可能面临的挑战,并提出了相应的解决方案。无论是对于初学者还是资深测试工程师,本文都提供了宝贵的参考和启示。
|
14天前
|
测试技术
基于LangChain手工测试用例转App自动化测试生成工具
在传统App自动化测试中,测试工程师需手动将功能测试用例转化为自动化用例。市面上多数产品通过录制操作生成测试用例,但可维护性差。本文探讨了利用大模型直接生成自动化测试用例的可能性,介绍了如何使用LangChain将功能测试用例转换为App自动化测试用例,大幅节省人力与资源。通过封装App底层工具并与大模型结合,记录执行步骤并生成自动化测试代码,最终实现高效自动化的测试流程。
27 4
下一篇
无影云桌面