WebUI自动化测试框架Demo(中)

发表于 分类于
本文字数： 8.4k 阅读时长 ≈ 28 分钟
Demo Project代码优化，TestNG介绍，TestNG注解基本使用。

上篇博客我们已经完成了Demo Project的Set Up, 这篇文章就来简单用TestNG的注解和testng.xml文件，使代码结构更清晰，并实现element object的good practice.

TestNG介绍

是什么

TestNG是一个开源的自动化测试框架， NG表示Next Generation。

TestNG的灵感来源于Junit和Nunit,但其功能优于前面两个框架，例如TestNG支持依赖测试，测试分组等功能，并且它旨在涵盖所有类别的测试：单元测试，功能测试，端到端测试，集成测试等等。

同类技术对比

上篇博客中我们使用了Junit的注解@Test来识别测试代码，所以我们来看看TestNG和Junit的对比：
可以看到TestNG比Junit支持的功能更多，比如分组测试，参数化测试等等。

TestNG注解

TestNG注解可以标记测试方法，设置测试方法运行顺序，将测试分组，还能向方法体传参。

1. 常见的TestNG注解

  • @Test：最基本的注解，用来把方法标记为测试的一部分
  • @BeforeTest：在所有测试之前运行
  • @AfterTest：在所有测试执行之后运行
  • @BeforeClass：在调用当前类之前运行
  • @AfterClass：在调用当前类之后运行
  • @BeforeMethod：在每个测试方法执行之前都会运行
  • @AfterMethod：在每个测试方法执行之后都会运行
  • @BeforeGroups：在调用属于该组的第一个测试方法之前运行
  • @AfterGroups：在调用属于该组的最后一个测试方法执行之后运行

2. 注解运行顺序

TestNG运行时，顺序是这样的：

@BeforeSuite->@BeforeTest->@BeforeClass->{@BeforeMethod->@Test->@AfterMethod->@AfterClass->@AfterTest->@AfterSuite

其中{}内的有多少个@Test，就循环执行多少次。

3. 传参注解

有时我们想要把测试数据当作参数传入测试方法，然后在别的地方定义参数对应的测试数据，这时就要用到TestNG的传参注解。

  • @Parameters：描述如何将参数传递给@Test方法，下文中会用到。
  • @DataProvider：当参数类型较为复杂时，@Parameters无法满足需要，此时可以利用@DataProvider传参标记一种方法来提供测试数据。该方法会返回一个Object二维数组或一个Iterator<Object[]>来提供复杂的参数对象。

TestNG的xml文件

testng.xml是TestNG的配置文件，以xml格式记录测试文件。xml文件里的tags可以帮助理解测试代码的结构，设置参数数据，还可以和注解配合使用决定测试代码的运行规则，包括测试方法的执行顺序，测试方法个数和分组等等。每一个tag都有自己的参数设置。

一个简单的testng.xml结构如下：

<suite></suite>

suite是testng.xml文档中最上层的元素，一个xml文件只能有一个suite，它是一个xml文件的根级。
suite tag的paraller和thread-count参数共同控制多线程运行，实现并发测试。paraller参数指定并发的级别，比如tests/classes/methods级别。thread-count参数指定线程个数。

<test></test>

一个suite tag下可以有多个test tag，它是一个测试单元。

<classes></classes>

方法选择器，要执行的方法写在这里。classes tag下必须包含执行的class，否则不会执行任何内容。

<parameter></parameter>

提供测试数据，和@Parameters注解配合使用。
parameter tag可以声明在suite/tests/classes级别，在内层的parameter tag声明的变量会覆盖在外层声明的同名变量。

怎么做

TestNG的一般使用步骤是：

  • 编写测试业务逻辑代码并添加TestNG的注解
  • 在TestNG的xml文件配置测试信息(如果有需要的话)
  • 运行TestNG的xml文件

下文的代码改造会详细介绍怎么做。

代码改造

BeforeTest/AfterTest

要使用TestNG的注解，我们必须添加TestNG依赖，步骤和之前添加Selenium依赖相同：

接下来就可以使用TestNG的BeforeTest和AfterTest这两个注解了，我们可以把之前代码中在测试开始之前执行的操作，比如设置WebDriver、打开测试url都放在BeforeTest中，把测试执行结束后退出Driver的操作放在AfterTest中，这样改造之后的代码如下：

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
public class SeleniumTest {
    WebDriver driver;

    @BeforeTest
    public void beforeTest()
    {
        System.setProperty("webdriver.gecko.driver", "drivers/geckodriver");
        driver = new FirefoxDriver();
        driver.manage().window().maximize();
        driver.get("https://www.baidu.com/");
    }

    @Test
    public void searchSelenium()
    {
        driver.findElement(By.id("kw")).clear();
        driver.findElement(By.id("kw")).sendKeys("selenium");
        driver.findElement(By.id("su")).click();
    }

    @AfterTest
    public void afterTest()
    {
        driver.quit();
    }
}

添加自定义testng.xml

在BeforeTest中，我们手动设置了测试浏览器和url，但标准的做法是将这种设置提出来变成参数传入，而具体的数据可以放在一个单独的文件中。testng.xml文件可以帮助我们实现这点。
首先，我们使用TestNG的Parameters注解，将browser和url这两个数据作为参数传入beforeTest做处理，这样改造后的beforeTest方法如下：

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
@Parameters({"browser", "url"})
@BeforeTest
public void beofreTest(String browser, String url)
{
    switch (browser){
        case "chrome":
            System.setProperty("webdriver.chrome.driver", "drivers/chromedriver");
            driver = new ChromeDriver();
            break;
        case "firefox":
            System.setProperty("webdriver.gecko.driver", "drivers/geckodriver");
            driver = new FirefoxDriver();
            break;
        default:
            System.out.println("can't supply such browser.");
    }
    driver.manage().window().maximize();
    driver.get(url);
}

此时运行测试，因为我们没有在系统默认的testng.xml文件temp-testng-customsuite.xml里定义browser和url这两个参数，所以不难猜到运行失败：


所以，有两种解决办法：

  • 直接改动默认的testng.xml文件
  • 新建自定义testng.xml文件，然后在pom.xml中指定此文件为默认的testng.xml
    为了方便以后改动，我们采用第二种办法，新建testng.xml，使用parameter tag定义browser和url参数：

此时我们可以在新建的testng.xml文件右键点击运行，就可以运行成功啦。
然后在pom.xml文件的maven-surefire-plugin里指定我们要引用的testng.xml，之后使用jenkins部署运行时就不会报错了：

1
2
3
4
5
6
7
8
9
10
<plugin>
  <artifactId>maven-surefire-plugin</artifactId>
  <version>2.22.1</version>
  <configuration>
    <suiteXmlFiles>
      <!--可以添加多个xml文件-->
      <file>testng.xml</file>
    </suiteXmlFiles>
  </configuration>
</plugin>

设置多个Test执行顺序

我们现在只有1个searchSelenium()的TestCase，如果有多个Test，它们的运行顺序会是怎样的呢？
为了找到答案，我们添加一个searchJava()的TestCase:

1
2
3
4
5
6
7
@Test
public void searchJava()
{
    driver.findElement(By.id("kw")).clear();
    driver.findElement(By.id("kw")).sendKeys("java");
    driver.findElement(By.id("su")).click();
}

1. 在testng.xml中指定执行顺序

首先再回到我们自定义的testng.xml文件，可以发现有一个 tag, 其中包含了所有要执行的test列表，我们把searchJava()也加进去：

1
2
3
4
<methods>
    <include name="searchSelenium"/>
    <include name="searchJava"/>
</methods>

运行testng.xml可以发现searchSelenium先执行，searchJava后执行。
那么把这两个方法在methods list里的顺序交换呢？
没错，又变成searchJava先执行，searchSelenium后执行了，所以我们可以通过设置方法在methods list的顺序，达到指定方法执行顺序的目的。

2. 默认执行顺序

为了看到默认的执行顺序，我们先把methods list注释掉，再运行testng.xml。
可以看到依然是searchJava先执行，searchSelenium后执行。没错，默认的执行顺序是将方法名按照字符串排序的方式执行的：

3. 给testng注解加上priority顺序

其实，我们还可以通过给方法的@Test直接后边加上priority参数，数字小的先执行，达到设置执行顺序的目的。为了看到效果，我们将执行顺序设为和默认顺序相反：

运行testng.xml之后，可以发现searchSelenium先执行，searchJava后执行。

既然priority参数和上边的methods list都能设置执行顺序，那这两种方式谁的优先级更高呢？

为了解答这个问题，我们去掉testng.xml的注释，运行testng.xml观察效果：

可以发现仍然是searchSelenium先执行，searchJava后执行。

所以，priority参数方式要比methods list方式优先级高。

testng.xml的多线程设置

多线程运行测试代码，可以减少运行时间，提高测试效率。实际应用中要按照设备/服务器属性进行设置。
我们可以通过在testng.xml添加parallel和thread-count参数达到多线程运行测试的目的：
其中：

  • paralle: 表示线程级别
  • thread-count: 线程个数
    这里我们按照tests级别，将testng.xml改造如下：
    1
    2
    3
    4
    5
    6
    7
    8
    9
    10
    11
    12
    13
    14
    15
    16
    17
    <?xml version="1.0" encoding="UTF-8"?>
    <!DOCTYPE suite SYSTEM "http://testng.org/testng-1.0.dtd">
    <suite name="Default Suite" parallel="tests" thread-count="2">
        <parameter name="url" value="https://www.baidu.com/"></parameter>
        <test name="Automation1">
            <classes>
                <class name="org.example.SeleniumTest"></class>
                <parameter name="browser" value="chrome"></parameter>
            </classes>
        </test>
        <test name="Automation2">
            <classes>
                <class name="org.example.SeleniumTest"></class>
                <parameter name="browser" value="firefox"></parameter>
            </classes>
        </test>
    </suite>
    为了让效果更明显，在每个@Test方法里加上：
    1
    2
    System.out.println("Thread id is " + Thread.currentThread().getId());
    //打印出方法所在线程id
    接着运行testng.xml，可以看到不同test在不同的线程运行，同一test的测试在一个线程运行：

Element Object

在实际工作中，编写测试代码的时候，以beforeTest()和searchSelenium()方法为例，我们可以把beforeTest()/afterTest()这种公共方法提出来放在单独的文件中，searchSelenium()方法里的常用/公有元素也提出来放在单独的文件中，公共方法也可以提出来，以实现Element/Page Object，不把测试数据暴露在外边，这样就能更关注于测试代码的设计了。

根据上边的思想，我们将代码结构改动如下：

新建了两个class文件，SetUp和Functions。
SetUp.class用于存放beforeTest方法，然后在测试代码中调用：

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
package org.example;

import org.openqa.selenium.WebDriver;
import org.openqa.selenium.chrome.ChromeDriver;
import org.openqa.selenium.firefox.FirefoxDriver;

public class SetUp {

    WebDriver driver;

    public WebDriver beofreTest(String browser, String url)
    {
        switch (browser){
            case "chrome":
                System.setProperty("webdriver.chrome.driver", "drivers/chromedriver");
                driver = new ChromeDriver();
                break;
            case "firefox":
                System.setProperty("webdriver.gecko.driver", "drivers/geckodriver");
                driver = new FirefoxDriver();
                break;
            default:
                System.out.println("can't supply such browser.");
        }
        driver.manage().window().maximize();
        driver.get(url);
        return driver;
    }
}

Functions.class里是一些页面元素和操作这些元素的公共方法，也可以在测试代码里直接调用：

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
package org.example;
import org.openqa.selenium.By;
import org.openqa.selenium.WebDriver;

public class Functions {

    public By _searchBox = By.id("kw");
    public By _searchButton = By.id("su");

    public void searchText(WebDriver driver, String text)
    {
        driver.findElement(_searchBox).clear();
        driver.findElement(_searchBox).sendKeys(text);
        driver.findElement(_searchButton).click();
    }
}

TestNG Report

漂亮的测试报告是自动化测试中不可缺少的元素，TestNG也支持生成测试报告，在页面右上角找到Edit Configurations:

在当前页面找到Listeners然后勾选”Use default reporters”选项，确认：

再次右键运行testng.xml之后，可以看到项目目录自动生成的”test-output”文件夹，点击test-output文件夹下的index.html文件，在浏览器打开，就可以看到TestNG的测试报告了：

参考资料