# 开发自测试执行框架 OpenHarmony为开发者提供了一套全面的开发自测试框架OHA-developer_test,开发者可根据测试需求开发相关测试用例,开发阶段提前发现缺陷,大幅提高代码质量。 本文从基础环境构建,用例开发,编译以及执行等方面介绍OpenHarmony开发自测试执行框架如何运行和使用。 ## 基础环境构建 开发自测试框架依赖于python运行环境,python版本为3.8.X,在使用测试框架之前可参阅以下方式进行配置。 - [环境配置](https://gitee.com/openharmony/docs/blob/master/zh-cn/device-dev/device-test/developer_test.md) - [源码获取](https://gitee.com/openharmony/docs/blob/master/zh-cn/device-dev/get-code/sourcecode-acquire.md) 开发自测试框架依赖于测试调度框架testfwk_xdevice,在使用时两个框架放在同级目录 ## 开发自测试框架目录简介 以下是开发自测试框架的目录层级架构,在使用开发自测试框架过程中可在相应目录查找对应组件。 ``` test # 测试子系统 ├── developer_test # 开发者自测试框架 │ ├── aw # 测试框架的静态库 │ ├── config # 测试框架配置 │ │ │ ... │ │ └── user_config.xml # 用户使用配置 │ ├── examples # 测试用例示例 │ ├── src # 测试框架源码 │ ├── third_party # 测试框架依赖第三方组件适配 │ ├── reports # 测试结果报告 │ ├── BUILD.gn # 测试框架编译入口 │ ├── start.bat # 开发者测试入口(Windows) │ └── start.sh # 开发者测试入口(Linux) └── xdevice # 测试框架依赖组件 ``` ## 功能特性 ### 测试用例 #### 测试用例目录规划 使用测试框架过程中,可根据以下层级关系规划测试用例目录。 ``` subsystem # 子系统 ├── partA # 部件A │ ├── moduleA # 模块A │ │ ├── include │ │ ├── src # 业务代码 │ │ └── test # 测试目录 │ │ ├── unittest # 单元测试 │ │ │ ├── common # 公共用例 │ │ │ │ ├── BUILD.gn # 测试用例编译配置 │ │ │ │ └── testA_test.cpp # 单元测试用例源码 │ │ │ ├── phone # 手机形态用例 │ │ │ ├── ivi # 车机形态用例 │ │ │ └── liteos-a # ipcamera使用liteos内核的用例 │ │ ├── moduletest # 模块测试 │ │ ... │ │ │ ├── moduleB # 模块B │ ├── test │ │ └── resource # 依赖资源 │ │ ├── moduleA # 模块A │ │ │ ├── ohos_test.xml # 资源配置文件 │ │ ... └── 1.txt # 资源 │ │ │ ├── bundle.json # 编译入口配置 │ ... │ ... ``` > **注意:** 测试用例根据不同设备形态差异分为通用用例和非通用用例,建议将通用用例存放在common目录下,非通用用例存放在相应设备形态目录下。 #### 测试用例编写 本测试框架支持多种类型测试,针对不同测试类型提供了不同的用例编写模板以供参考。 **TDD测试(C++)** - 用例源文件命名规范 测试用例源文件名称和测试套内容保持一致,文件命名采用全小写+下划线方式命名,以test结尾,具体格式为:[功能]_[子功能]_test,子功能支持向下细分。 单线程示例: ``` calculator_sub_test.cpp ``` - 用例示例 ``` /* * Copyright (c) 2021 XXXX Device Co., Ltd. * Licensed under the Apache License, Version 2.0 (the "License"); * you may not use this file except in compliance with the License. * You may obtain a copy of the License at * * http://www.apache.org/licenses/LICENSE-2.0 * * Unless required by applicable law or agreed to in writing, software * distributed under the License is distributed on an "AS IS" BASIS, * WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied. * See the License for the specific language governing permissions and * limitations under the License. */ #include "calculator.h" #include using namespace testing::ext; class CalculatorSubTest : public testing::Test { public: static void SetUpTestCase(void); static void TearDownTestCase(void); void SetUp(); void TearDown(); }; void CalculatorSubTest::SetUpTestCase(void) { // input testsuit setup step,setup invoked before all testcases } void CalculatorSubTest::TearDownTestCase(void) { // input testsuit teardown step,teardown invoked after all testcases } void CalculatorSubTest::SetUp(void) { // input testcase setup step,setup invoked before each testcases } void CalculatorSubTest::TearDown(void) { // input testcase teardown step,teardown invoked after each testcases } /** * @tc.name: integer_sub_001 * @tc.desc: Verify the sub function. * @tc.type: FUNC * @tc.require: issueNumber */ HWTEST_F(CalculatorSubTest, integer_sub_001, TestSize.Level1) { // step 1:调用函数获取结果 int actual = Sub(4,0); // Step 2:使用断言比较预期与实际结果 EXPECT_EQ(4, actual); } ``` 详细内容介绍: 1. 添加测试用例文件头注释信息 ``` /* * Copyright (c) 2021 XXXX Device Co., Ltd. * Licensed under the Apache License, Version 2.0 (the "License"); * you may not use this file except in compliance with the License. * You may obtain a copy of the License at * * http://www.apache.org/licenses/LICENSE-2.0 * * Unless required by applicable law or agreed to in writing, software * distributed under the License is distributed on an "AS IS" BASIS, * WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied. * See the License for the specific language governing permissions and * limitations under the License. */ ``` 2. 引用测试框架头文件和命名空间 ``` #include using namespace testing::ext; ``` 3. 添加被测试类的头文件 ``` #include "calculator.h" ``` 4. 定义测试套(测试类) ``` class CalculatorSubTest : public testing::Test { public: static void SetUpTestCase(void); static void TearDownTestCase(void); void SetUp(); void TearDown(); }; void CalculatorSubTest::SetUpTestCase(void) { // input testsuit setup step,setup invoked before all testcases } void CalculatorSubTest::TearDownTestCase(void) { // input testsuit teardown step,teardown invoked after all testcases } void CalculatorSubTest::SetUp(void) { // input testcase setup step,setup invoked before each testcases } void CalculatorSubTest::TearDown(void) { // input testcase teardown step,teardown invoked after each testcases } ``` > **注意:** 在定义测试套时,测试套名称应与编译目标保持一致,采用大驼峰风格。 5. 测试用例实现,包含用例注释和逻辑实现 ``` /** * @tc.name: integer_sub_001 * @tc.desc: Verify the sub function. * @tc.type: FUNC * @tc.require: issueNumber */ HWTEST_F(CalculatorSubTest, integer_sub_001, TestSize.Level1) { //step 1:调用函数获取结果 int actual = Sub(4,0); //Step 2:使用断言比较预期与实际结果 EXPECT_EQ(4, actual); } ``` > **注意:** @tc.require: 格式必须以AR/SR或issue开头: 如:issueI56WJ7 多线程示例: ``` base_object_test.cpp ``` - 多线程用例示例 ``` // 测试用例文件头注释信息及用例注释同单线程用例示例。 #include "base_object.h" #include #include #include using namespace testing::ext; using namespace testing::mt; namespace OHOS { namespace AAFwk { class AAFwkBaseObjectTest : public testing::Test {......} // Step 1:待测函数,返回阶乘结果 int factorial(int n) { int result = 1; for (int i = 1; i <= n; i++) { result *= i; } printf("Factorial Function Result : %d! = %d\n", n, result); return result; } // Step 2:使用断言比较预期与实际结果 void factorial_test() { int ret = factorial(3); // 调用函数获取结果 std::thread::id this_id = std::this_thread::get_id(); std::ostringstream oss; oss << this_id; std::string this_id_str = oss.str(); long int thread_id = atol(this_id_str.c_str()); printf("running thread...: %ld\n", thread_id); // 输出当前线程的id EXPECT_EQ(ret, 6); } HWTEST_F(AAFwkBaseObjectTest, Factorial_test_001, TestSize.Level1) { SET_THREAD_NUM(4); printf("Factorial_test_001 BEGIN\n"); GTEST_RUN_TASK(factorial_test); printf("Factorial_test_001 END\n"); } HWMTEST_F(AAFwkBaseObjectTest, Factorial_test_002, TestSize.Level1, 6) { printf("Factorial_test_002 BEGIN\n"); factorial_test(); printf("Factorial_test_002 END\n"); } } // namespace AAFwk } // namespace OHOS ``` 详细内容介绍: 1. 添加测试用例文件头注释信息 > **注意:** 与单线程用例标准一致。 2. 引用测试框架头文件和命名空间 ``` #include #include #include using namespace testing::ext; using namespace testing::mt; ``` 3. 添加被测试类的头文件 ``` #include "base_object.h" ``` 4. 定义测试套(测试类) ``` class AAFwkBaseObjectTest : public testing::Test {......} ``` > **注意:** 与单线程用例标准一致。 5. 测试用例实现,包含用例注释和逻辑实现 ``` // Step 1:待测函数,返回阶乘结果 int factorial(int n) { int result = 1; for (int i = 1; i <= n; i++) { result *= i; } printf("Factorial Function Result : %d! = %d\n", n, result); return result; } // Step 2:使用断言比较预期与实际结果 void factorial_test() { int ret = factorial(3); // 调用函数获取结果 std::thread::id this_id = std::this_thread::get_id(); std::ostringstream oss; oss << this_id; std::string this_id_str = oss.str(); long int thread_id = atol(this_id_str.c_str()); printf("running thread...: %ld\n", thread_id); // 输出当前线程的id EXPECT_EQ(ret, 6); } // GTEST_RUN_TASK(TestFunction)多线程启动函数,参数为自定义函数。 // 未调用SET_THREAD_NUM()时,默认线程数10个。 HWTEST_F(AAFwkBaseObjectTest, Factorial_test_001, TestSize.Level1) { SET_THREAD_NUM(4); // 设置线程数量,同一测试套中可动态设置线程数。 printf("Factorial_test_001 BEGIN\n"); GTEST_RUN_TASK(factorial_test); // 启动factorial_test任务的多线程执行 printf("Factorial_test_001 END\n"); } // HWMTEST_F(TEST_SUITE, TEST_TC, TEST_LEVEL, THREAD_NUM) // THREAD_NUM可设置用例执行的线程数量。 // HWMTEST_F会创建指定数量的线程并执行被测函数。 HWMTEST_F(AAFwkBaseObjectTest, Factorial_test_002, TestSize.Level1, 6) { printf("Factorial_test_002 BEGIN\n"); factorial_test(); printf("Factorial_test_002 END\n"); } // 新增多线程接口MTEST_ADD_TASK(THREAD_ID,ThreadTestFunc),注册多线程,但不在该用例中执行,之后统一执行,适合多个用例组合场景下的多线程测试。 // THREAD_ID从0开始定义区别不同的线程,也可以使用随机THREAD_ID,即传入RANDOM_THREAD_ID,此场景下THREAD_ID是不会重复的。 // 新增多线程接口MTEST_POST_RUN(),统一执行之前注册的多线程用例。 ``` > **注意:** 用例注释与单线程用例标准一致。 在编写用例时,我们提供了四种用例模板供您选择。 | 类型 | 描述 | | ------------| ------------| | HWTEST(A,B,C)| 用例执行不依赖Setup&Teardown时,可选取| | HWTEST_F(A,B,C)| 用例执行(不含参数)依赖于Setup&Teardown时,可选取| | HWMTEST_F(A,B,C,D)| 多线程用例执行依赖于Setup&Teardown时,可选取| | HWTEST_P(A,B,C)| 用例执行(含参数)依赖于Set&Teardown时,可选取| 其中,参数A,B,C,D的含义如下: - 参数A为测试套名。 - 参数B为测试用例名,其命名必须遵循[功能点]_[编号]的格式,编号为3位数字,从001开始。 - 参数C为测试用例等级,具体分为门禁level0 以及非门禁level1-level4共五个等级,其中非门禁level1-level4等级的具体选取规则为:测试用例功能越重要,level等级越低。 - 参数D为多线程用例执行的线程数量设置。 **注意:** - 测试用例的预期结果必须有对应的断言。 - 测试用例必须填写用例等级。 - 测试体建议按照模板分步实现。 - 用例描述信息按照标准格式@tc.xxx value书写,注释信息必须包含用例名称,用例描述,用例类型,需求编号四项。其中用例测试类型@tc.type参数的选取,可参考下表。 - 如使用HWMTEST_F编写多线程执行用例,必须填线程数量。 | 测试类型名称|类型编码| | ------------|------------| |功能测试 |FUNC| |性能测试 |PERF| |可靠性测试 |RELI| |安全测试 |SECU| |模糊测试 |FUZZ| **TDD测试(JS)** - 用例源文件命名规范 测试用例原文件名称采用大驼峰风格,以TEST结尾,具体格式为:[功能][子功能]TEST,子功能支持向下细分。 示例: ``` AppInfoTest.js ``` - 用例示例 ``` /* * Copyright (C) 2021 XXXX Device Co., Ltd. * Licensed under the Apache License, Version 2.0 (the "License"); * you may not use this file except in compliance with the License. * You may obtain a copy of the License at * * http://www.apache.org/licenses/LICENSE-2.0 * * Unless required by applicable law or agreed to in writing, software * distributed under the License is distributed on an "AS IS" BASIS, * WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied. * See the License for the specific language governing permissions and * limitations under the License. */ import app from '@system.app' import {describe, beforeAll, beforeEach, afterEach, afterAll, it, expect} from 'deccjsunit/index' describe("AppInfoTest", function () { beforeAll(function() { // input testsuit setup step,setup invoked before all testcases console.info('beforeAll caled') }) afterAll(function() { // input testsuit teardown step,teardown invoked after all testcases console.info('afterAll caled') }) beforeEach(function() { // input testcase setup step,setup invoked before each testcases console.info('beforeEach caled') }) afterEach(function() { // input testcase teardown step,teardown invoked after each testcases console.info('afterEach caled') }) /* * @tc.name:appInfoTest001 * @tc.desc:verify app info is not null * @tc.type: FUNC * @tc.require: issueNumber */ it("appInfoTest001", 0, function () { //step 1:调用函数获取结果 var info = app.getInfo() //Step 2:使用断言比较预期与实际结果 expect(info != null).assertEqual(true) }) }) ``` 详细内容介绍: 1. 添加测试用例文件头注释信息 ``` /* * Copyright (C) 2021 XXXX Device Co., Ltd. * Licensed under the Apache License, Version 2.0 (the "License"); * you may not use this file except in compliance with the License. * You may obtain a copy of the License at * * http://www.apache.org/licenses/LICENSE-2.0 * * Unless required by applicable law or agreed to in writing, software * distributed under the License is distributed on an "AS IS" BASIS, * WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied. * See the License for the specific language governing permissions and * limitations under the License. */ ``` 2. 导入被测api和jsunit测试库 ``` import app from '@system.app' import {describe, beforeAll, beforeEach, afterEach, afterAll, it, expect} from 'deccjsunit/index' ``` 3. 定义测试套(测试类) ``` describe("AppInfoTest", function () { beforeAll(function() { // input testsuit setup step,setup invoked before all testcases console.info('beforeAll caled') }) afterAll(function() { // input testsuit teardown step,teardown invoked after all testcases console.info('afterAll caled') }) beforeEach(function() { // input testcase setup step,setup invoked before each testcases console.info('beforeEach caled') }) afterEach(function() { // input testcase teardown step,teardown invoked after each testcases console.info('afterEach caled') }) ``` 4. 测试用例实现 ``` /* * @tc.name:appInfoTest001 * @tc.desc:verify app info is not null * @tc.type: FUNC * @tc.require: issueNumber */ it("appInfoTest001", 0, function () { //step 1:调用函数获取结果 var info = app.getInfo() //Step 2:使用断言比较预期与实际结果 expect(info != null).assertEqual(true) }) ``` > **注意:** @tc.require: 格式必须以AR/SR或issue开头: 如:issueI56WJ7 **Fuzz测试** [Fuzz用例编写规范](https://gitee.com/openharmony/testfwk_developer_test/blob/master/libs/fuzzlib/README_zh.md) **Benchmark测试** [Benchmark用例编写规范](https://gitee.com/openharmony/testfwk_developer_test/blob/master/libs/benchmark/README_zh.md) #### 测试用例编译文件编写 根据测试用例目录规划,当执行某一用例时,测试框架会根据编译文件逐层查找,最终找到所需用例进行编译。下面通过不同示例来讲解gn文件如何编写。 **TDD测试** 针对不同语言,下面提供不同的编译模板以供参考。 - **C++用例编译配置示例** ``` # Copyright (c) 2021 XXXX Device Co., Ltd. import("//build/test.gni") module_output_path = "developer_test/calculator" config("module_private_config") { visibility = [ ":*" ] include_dirs = [ "../../../include" ] } ohos_unittest("CalculatorSubTest") { module_out_path = module_output_path sources = [ "../../../include/calculator.h", "../../../src/calculator.cpp", ] sources += [ "calculator_sub_test.cpp" ] configs = [ ":module_private_config" ] deps = [ "//third_party/googletest:gtest_main" ] } group("unittest") { testonly = true deps = [":CalculatorSubTest"] } ``` 详细内容如下: 1. 添加文件头注释信息 ``` # Copyright (c) 2021 XXXX Device Co., Ltd. ``` 2. 导入编译模板文件 ``` import("//build/test.gni") ``` 3. 指定文件输出路径 ``` module_output_path = "developer_test/calculator" ``` > **说明:** 此处输出路径为部件/模块名。 4. 配置依赖包含目录 ``` config("module_private_config") { visibility = [ ":*" ] include_dirs = [ "../../../include" ] } ``` > **说明:** 一般在此处对相关配置进行设置,在测试用例编译脚本中可直接引用。 5. 指定测试用例编译目标输出的文件名称 ``` ohos_unittest("CalculatorSubTest") { } ``` 6. 编写具体的测试用例编译脚本(添加需要参与编译的源文件、配置和依赖) ``` ohos_unittest("CalculatorSubTest") { module_out_path = module_output_path sources = [ "../../../include/calculator.h", "../../../src/calculator.cpp", "../../../test/calculator_sub_test.cpp" ] sources += [ "calculator_sub_test.cpp" ] configs = [ ":module_private_config" ] deps = [ "//third_party/googletest:gtest_main" ] } ``` > **说明:根据测试类型的不同,在具体编写过程中可选择不同的测试类型:** > - ohos_unittest:单元测试 > - ohos_js_unittest: FA模型js用例单元测试 > - ohos_js_stage_unittest: stage模型ets用例单元测试 > - ohos_moduletest:模块测试 > - ohos_systemtest:系统测试 > - ohos_performancetest:性能测试 > - ohos_securitytest:安全测试 > - ohos_reliabilitytest:可靠性测试 > - ohos_distributedtest:分布式测试 7. 对目标测试用例文件进行条件分组 ``` group("unittest") { testonly = true deps = [":CalculatorSubTest"] } ``` > **说明:** 进行条件分组的目的在于执行用例时可以选择性的执行某一种特定类型的用例。 - ** FA模型JavaScript用例编译配置示例** ``` # Copyright (C) 2021 XXXX Device Co., Ltd. import("//build/test.gni") module_output_path = "developer_test/app_info" ohos_js_unittest("GetAppInfoJsTest") { module_out_path = module_output_path hap_profile = "./config.json" certificate_profile = "//test/developer_test/signature/openharmony_sx.p7b" } group("unittest") { testonly = true deps = [ ":GetAppInfoJsTest" ] } ``` 详细内容如下: 1. 添加文件头注释信息 ``` # Copyright (C) 2021 XXXX Device Co., Ltd. ``` 2. 导入编译模板文件 ``` import("//build/test.gni") ``` 3. 指定文件输出路径 ``` module_output_path = "developer_test/app_info" ``` > **说明:** 此处输出路径为部件/模块名。 4. 指定测试用例编译目标输出的文件名称 ``` ohos_js_unittest("GetAppInfoJsTest") { } ``` > **说明:** >- 使用模板ohos_js_unittest定义js测试套,注意与C++用例区分。 >- js测试套编译输出文件为hap类型,hap名为此处定义的测试套名,测试套名称必须以JsTest结尾。 5. 指定hap包配置文件config.json和签名文件,两个配置为必选项 ``` ohos_js_unittest("GetAppInfoJsTest") { module_out_path = module_output_path hap_profile = "./config.json" certificate_profile = "//test/developer_test/signature/openharmony_sx.p7b" } ``` config.json为hap编译所需配置文件,需要开发者根据被测sdk版本配置“target”项,其余项可默认,具体如下所示: ``` { "app": { "bundleName": "com.example.myapplication", "vendor": "example", "version": { "code": 1, "name": "1.0" }, "apiVersion": { "compatible": 4, "target": 5 // 根据被测sdk版本进行修改,此例为sdk5 } }, "deviceConfig": {}, "module": { "package": "com.example.myapplication", "name": ".MyApplication", "deviceType": [ "phone" ], "distro": { "deliveryWithInstall": true, "moduleName": "entry", "moduleType": "entry" }, "abilities": [ { "skills": [ { "entities": [ "entity.system.home" ], "actions": [ "action.system.home" ] } ], "name": "com.example.myapplication.MainAbility", "icon": "$media:icon", "description": "$string:mainability_description", "label": "MyApplication", "type": "page", "launchType": "standard" } ], "js": [ { "pages": [ "pages/index/index" ], "name": "default", "window": { "designWidth": 720, "autoDesignWidth": false } } ] } } ``` 6. 对目标测试用例文件进行条件分组 ``` group("unittest") { testonly = true deps = [ ":GetAppInfoJsTest" ] } ``` > **说明:** 进行条件分组的目的在于执行用例时可以选择性的执行某一种特定类型的用例。 - ** stage模型ets用例编译配置示例** ``` # Copyright (C) 2022 XXXX Device Co., Ltd. import("//build/test.gni") want_output_path = "developer_test/stage_test" ohos_js_stage_unittest("ActsBundleMgrStageEtsTest") { hap_profile = "entry/src/main/module.json" deps = [ ":actbmsstageetstest_js_assets", ":actbmsstageetstest_resources", ] ets2abc = true certificate_profile = "signature/openharmony_sx.p7b" hap_name = "ActsBundleMgrStageEtsTest" subsystem_name = "developer_test" part_name = "stage_test" // 部件名称 module_out_path = want_output_path // 必须定义输出路径 } ohos_app_scope("actbmsstageetstest_app_profile") { app_profile = "AppScope/app.json" sources = [ "AppScope/resources" ] } ohos_js_assets("actbmsstageetstest_js_assets") { source_dir = "entry/src/main/ets" } ohos_resources("actbmsstageetstest_resources") { sources = [ "entry/src/main/resources" ] deps = [ ":actbmsstageetstest_app_profile" ] hap_profile = "entry/src/main/module.json" } group("unittest") { testonly = true deps = [] deps += [ ":ActsBundleMgrStageEtsTest" ] } ``` > **说明:** 进行条件分组的目的在于执行用例时可以选择性的执行某一种特定类型的用例。 **编译入口配置文件bundle.json** 当完成用例编译配置文件编写后,需要进一步编写部件编译配置文件,以关联到具体的测试用例。 ``` "build": { "sub_component": [ "//test/testfwk/developer_test/examples/app_info:app_info", "//test/testfwk/developer_test/examples/detector:detector", "//test/testfwk/developer_test/examples/calculator:calculator" ], "inner_list": [ { "header": { "header_base": "////test/testfwk/developer_test/examples/detector/include", "header_files": [ "detector.h" ] }, "name": "//test/testfwk/developer_test/examples/detector:detector" } ], "test": [ //配置模块calculator下的test "//test/testfwk/developer_test/examples/app_info/test:unittest", "//test/testfwk/developer_test/examples/calculator/test:unittest", "//test/testfwk/developer_test/examples/calculator/test:fuzztest" } ``` > **说明:** test_list中配置的是对应模块的测试用例。 #### 测试用例资源配置 测试依赖资源主要包括测试用例在执行过程中需要的图片文件,视频文件、第三方库等对外的文件资源,目前只支持静态资源的配置。 依赖资源文件配置步骤如下: 1. 在部件的test目录下创建resource目录,在resource目录下创建对应的模块,在模块目录中存放该模块所需要的资源文件 2. 在resource目录下对应的模块目录中创建一个ohos_test.xml文件,文件内容格式如下: ``` ``` >**说明:**若某些push上去的二进制文件需要增量生成数据字典,则新增一行: ```