README.md
1# Developers Test<a name="EN-US_TOPIC_0000001122338419"></a>
2
3- [Overview](#section7375710115617)
4- [Directory Structure](#section102031353175317)
5- [Constraints](#section87444710110)
6- [Installation](#section1347156474)
7- [Using Test Framework](#section75882026185016)
8- [Test Result and Log](#section414715805819)
9- [Repositories Involved](#section6299103515474)
10
11## Overview<a name="section7375710115617"></a>
12
13This module allows you to develop new test cases for new features, or modify existing test cases for modified features. The developers test framework helps you develop high-quality code.
14
15## Directory Structure<a name="section102031353175317"></a>
16
17```
18developer_test/
19├── aw # Static libraries of the test framework
20│ ├── cxx # C++ libraries
21│ └── python # Python libraries
22├── config # Test framework configuration
23│ ├── build_config.xml # Test case build configuration
24│ ├── filter_config.xml # Test case filter configuration
25│ ├── framework_config.xml # Test type configuration
26│ └── user_config.xml # User configuration
27├── examples # Test case examples
28│ ├── calculator # Calculator
29│ └── test # Test resources
30├── src # Source code of the test framework
31│ ├── main # Entry function
32│ └── core # Core code of the test framework
33├── third_party # Adaptation code for third-party components on which the test framework relies
34│ └── lib # Compilation configuration of the static library
35├── BUILD.gn # Compilation entry of the test framework
36├── start.bat # Developers test entry for Windows
37└── start.sh # Developers test entry for Linux
38```
39
40## Constraints<a name="section87444710110"></a>
41
42The test tool environment must meet the following requirements:
43
441. Python version: 3.7.5 or later
452. Paramiko version: 2.7.1 or later
463. Setuptools version: 40.8.0 or later
474. RSA version: 4.0 or later
485. NFS version: V4 or later \(required when device supports connection using the serial port but not the hdc\)
496. pySerial version: 3.3 or later \(required when the device supports connection using the serial port but not the hdc\)
507. OS version: Windows 10 or later; Ubuntu 18.04
51
52## Installation<a name="section1347156474"></a>
53
54The Python environment is required.
55
561. Run the following command to install the Linux extension component Readline:
57
58 ```
59 sudo apt-get install libreadline-dev
60 ```
61
62 ```
63 Reading package lists... Done
64 Building dependency tree
65 Reading state information... Done
66 libreadline-dev is already the newest version (7.0-3).
67 0 upgraded, 0 newly installed, 0 to remove and 11 not upgraded.
68 ```
69
702. Run the following command to install the plug-in Setuptools:
71
72 ```
73 pip3 install setuptools
74 ```
75
76 If the installation is successful, the following prompts are displayed:
77
78 ```
79 Requirement already satisfied: setuptools in d:\programs\python37\lib\site-packages (41.2.0)
80 ```
81
823. Run the following command to install the plug-in Paramiko:
83
84 ```
85 pip3 install paramiko
86 ```
87
88 If the installation is successful, the following prompts are displayed:
89
90 ```
91 Installing collected packages: pycparser, cffi, pynacl, bcrypt, cryptography, paramiko
92 Successfully installed bcrypt-3.2.0 cffi-1.14.4 cryptography-3.3.1 paramiko-2.7.2 pycparser-2.20 pynacl-1.4.0
93 ```
94
954. Run the following command to install the Python plug-in RSA:
96
97 ```
98 pip3 install rsa
99 ```
100
101 If the installation is successful, the following prompts are displayed:
102
103 ```
104 Installing collected packages: pyasn1, rsa
105 Successfully installed pyasn1-0.4.8 rsa-4.7
106 ```
107
1085. Run the following command to install the serial port plug-in pySerial for Python on the local PC:
109
110 ```
111 pip3 install pyserial
112 ```
113
114 If the installation is successful, the following prompts are displayed:
115
116 ```
117 Requirement already satisfied: pyserial in d:\programs\python37\lib\site-packages\pyserial-3.4-py3.7.egg (3.4)
118 ```
119
1206. If the device supports test result output only using the serial port, install the NFS server.
121
122 For example, to install haneWIN NFS Server 1.2.50 for Windows, download the installation package from https://www.hanewin.net/nfs-e.htm.
123
124 For Linux, run the following command:
125
126 ```
127 sudo apt install nfs-kernel-server
128 ```
129
130 If the installation is successful, the following prompts are displayed:
131
132 ```
133 Reading package lists... Done
134 Building dependency tree
135 Reading state information... Done
136 nfs-kernel-server is already the newest version (1:1.3.4-2.1ubuntu5.3).
137 0 upgraded, 0 newly installed, 0 to remove and 11 not upgraded.
138 ```
139
140
141## Using Test Framework<a name="section75882026185016"></a>
142
143- \(Optional\) Install the XDevice module.
144 1. Go to the XDevice installation directory **test/xdevice**.
145 2. Open the console and run the following command:
146
147 ```
148 python setup.py install
149 ```
150
151 If the installation is successful, the following prompts are displayed:
152
153 ```
154 Installed d:\programs\python37\lib\site-packages\xdevice-0.0.0-py3.7.egg
155 Processing dependencies for xdevice==0.0.0
156 Finished processing dependencies for xdevice==0.0.0
157 ```
158
159
160- Configure the developers test module in the configuration file **developer_test/config/user\_config.xml**.
161 1. Modify basic configuration parameters of the test framework.
162
163 \[build\] \# Configure build parameters of the test case.
164
165 ```
166 <build>
167 <example>false</example>
168 <version>false</version>
169 <testcase>true</testcase>
170 ...
171 </build>
172 ```
173
174 > **NOTE:**
175 >**example**: whether to build the test case example. The default value is **false**.
176 >**version**: whether to build the test version. The default value is **false**.
177 >**testcase**: whether to build the test case. The default value is **true**.
178
179 2. For devices that support the Harmony device connector \(hdc\), modify the configuration file as follows:
180
181 \[device\] \# Configure the device information with the **"usb-hdc"** attribute, including the test device IP address and the matched hdc port.
182
183 ```
184 <device type="usb-hdc">
185 <ip>192.168.1.1</ip>
186 <port>9111</port>
187 <sn></sn>
188 </device>
189 ```
190
191 3. For devices that only support the serial port connection, modify the configuration file as follows:
192
193 \[device\] \# Configure the serial port information with the **"ipcamera"** attribute, including the COM port and baud rate.
194
195 ```
196 <device type="com" label="ipcamera">
197 <serial>
198 <com>COM1</com>
199 <type>cmd</type>
200 <baud_rate>115200</baud_rate>
201 <data_bits>8</data_bits>
202 <stop_bits>1</stop_bits>
203 <timeout>1</timeout>
204 </serial>
205 </device>
206 ```
207
208
209- \(Optional\) Modify the configuration file **config/user\_config.xml** of the **developer_test** module. If a test case has been compiled, specify the compilation output directory of the test case. In this case, the test platform will not recompile the test case.
210 1. Specify the output directory of the test case, that is, the compilation output directory between the **<test\_cases\>** tags.
211
212 ```
213 <test_cases>
214 <dir>/home/opencode/out/release/tests</dir>
215 </test_cases>
216 ```
217
218 2. For devices that only support serial port connection, specify the NFS directory on the PC \(**host\_dir**\) and the corresponding directory on the board \(**board\_dir**\) between the **<NFS\>** tags. For example:
219
220 ```
221 <NFS>
222 <host_dir>D:\nfs</host_dir>
223 <board_dir>user</board_dir>
224 </NFS>
225 ```
226
227
228- Prepare the test environment. \(Check that the test environment is ready if the tested device only supports serial port connection.\)
229 - The system image and file system have been burnt into a development board and are running properly on the development board. For example, in system mode, device prompt **OHOS\#** is displayed during shell login, indicating that the system is running properly.
230 - The development host has been connected to the serial port of the development board and the network port.
231 - The IP addresses of the development host and development board are in the same network segment and can ping each other.
232 - An empty directory is created on the development host for mounting test cases through the NFS, and the NFS service is started properly.
233
234- Run test suites.
235 - Start the test framework and go to the **test/developer_test** directory.
236 1. Run the following command to start the test framework in Windows.
237
238 ```
239 start.bat
240 ```
241
242 2. Run the following command to start the test framework in Linux.
243
244 ```
245 ./strat.sh
246 ```
247
248
249 - Select a device form.
250
251 Configure device forms based on the actual development board, for example, **developer_test/config/framework\_config.xml**.
252
253 - Run test commands.
254 1. To query the subsystems, modules, product forms, and test types supported by test cases, run the **show** commands.
255
256 ```
257 usage:
258 show productlist Querying Supported Product Forms
259 show typelist Querying the Supported Test Type
260 show subsystemlist Querying Supported Subsystems
261 show modulelist Querying Supported Modules
262 ```
263
264 2. Run the execution command, where **-t** is mandatory, and **-ss** and **-tm** are optional.
265
266 ```
267 run -t ut -ss test -tm example
268 ```
269
270 3. Specify the parameters that can be used to execute the test suite corresponding to a specific feature or module.
271
272 ```
273 usage: run [-h] [-p PRODUCTFORM] [-t [TESTTYPE [TESTTYPE ...]]]
274 [-ss SUBSYSTEM] [-tm TESTMODULE] [-ts TESTSUIT]
275 [-tc TESTCASE] [-tl TESTLEVEL]
276
277 optional arguments:
278 -h, --help show this help message and exit
279 -p PRODUCTFORM, --productform PRODUCTFORM Specified product form
280 -t [TESTTYPE [TESTTYPE ...]], --testtype [TESTTYPE [TESTTYPE ...]]
281 Specify test type(UT,MST,ST,PERF,ALL)
282 -ss SUBSYSTEM, --subsystem SUBSYSTEM Specify test subsystem
283 -tm TESTMODULE, --testmodule TESTMODULE Specified test module
284 -ts TESTSUIT, --testsuite TESTSUIT Specify test suite
285 -tc TESTCASE, --testcase TESTCASE Specify test case
286 -tl TESTLEVEL, --testlevel TESTLEVEL Specify test level
287 ```
288
289
290
291- See the test framework help if needed.
292 - Run the following command to query commands supported by the test platform:
293
294 ```
295 help
296 ```
297
298
299
300- Exit the self-test platform.
301 - Run the following command to exit the test platform:
302
303 ```
304 quit
305 ```
306
307
308
309## Test Result and Log<a name="section414715805819"></a>
310
311- Test logs and test reports are generated after you execute the test commands.
312- Test result
313 - Reports are displayed on the console. The root path of the test result is as follows:
314
315 ```
316 reports/xxxx-xx-xx-xx-xx-xx
317 ```
318
319 - Test case formatting result
320
321 ```
322 result/
323 ```
324
325 - Test case log
326
327 ```
328 log/plan_log_xxxx-xx-xx-xx-xx-xx.log
329 ```
330
331 - Report summary
332
333 ```
334 summary_report.html
335 ```
336
337 - Test report details
338
339 ```
340 details_report.html
341 ```
342
343
344- Test framework log
345
346 ```
347 reports/platform_log_xxxx-xx-xx-xx-xx-xx.log
348 ```
349
350- Latest test reports
351
352 ```
353 reports/latest
354 ```
355
356
357## Repositories Involved<a name="section6299103515474"></a>
358
359[testing subsystem](https://gitee.com/openharmony/docs/blob/master/en/readme/test.md)
360
361**test\_developer_test**
362
363[test\_xdevice](https://gitee.com/openharmony/testfwk_xdevice/blob/master/README_zh.md)
364
README_zh.md
1# 开发自测试执行框架
2OpenHarmony为开发者提供了一套全面的开发自测试框架OHA-developer_test，开发者可根据测试需求开发相关测试用例，开发阶段提前发现缺陷，大幅提高代码质量。
3
4本文从基础环境构建，用例开发，编译以及执行等方面介绍OpenHarmony开发自测试执行框架如何运行和使用。
5## 基础环境构建
6开发自测试框架依赖于python运行环境,python版本为3.8.X,在使用测试框架之前可参阅以下方式进行配置。
7 - [环境配置](https://gitee.com/openharmony/docs/blob/master/zh-cn/device-dev/device-test/developer_test.md)
8 - [源码获取](https://gitee.com/openharmony/docs/blob/master/zh-cn/device-dev/get-code/sourcecode-acquire.md)
9
10开发自测试框架依赖于测试调度框架testfwk_xdevice，在使用时两个框架放在同级目录
11
12## 开发自测试框架目录简介
13以下是开发自测试框架的目录层级架构，在使用开发自测试框架过程中可在相应目录查找对应组件。
14```
15test # 测试子系统
16├── developer_test # 开发者自测试框架
17│ ├── aw # 测试框架的静态库
18│ ├── config # 测试框架配置
19│ │ │ ...
20│ │ └── user_config.xml # 用户使用配置
21│ ├── examples # 测试用例示例
22│ ├── src # 测试框架源码
23│ ├── third_party # 测试框架依赖第三方组件适配
24│ ├── reports # 测试结果报告
25│ ├── BUILD.gn # 测试框架编译入口
26│ ├── start.bat # 开发者测试入口（Windows）
27│ └── start.sh # 开发者测试入口（Linux）
28└── xdevice # 测试框架依赖组件
29```
30## 功能特性
31
32### 测试用例
33
34#### 测试用例目录规划
35使用测试框架过程中，可根据以下层级关系规划测试用例目录。
36
37```
38subsystem # 子系统
39├── partA # 部件A
40│ ├── moduleA # 模块A
41│ │ ├── include
42│ │ ├── src # 业务代码
43│ │ └── test # 测试目录
44│ │ ├── unittest # 单元测试
45│ │ │ ├── common # 公共用例
46│ │ │ │ ├── BUILD.gn # 测试用例编译配置
47│ │ │ │ └── testA_test.cpp # 单元测试用例源码
48│ │ │ ├── phone # 手机形态用例
49│ │ │ ├── ivi # 车机形态用例
50│ │ │ └── liteos-a # ipcamera使用liteos内核的用例
51│ │ ├── moduletest # 模块测试
52│ │ ...
53│ │
54│ ├── moduleB # 模块B
55│ ├── test
56│ │ └── resource # 依赖资源
57│ │ ├── moduleA # 模块A
58│ │ │ ├── ohos_test.xml # 资源配置文件
59│ │ ... └── 1.txt # 资源
60│ │
61│ ├── bundle.json # 编译入口配置
62│ ...
63│
64...
65```
66> **注意：** 测试用例根据不同设备形态差异分为通用用例和非通用用例，建议将通用用例存放在common目录下，非通用用例存放在相应设备形态目录下。
67
68#### 测试用例编写
69本测试框架支持多种类型测试，针对不同测试类型提供了不同的用例编写模板以供参考。
70
71**TDD测试（C++）**
72
73- 用例源文件命名规范
74
75 测试用例源文件名称和测试套内容保持一致，文件命名采用全小写+下划线方式命名，以test结尾，具体格式为：[功能]_[子功能]_test，子功能支持向下细分。
76
77单线程示例：
78 ```
79 calculator_sub_test.cpp
80 ```
81
82- 用例示例
83 ```
84 /*
85 * Copyright (c) 2021 XXXX Device Co., Ltd.
86 * Licensed under the Apache License, Version 2.0 (the "License");
87 * you may not use this file except in compliance with the License.
88 * You may obtain a copy of the License at
89 *
90 * http://www.apache.org/licenses/LICENSE-2.0
91 *
92 * Unless required by applicable law or agreed to in writing, software
93 * distributed under the License is distributed on an "AS IS" BASIS,
94 * WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.
95 * See the License for the specific language governing permissions and
96 * limitations under the License.
97 */
98
99 #include "calculator.h"
100 #include <gtest/gtest.h>
101
102 using namespace testing::ext;
103
104 class CalculatorSubTest : public testing::Test {
105 public:
106 static void SetUpTestCase(void);
107 static void TearDownTestCase(void);
108 void SetUp();
109 void TearDown();
110 };
111
112 void CalculatorSubTest::SetUpTestCase(void)
113 {
114 // input testsuit setup step，setup invoked before all testcases
115 }
116
117 void CalculatorSubTest::TearDownTestCase(void)
118 {
119 // input testsuit teardown step，teardown invoked after all testcases
120 }
121
122 void CalculatorSubTest::SetUp(void)
123 {
124 // input testcase setup step，setup invoked before each testcases
125 }
126
127 void CalculatorSubTest::TearDown(void)
128 {
129 // input testcase teardown step，teardown invoked after each testcases
130 }
131
132 /**
133 * @tc.name: integer_sub_001
134 * @tc.desc: Verify the sub function.
135 * @tc.type: FUNC
136 * @tc.require: issueNumber
137 */
138 HWTEST_F(CalculatorSubTest, integer_sub_001, TestSize.Level1)
139 {
140 // step 1:调用函数获取结果
141 int actual = Sub(4，0)；
142
143 // Step 2:使用断言比较预期与实际结果
144 EXPECT_EQ(4, actual);
145 }
146 ```
147 详细内容介绍：
148 1. 添加测试用例文件头注释信息
149 ```
150 /*
151 * Copyright (c) 2021 XXXX Device Co., Ltd.
152 * Licensed under the Apache License, Version 2.0 (the "License");
153 * you may not use this file except in compliance with the License.
154 * You may obtain a copy of the License at
155 *
156 * http://www.apache.org/licenses/LICENSE-2.0
157 *
158 * Unless required by applicable law or agreed to in writing, software
159 * distributed under the License is distributed on an "AS IS" BASIS,
160 * WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.
161 * See the License for the specific language governing permissions and
162 * limitations under the License.
163 */
164 ```
165 2. 引用测试框架头文件和命名空间
166 ```
167 #include <gtest/gtest.h>
168
169 using namespace testing::ext;
170 ```
171 3. 添加被测试类的头文件
172 ```
173 #include "calculator.h"
174 ```
175 4. 定义测试套（测试类）
176 ```
177 class CalculatorSubTest : public testing::Test {
178 public:
179 static void SetUpTestCase(void);
180 static void TearDownTestCase(void);
181 void SetUp();
182 void TearDown();
183 };
184
185 void CalculatorSubTest::SetUpTestCase(void)
186 {
187 // input testsuit setup step，setup invoked before all testcases
188 }
189
190 void CalculatorSubTest::TearDownTestCase(void)
191 {
192 // input testsuit teardown step，teardown invoked after all testcases
193 }
194
195 void CalculatorSubTest::SetUp(void)
196 {
197 // input testcase setup step，setup invoked before each testcases
198 }
199
200 void CalculatorSubTest::TearDown(void)
201 {
202 // input testcase teardown step，teardown invoked after each testcases
203 }
204 ```
205 > **注意：** 在定义测试套时，测试套名称应与编译目标保持一致，采用大驼峰风格。
206
207 5. 测试用例实现，包含用例注释和逻辑实现
208 ```
209 /**
210 * @tc.name: integer_sub_001
211 * @tc.desc: Verify the sub function.
212 * @tc.type: FUNC
213 * @tc.require: issueNumber
214 */
215 HWTEST_F(CalculatorSubTest, integer_sub_001, TestSize.Level1)
216 {
217 //step 1:调用函数获取结果
218 int actual = Sub(4，0)；
219
220 //Step 2:使用断言比较预期与实际结果
221 EXPECT_EQ(4, actual);
222 }
223 ```
224 > **注意：** @tc.require: 格式必须以AR/SR或issue开头： 如：issueI56WJ7
225
226多线程示例：
227 ```
228 base_object_test.cpp
229 ```
230
231- 多线程用例示例
232 ```
233 // 测试用例文件头注释信息及用例注释同单线程用例示例。
234
235 #include "base_object.h"
236 #include <gtest/gtest.h>
237 #include <gtest/hwext/gtest-multithread.h>
238 #include <unistd.h>
239
240 using namespace testing::ext;
241 using namespace testing::mt;
242
243 namespace OHOS {
244 namespace AAFwk {
245 class AAFwkBaseObjectTest : public testing::Test {......}
246
247 // Step 1:待测函数，返回阶乘结果
248 int factorial(int n)
249 {
250 int result = 1;
251 for (int i = 1; i <= n; i++) {
252 result *= i;
253 }
254 printf("Factorial Function Result : %d! = %d\n", n, result);
255 return result;
256 }
257
258 // Step 2:使用断言比较预期与实际结果
259 void factorial_test()
260 {
261 int ret = factorial(3); // 调用函数获取结果
262 std::thread::id this_id = std::this_thread::get_id();
263 std::ostringstream oss;
264 oss << this_id;
265 std::string this_id_str = oss.str();
266 long int thread_id = atol(this_id_str.c_str());
267 printf("running thread...: %ld\n", thread_id); // 输出当前线程的id
268 EXPECT_EQ(ret, 6);
269 }
270
271 HWTEST_F(AAFwkBaseObjectTest, Factorial_test_001, TestSize.Level1)
272 {
273 SET_THREAD_NUM(4);
274 printf("Factorial_test_001 BEGIN\n");
275 GTEST_RUN_TASK(factorial_test);
276 printf("Factorial_test_001 END\n");
277 }
278
279 HWMTEST_F(AAFwkBaseObjectTest, Factorial_test_002, TestSize.Level1, 6)
280 {
281 printf("Factorial_test_002 BEGIN\n");
282 factorial_test();
283 printf("Factorial_test_002 END\n");
284 }
285
286 } // namespace AAFwk
287 } // namespace OHOS
288
289 ```
290 详细内容介绍：
291 1. 添加测试用例文件头注释信息
292
293 > **注意：** 与单线程用例标准一致。
294
295 2. 引用测试框架头文件和命名空间
296 ```
297 #include <gtest/gtest.h>
298 #include <gtest/hwext/gtest-multithread.h>
299 #include <unistd.h>
300 using namespace testing::ext;
301 using namespace testing::mt;
302 ```
303 3. 添加被测试类的头文件
304 ```
305 #include "base_object.h"
306 ```
307 4. 定义测试套（测试类）
308 ```
309 class AAFwkBaseObjectTest : public testing::Test {......}
310
311 ```
312 > **注意：** 与单线程用例标准一致。
313
314 5. 测试用例实现，包含用例注释和逻辑实现
315
316 ```
317 // Step 1:待测函数，返回阶乘结果
318 int factorial(int n)
319 {
320 int result = 1;
321 for (int i = 1; i <= n; i++) {
322 result *= i;
323 }
324 printf("Factorial Function Result : %d! = %d\n", n, result);
325 return result;
326 }
327
328 // Step 2:使用断言比较预期与实际结果
329 void factorial_test()
330 {
331 int ret = factorial(3); // 调用函数获取结果
332 std::thread::id this_id = std::this_thread::get_id();
333 std::ostringstream oss;
334 oss << this_id;
335 std::string this_id_str = oss.str();
336 long int thread_id = atol(this_id_str.c_str());
337 printf("running thread...: %ld\n", thread_id); // 输出当前线程的id
338 EXPECT_EQ(ret, 6);
339 }
340
341 // GTEST_RUN_TASK(TestFunction)多线程启动函数，参数为自定义函数。
342 // 未调用SET_THREAD_NUM()时，默认线程数10个。
343 HWTEST_F(AAFwkBaseObjectTest, Factorial_test_001, TestSize.Level1)
344 {
345 SET_THREAD_NUM(4); // 设置线程数量，同一测试套中可动态设置线程数。
346 printf("Factorial_test_001 BEGIN\n");
347 GTEST_RUN_TASK(factorial_test); // 启动factorial_test任务的多线程执行
348 printf("Factorial_test_001 END\n");
349 }
350
351 // HWMTEST_F(TEST_SUITE, TEST_TC, TEST_LEVEL, THREAD_NUM)
352 // THREAD_NUM可设置用例执行的线程数量。
353 // HWMTEST_F会创建指定数量的线程并执行被测函数。
354 HWMTEST_F(AAFwkBaseObjectTest, Factorial_test_002, TestSize.Level1, 6)
355 {
356 printf("Factorial_test_002 BEGIN\n");
357 factorial_test();
358 printf("Factorial_test_002 END\n");
359 }
360 // 新增多线程接口MTEST_ADD_TASK(THREAD_ID,ThreadTestFunc),注册多线程，但不在该用例中执行，之后统一执行，适合多个用例组合场景下的多线程测试。
361 // THREAD_ID从0开始定义区别不同的线程，也可以使用随机THREAD_ID，即传入RANDOM_THREAD_ID,此场景下THREAD_ID是不会重复的。
362 // 新增多线程接口MTEST_POST_RUN(),统一执行之前注册的多线程用例。
363 ```
364 > **注意：** 用例注释与单线程用例标准一致。
365
366 在编写用例时，我们提供了四种用例模板供您选择。
367
368 | 类型 | 描述 |
369 | ------------| ------------|
370 | HWTEST(A,B,C)| 用例执行不依赖Setup&Teardown时，可选取|
371 | HWTEST_F(A,B,C)| 用例执行(不含参数)依赖于Setup&Teardown时，可选取|
372 | HWMTEST_F(A,B,C,D)| 多线程用例执行依赖于Setup&Teardown时，可选取|
373 | HWTEST_P(A,B,C)| 用例执行(含参数)依赖于Set&Teardown时，可选取|
374
375 其中，参数A，B，C，D的含义如下：
376 - 参数A为测试套名。
377 - 参数B为测试用例名，其命名必须遵循[功能点]_[编号]的格式，编号为3位数字，从001开始。
378 - 参数C为测试用例等级，具体分为门禁level0 以及非门禁level1-level4共五个等级，其中非门禁level1-level4等级的具体选取规则为：测试用例功能越重要，level等级越低。
379 - 参数D为多线程用例执行的线程数量设置。
380
381 **注意：**
382 - 测试用例的预期结果必须有对应的断言。
383 - 测试用例必须填写用例等级。
384 - 测试体建议按照模板分步实现。
385 - 用例描述信息按照标准格式@tc.xxx value书写，注释信息必须包含用例名称，用例描述，用例类型，需求编号四项。其中用例测试类型@tc.type参数的选取，可参考下表。
386 - 如使用HWMTEST_F编写多线程执行用例，必须填线程数量。
387 | 测试类型名称|类型编码|
388 | ------------|------------|
389 |功能测试 |FUNC|
390 |性能测试 |PERF|
391 |可靠性测试 |RELI|
392 |安全测试 |SECU|
393 |模糊测试 |FUZZ|
394
395
396**TDD测试（JS）**
397
398
399- 用例源文件命名规范
400
401 测试用例原文件名称采用大驼峰风格，以TEST结尾，具体格式为：[功能][子功能]TEST，子功能支持向下细分。
402示例：
403 ```
404 AppInfoTest.js
405 ```
406
407- 用例示例
408 ```
409 /*
410 * Copyright (C) 2021 XXXX Device Co., Ltd.
411 * Licensed under the Apache License, Version 2.0 (the "License");
412 * you may not use this file except in compliance with the License.
413 * You may obtain a copy of the License at
414 *
415 * http://www.apache.org/licenses/LICENSE-2.0
416 *
417 * Unless required by applicable law or agreed to in writing, software
418 * distributed under the License is distributed on an "AS IS" BASIS,
419 * WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.
420 * See the License for the specific language governing permissions and
421 * limitations under the License.
422 */
423 import app from '@system.app'
424
425 import {describe, beforeAll, beforeEach, afterEach, afterAll, it, expect} from 'deccjsunit/index'
426
427 describe("AppInfoTest", function () {
428 beforeAll(function() {
429 // input testsuit setup step，setup invoked before all testcases
430 console.info('beforeAll caled')
431 })
432
433 afterAll(function() {
434 // input testsuit teardown step，teardown invoked after all testcases
435 console.info('afterAll caled')
436 })
437
438 beforeEach(function() {
439 // input testcase setup step，setup invoked before each testcases
440 console.info('beforeEach caled')
441 })
442
443 afterEach(function() {
444 // input testcase teardown step，teardown invoked after each testcases
445 console.info('afterEach caled')
446 })
447
448 /*
449 * @tc.name:appInfoTest001
450 * @tc.desc:verify app info is not null
451 * @tc.type: FUNC
452 * @tc.require: issueNumber
453 */
454 it("appInfoTest001", 0, function () {
455 //step 1:调用函数获取结果
456 var info = app.getInfo()
457
458 //Step 2:使用断言比较预期与实际结果
459 expect(info != null).assertEqual(true)
460 })
461 })
462 ```
463 详细内容介绍：
464 1. 添加测试用例文件头注释信息
465 ```
466 /*
467 * Copyright (C) 2021 XXXX Device Co., Ltd.
468 * Licensed under the Apache License, Version 2.0 (the "License");
469 * you may not use this file except in compliance with the License.
470 * You may obtain a copy of the License at
471 *
472 * http://www.apache.org/licenses/LICENSE-2.0
473 *
474 * Unless required by applicable law or agreed to in writing, software
475 * distributed under the License is distributed on an "AS IS" BASIS,
476 * WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.
477 * See the License for the specific language governing permissions and
478 * limitations under the License.
479 */
480 ```
481 2. 导入被测api和jsunit测试库
482 ```
483 import app from '@system.app'
484
485 import {describe, beforeAll, beforeEach, afterEach, afterAll, it, expect} from 'deccjsunit/index'
486 ```
487 3. 定义测试套（测试类）
488 ```
489 describe("AppInfoTest", function () {
490 beforeAll(function() {
491 // input testsuit setup step，setup invoked before all testcases
492 console.info('beforeAll caled')
493 })
494
495 afterAll(function() {
496 // input testsuit teardown step，teardown invoked after all testcases
497 console.info('afterAll caled')
498 })
499
500 beforeEach(function() {
501 // input testcase setup step，setup invoked before each testcases
502 console.info('beforeEach caled')
503 })
504
505 afterEach(function() {
506 // input testcase teardown step，teardown invoked after each testcases
507 console.info('afterEach caled')
508 })
509 ```
510 4. 测试用例实现
511 ```
512 /*
513 * @tc.name:appInfoTest001
514 * @tc.desc:verify app info is not null
515 * @tc.type: FUNC
516 * @tc.require: issueNumber
517 */
518 it("appInfoTest001", 0, function () {
519 //step 1:调用函数获取结果
520 var info = app.getInfo()
521
522 //Step 2:使用断言比较预期与实际结果
523 expect(info != null).assertEqual(true)
524 })
525 ```
526 > **注意：** @tc.require: 格式必须以AR/SR或issue开头： 如：issueI56WJ7
527
528**Fuzz测试**
529
530[Fuzz用例编写规范](https://gitee.com/openharmony/testfwk_developer_test/blob/master/libs/fuzzlib/README_zh.md)
531
532
533**Benchmark测试**
534
535[Benchmark用例编写规范](https://gitee.com/openharmony/testfwk_developer_test/blob/master/libs/benchmark/README_zh.md)
536
537
538#### 测试用例编译文件编写
539根据测试用例目录规划，当执行某一用例时，测试框架会根据编译文件逐层查找，最终找到所需用例进行编译。下面通过不同示例来讲解gn文件如何编写。
540
541**TDD测试**
542
543针对不同语言，下面提供不同的编译模板以供参考。
544
545- **C++用例编译配置示例**
546
547 ```
548 # Copyright (c) 2021 XXXX Device Co., Ltd.
549
550 import("//build/test.gni")
551
552 module_output_path = "developer_test/calculator"
553
554 config("module_private_config") {
555 visibility = [ ":*" ]
556
557 include_dirs = [ "../../../include" ]
558 }
559
560 ohos_unittest("CalculatorSubTest") {
561 module_out_path = module_output_path
562
563 sources = [
564 "../../../include/calculator.h",
565 "../../../src/calculator.cpp",
566 ]
567
568 sources += [ "calculator_sub_test.cpp" ]
569
570 configs = [ ":module_private_config" ]
571
572 deps = [ "//third_party/googletest:gtest_main" ]
573 }
574
575 group("unittest") {
576 testonly = true
577 deps = [":CalculatorSubTest"]
578 }
579 ```
580 详细内容如下：
581
582 1. 添加文件头注释信息
583 ```
584 # Copyright (c) 2021 XXXX Device Co., Ltd.
585 ```
586 2. 导入编译模板文件
587 ```
588 import("//build/test.gni")
589 ```
590 3. 指定文件输出路径
591 ```
592 module_output_path = "developer_test/calculator"
593 ```
594 > **说明：** 此处输出路径为部件/模块名。
595
596 4. 配置依赖包含目录
597
598 ```
599 config("module_private_config") {
600 visibility = [ ":*" ]
601
602 include_dirs = [ "../../../include" ]
603 }
604 ```
605 > **说明：** 一般在此处对相关配置进行设置，在测试用例编译脚本中可直接引用。
606
607 5. 指定测试用例编译目标输出的文件名称
608
609 ```
610 ohos_unittest("CalculatorSubTest") {
611 }
612 ```
613 6. 编写具体的测试用例编译脚本（添加需要参与编译的源文件、配置和依赖）
614 ```
615 ohos_unittest("CalculatorSubTest") {
616 module_out_path = module_output_path
617 sources = [
618 "../../../include/calculator.h",
619 "../../../src/calculator.cpp",
620 "../../../test/calculator_sub_test.cpp"
621 ]
622 sources += [ "calculator_sub_test.cpp" ]
623 configs = [ ":module_private_config" ]
624 deps = [ "//third_party/googletest:gtest_main" ]
625 }
626 ```
627
628 > **说明：根据测试类型的不同，在具体编写过程中可选择不同的测试类型：**
629 > - ohos_unittest：单元测试
630 > - ohos_js_unittest: FA模型js用例单元测试
631 > - ohos_js_stage_unittest: stage模型ets用例单元测试
632 > - ohos_moduletest：模块测试
633 > - ohos_systemtest：系统测试
634 > - ohos_performancetest：性能测试
635 > - ohos_securitytest：安全测试
636 > - ohos_reliabilitytest：可靠性测试
637 > - ohos_distributedtest：分布式测试
638
639 7. 对目标测试用例文件进行条件分组
640
641 ```
642 group("unittest") {
643 testonly = true
644 deps = [":CalculatorSubTest"]
645 }
646 ```
647 > **说明：** 进行条件分组的目的在于执行用例时可以选择性的执行某一种特定类型的用例。
648
649- ** FA模型JavaScript用例编译配置示例**
650
651 ```
652 # Copyright (C) 2021 XXXX Device Co., Ltd.
653
654 import("//build/test.gni")
655
656 module_output_path = "developer_test/app_info"
657
658 ohos_js_unittest("GetAppInfoJsTest") {
659 module_out_path = module_output_path
660
661 hap_profile = "./config.json"
662 certificate_profile = "//test/developer_test/signature/openharmony_sx.p7b"
663 }
664
665 group("unittest") {
666 testonly = true
667 deps = [ ":GetAppInfoJsTest" ]
668 }
669 ```
670
671 详细内容如下：
672
673 1. 添加文件头注释信息
674
675 ```
676 # Copyright (C) 2021 XXXX Device Co., Ltd.
677 ```
678 2. 导入编译模板文件
679
680 ```
681 import("//build/test.gni")
682 ```
683 3. 指定文件输出路径
684
685 ```
686 module_output_path = "developer_test/app_info"
687 ```
688 > **说明：** 此处输出路径为部件/模块名。
689
690 4. 指定测试用例编译目标输出的文件名称
691
692 ```
693 ohos_js_unittest("GetAppInfoJsTest") {
694 }
695 ```
696 > **说明：**
697 >- 使用模板ohos_js_unittest定义js测试套，注意与C++用例区分。
698 >- js测试套编译输出文件为hap类型，hap名为此处定义的测试套名，测试套名称必须以JsTest结尾。
699
700 5. 指定hap包配置文件config.json和签名文件，两个配置为必选项
701
702 ```
703 ohos_js_unittest("GetAppInfoJsTest") {
704 module_out_path = module_output_path
705
706 hap_profile = "./config.json"
707 certificate_profile = "//test/developer_test/signature/openharmony_sx.p7b"
708 }
709 ```
710 config.json为hap编译所需配置文件，需要开发者根据被测sdk版本配置“target”项，其余项可默认，具体如下所示：
711
712 ```
713 {
714 "app": {
715 "bundleName": "com.example.myapplication",
716 "vendor": "example",
717 "version": {
718 "code": 1,
719 "name": "1.0"
720 },
721 "apiVersion": {
722 "compatible": 4,
723 "target": 5 // 根据被测sdk版本进行修改，此例为sdk5
724 }
725 },
726 "deviceConfig": {},
727 "module": {
728 "package": "com.example.myapplication",
729 "name": ".MyApplication",
730 "deviceType": [
731 "phone"
732 ],
733 "distro": {
734 "deliveryWithInstall": true,
735 "moduleName": "entry",
736 "moduleType": "entry"
737 },
738 "abilities": [
739 {
740 "skills": [
741 {
742 "entities": [
743 "entity.system.home"
744 ],
745 "actions": [
746 "action.system.home"
747 ]
748 }
749 ],
750 "name": "com.example.myapplication.MainAbility",
751 "icon": "$media:icon",
752 "description": "$string:mainability_description",
753 "label": "MyApplication",
754 "type": "page",
755 "launchType": "standard"
756 }
757 ],
758 "js": [
759 {
760 "pages": [
761 "pages/index/index"
762 ],
763 "name": "default",
764 "window": {
765 "designWidth": 720,
766 "autoDesignWidth": false
767 }
768 }
769 ]
770 }
771 }
772 ```
773 6. 对目标测试用例文件进行条件分组
774 ```
775 group("unittest") {
776 testonly = true
777 deps = [ ":GetAppInfoJsTest" ]
778 }
779 ```
780 > **说明：** 进行条件分组的目的在于执行用例时可以选择性的执行某一种特定类型的用例。
781
782- ** stage模型ets用例编译配置示例**
783
784 ```
785 # Copyright (C) 2022 XXXX Device Co., Ltd.
786
787 import("//build/test.gni")
788
789 want_output_path = "developer_test/stage_test"
790
791 ohos_js_stage_unittest("ActsBundleMgrStageEtsTest") {
792 hap_profile = "entry/src/main/module.json"
793 deps = [
794 ":actbmsstageetstest_js_assets",
795 ":actbmsstageetstest_resources",
796 ]
797 ets2abc = true
798 certificate_profile = "signature/openharmony_sx.p7b"
799 hap_name = "ActsBundleMgrStageEtsTest"
800 subsystem_name = "developer_test"
801 part_name = "stage_test" // 部件名称
802 module_out_path = want_output_path // 必须定义输出路径
803 }
804 ohos_app_scope("actbmsstageetstest_app_profile") {
805 app_profile = "AppScope/app.json"
806 sources = [ "AppScope/resources" ]
807 }
808 ohos_js_assets("actbmsstageetstest_js_assets") {
809 source_dir = "entry/src/main/ets"
810 }
811 ohos_resources("actbmsstageetstest_resources") {
812 sources = [ "entry/src/main/resources" ]
813 deps = [ ":actbmsstageetstest_app_profile" ]
814 hap_profile = "entry/src/main/module.json"
815 }
816 group("unittest") {
817 testonly = true
818 deps = []
819 deps += [ ":ActsBundleMgrStageEtsTest" ]
820 }
821 ```
822 > **说明：** 进行条件分组的目的在于执行用例时可以选择性的执行某一种特定类型的用例。
823
824**编译入口配置文件bundle.json**
825
826当完成用例编译配置文件编写后，需要进一步编写部件编译配置文件，以关联到具体的测试用例。
827```
828"build": {
829 "sub_component": [
830 "//test/testfwk/developer_test/examples/app_info:app_info",
831 "//test/testfwk/developer_test/examples/detector:detector",
832 "//test/testfwk/developer_test/examples/calculator:calculator"
833 ],
834 "inner_list": [
835 {
836 "header": {
837 "header_base": "////test/testfwk/developer_test/examples/detector/include",
838 "header_files": [
839 "detector.h"
840 ]
841 },
842 "name": "//test/testfwk/developer_test/examples/detector:detector"
843 }
844 ],
845 "test": [ //配置模块calculator下的test
846 "//test/testfwk/developer_test/examples/app_info/test:unittest",
847 "//test/testfwk/developer_test/examples/calculator/test:unittest",
848 "//test/testfwk/developer_test/examples/calculator/test:fuzztest"
849 }
850```
851> **说明：** test_list中配置的是对应模块的测试用例。
852
853#### 测试用例资源配置
854测试依赖资源主要包括测试用例在执行过程中需要的图片文件，视频文件、第三方库等对外的文件资源，目前只支持静态资源的配置。
855
856依赖资源文件配置步骤如下：
8571. 在部件的test目录下创建resource目录，在resource目录下创建对应的模块，在模块目录中存放该模块所需要的资源文件
858
8592. 在resource目录下对应的模块目录中创建一个ohos_test.xml文件，文件内容格式如下:
860 ```
861 <?xml version="1.0" encoding="UTF-8"?>
862 <configuration ver="2.0">
863 <target name="CalculatorSubTest">
864 <preparer>
865 <option name="push" value="test.jpg -> /data/test/resource" src="res"/>
866 <option name="push" value="libc++.z.so -> /data/test/resource" src="out"/>
867 </preparer>
868 </target>
869 </configuration>
870 ```
871 >**说明：**若某些push上去的二进制文件需要增量生成数据字典，则新增一行：
872 ```
873 <option name="shell" value="hilog -d /设备中的二进制文件路径"/>
874 // 例如
875 <option name="shell" value="hilog -d /data/test/resource/test.z.so"/>
876 ```
8773. 在测试用例的编译配置文件中定义resource_config_file进行指引，用来指定对应的资源文件ohos_test.xml
878 ```
879 ohos_unittest("CalculatorSubTest") {
880 resource_config_file = "//system/subsystem/partA/test/resource/calculator/ohos_test.xml"
881 }
882 ```
883 >**说明：**
884 >- target_name: 测试套的名称，定义在测试目录的BUILD.gn中。preparer: 表示该测试套执行前执行的动作。
885 >- src="res": 表示测试资源位于test目录下的resource目录下，src="out"：表示位于out/release/$(部件)目录下。
886
887### 测试用例执行
888在执行测试用例之前，针对用例使用设备的不同，需要对相应配置进行修改，修改完成即可执行测试用例。
889
890#### user_config.xml配置
891```
892<user_config>
893 <build>
894 <!-- 是否编译demo用例, 默认为false，如果需要编译demo可修改为true -->
895 <example>false</example>
896 <!-- 是否编译版本, 默认为false -->
897 <version>false</version>
898 <!-- 是否编译测试用例, 默认为true，若已完成编译，再执行用例之前可修改为false，防止重新编译 -->
899 <testcase>true</testcase>
900 <!-- 在编译测试用例的情况下，选择编译target_cpu是64位的还是32位的，默认为空（32bit）可以选择: arm64 -->
901 <parameter>
902 <target_cpu></target_cpu>
903 </parameter>
904 </build>
905 <environment>
906 <!-- 配置远程映射机器的IP及端口，以支持HDC连接的设备 -->
907 <device type="usb-hdc">
908 <ip></ip>
909 <port></port>
910 <sn></sn>
911 </device>
912 <!-- 配置设备的串口信息，以支持串口连接的设备 -->
913 <device type="com" label="ipcamera">
914 <serial>
915 <com></com>
916 <type>cmd</type>
917 <baud_rate>115200</baud_rate>
918 <data_bits>8</data_bits>
919 <stop_bits>1</stop_bits>
920 <timeout>1</timeout>
921 </serial>
922 </device>
923 </environment>
924 <!-- 配置测试用例路径，若测试用例未编译，即<testcase>标签属性为true时，此处默认不填写；若编译已完成，需在此处指定测试用例的实际路径 -->
925 <test_cases>
926 <dir></dir>
927 </test_cases>
928 <!-- 配置覆盖率编译路径 -->
929 <coverage>
930 <outpath></outpath>
931 </coverage>
932 <!-- NFS挂载信息配置，被测设备仅支持串口连接时配置，指定NFS的映射路径，host_dir为PC侧的NFS目录，board_dir为板侧创建的目录 -->
933 <NFS>
934 <host_dir></host_dir>
935 <mnt_cmd></mnt_cmd>
936 <board_dir></board_dir>
937 </NFS>
938</user_config>
939
940```
941
942>**说明：** 在执行测试用例之前，若使用HDC连接设备，用例仅需配置设备IP和端口号即可，其余信息均默认不修改。
943
944#### Windows环境执行
945##### 测试用例编译
946
947由于Windows环境下无法实现用例编译，因此执行用例前需要在Linux环境下进行用例编译，用例编译命令：
948```
949./build.sh --product-name {product_name} --build-target make_test
950```
951>说明:
952> - product-name：指定编译产品名称。
953> - build-target：指定所需编译用例，make_test表示指定全部用例，实际开发中可指定特定用例。
954
955编译完成后，测试用例将自动保存在out/ohos-arm-release/packages/phone/tests目录下。
956
957##### 搭建执行环境
9581. 在Windows环境创建测试框架目录Test，并在此目录下创建testcase目录
959
9602. 从Linux环境拷贝测试框架developer_test和xdevice到创建的Test目录下，拷贝编译好的测试用例到testcase目录下
961
962 >**说明：** 将测试框架及测试用例从Linux环境移植到Windows环境，以便后续执行。
963
9643. 修改user_config.xml
965 ```
966 <build>
967 <!-- 由于测试用例已编译完成，此标签属性需改为false -->
968 <testcase>false</testcase>
969 </build>
970 <test_cases>
971 <!-- 由于已将测试用例拷贝到Windows环境下，测试用例输出路径发生改变，需要修改为拷贝后所存放的路径 -->
972 <dir>D:\Test\testcase\tests</dir>
973 </test_cases>
974 ```
975 >**说明：** `<testcase>`标签表示是否需要编译用例；`<dir>`标签表示测试用例查找路径。
976
977##### 执行用例
9781. 启动测试框架
979 ```
980 start.bat
981 ```
9822. 选择产品形态
983
984 进入测试框架，系统会自动提示您选择产品形态，请根据实际的开发板进行选择。
985
986 如需手动添加，请在config/framework_config.xml的\<productform\>标签内增加产品项。
987
9883. 执行测试用例
989
990 当选择完产品形态，可参考如下指令执行TDD测试用例。
991 ```
992 run -t UT
993 run -t UT -tp PartName
994 run -t UT -tp PartName -tm TestModuleName
995 run -t UT -tp ability_base -ts base_object_test
996 run -t UT -tp PartName -tm TestModuleName -ts CalculatorSubTest
997 run -t UT -ts base_object_test
998 run -t UT -ts base_object_test -tc AAFwkBaseObjectTest.BaseObject_test_001
999 run -t UT -ts CalculatorSubTest -tc CalculatorSubTest.interger_sub_00l
1000 run -t UT -cov coverage
1001 run -t UT -ra random
1002 run -t UT -tp PartName -pd partdeps
1003 run -t UT -ts base_object_test --repeat 5
1004 run -hl
1005 run -rh 3
1006 run --retry
1007 ```
1008
1009
1010 执行命令参数说明：
1011 ```
1012 -t [TESTTYPE]: 指定测试用例类型，有UT，MST，ST，PERF，FUZZ，BENCHMARK，另外还有ACTS，HATS等。（必选参数）
1013 -tp [TESTPART]: 指定部件，可独立使用。
1014 -tm [TESTMODULE]: 指定模块，不可独立使用，需结合-tp指定上级部件使用。
1015 -ts [TESTSUITE]: 指定测试套，可独立使用。
1016 -tc [TESTCASE]: 指定测试用例，同时需要注明测试套内class名称，不可独立使用，需结合-ts指定上级测试套使用。
1017 -cov [COVERAGE]: 覆盖率执行参数。
1018 -h : 帮助命令
1019 -ra [random]: c++用例乱序执行参数
1020 -pd [partdeps]: 二级依赖部件执行参数
1021 --repeat : 支持设置用例执行次数。
1022 -hl [HISTORYLIST]: 显示最近10条测试用例，超过10条，只显示最近10条。
1023 -rh [RUNHISTORY]: 执行历史记录的第几条记录运行
1024 --retry：检查上次运行结果，如果有失败用例则重复测试
1025 ```
1026
1027
1028#### Linux环境执行
1029##### 远程端口映射
1030为了在Linux远程服务器以及Linux虚拟机两种环境下执行测试用例，需要对端口进行远程映射，以实现与设备的数据通路连接。具体操作如下：
10311. HDC Server指令：
1032 ```
1033 hdc kill
1034 hdc -m -s 0.0.0.0:8710
1035 ```
1036 >**说明：** IP和端口号为默认值。
1037
10382. HDC Client指令：
1039 ```
1040 hdc -s xx.xx.xx.xx:8710 list targets
1041 ```
1042 >**说明：** 此处IP填写设备侧IP地址。
1043
1044##### 执行用例
10451. 启动测试框架
1046 ```
1047 ./start.sh
1048 ```
10492. 选择产品形态
1050
1051 进入测试框架，系统会自动提示您选择产品形态，请根据实际的开发板进行选择。
1052
1053 若需要自测试框架编译测试用例，且没有找到需要的产品形态需手动添加，请在config/framework_config.xml的\<productform\>标签内增加产品项。
1054
1055 ```
1056 <framework_config>
1057 <productform>
1058 <option name="ipcamera_hispark_aries" />
1059 <option name="ipcamera_hispark_taurus" />
1060 <option name="wifiiot_hispark_pegasus" />
1061 <option name="" />
1062 </productform>
1063 </framework_config>
1064
1065 ```
1066
10673. 执行测试用例
1068
1069 1）TDD命令
1070
1071 测试框架在执行用例时会根据指令找到所需用例，自动实现用例编译，执行过程，完成自动化测试。
1072 ```
1073 run -t UT
1074 run -t UT -tp PartName
1075 run -t UT -tp PartName -tm TestModuleName
1076 run -t UT -tp ability_base -ts base_object_test
1077 run -t UT -tp PartName -tm TestModuleName -ts CalculatorSubTest
1078 run -t UT -ts base_object_test
1079 run -t UT -ts base_object_test -tc AAFwkBaseObjectTest.BaseObject_test_001
1080 run -t UT -ts CalculatorSubTest -tc CalculatorSubTest.interger_sub_00l
1081 run -t -cov coverage
1082 run -t UT -ra random
1083 run -t UT -tp PartName -pd partdeps
1084 run -t UT -ts base_object_test --repeat 5
1085 run -hl
1086 run -rh 3
1087 run --retry
1088 ```
1089 执行命令参数说明：
1090 ```
1091 -t [TESTTYPE]: 指定测试用例类型，有UT，MST，ST，PERF，FUZZ，BENCHMARK等。（必选参数）
1092 -tp [TESTPART]: 指定部件，可独立使用。
1093 -tm [TESTMODULE]: 指定模块，不可独立使用，需结合-tp指定上级部件使用。
1094 -ts [TESTSUITE]: 指定测试套，可独立使用。
1095 -tc [TESTCASE]: 指定测试用例，同时需要注明测试套内class名称，不可独立使用，需结合-ts指定上级测试套使用。
1096 -cov [COVERAGE]: 覆盖率执行参数。
1097 -h : 帮助命令
1098 -ra [random]: c++用例乱序执行参数
1099 -pd [partdeps]: 二级依赖部件执行参数
1100 --repeat : 支持设置用例执行次数。
1101 -hl [HISTORYLIST]: 显示最近10条测试用例，超过10条，只显示最近10条。
1102 -rh [RUNHISTORY]: 执行历史记录的第几条记录运行
1103 --retry：检查上次运行结果，如果有失败用例则重复测试
1104 ```
1105
1106 在linux下可以使用help命令查看有哪些产品形态、测试类型、支持的子系统、部件
1107 ```
1108 查看帮助命令：help
1109 查看show命令：help show
1110 查看支持的设备形态： show productlist
1111 查看支持的测试类型： show typelist
1112 查看支持的测试子系统： show subsystemlist
1113 查看支持的测试部件： show partlist
1114 ```
1115 2)ACTS/HATS命令
1116
1117 当选择完产品形态，可以参考如下执行ACTS或HATS测试用例
1118 ```
1119 run -t ACTS
1120 run -t HATS
1121 run -t ACTS -ss arkui
1122 run -t ACTS -ss arkui, modulemanager
1123 run -t ACTS -ss arkui -ts ActsAceEtsTest
1124 run -t HATS -ss telephony -ts HatsHdfV1RilServiceTest
1125 run -t ACTS -ss arkui -tp ActsPartName
1126 run -t ACTS -ss arkui -ts ActsAceEtsTest,ActsAceEtsResultTest
1127 run -t HATS -ss powermgr -ts HatsPowermgrBatteryTest,HatsPowermgrThermalTest
1128 run -t ACTS -ss arkui -ts ActsAceEtsTest -ta class:alphabetIndexerTest#alphabetIndexerTest001
1129 run -t ACTS -ss arkui -ts ActsAceEtsTest -ta class:alphabetIndexerTest#alphabetIndexerTest001 --repeat 2
1130 run -hl
1131 run -rh 1
1132 run --retry
1133 ```
1134 执行命令参数说明，ACTS和HATS命令参数一致，与TDD有所不同：
1135 ```
1136 -t [TESTTYPE]: 指定测试用例类型，有ACTS，HATS等。（必选参数）
1137 -ss [SUBSYSTEM]: 指定子系统，可单独使用，且可以执行多个子系统，用逗号隔开。
1138 -tp [TESTPART]: 指定部件，可独立使用。
1139 -ts [TESTSUITE]: 指定测试套，可独立使用，且可以执行多个测试套，用逗号隔开。
1140 -ta [TESTARGS]: 指定测试类测试方法，需结合-ts指定上级测试套使用。
1141 --repeat : 支持设置用例执行次数。
1142 -hl [HISTORYLIST]: 显示最近10条测试用例，超过10条，只显示最近10条。
1143 -rh [RUNHISTORY]: 执行历史记录的第几条记录运行
1144 --retry：检查上次运行结果，如果有失败用例则重复测试
1145 ```
1146
1147### 测试报告日志
1148当执行完测试指令，控制台会自动生成测试结果，若需要详细测试报告您可在相应的数据文档中进行查找。
1149
1150#### 测试结果
1151测试结果输出根路径如下：
1152```
1153test/developer_test/reports/xxxx_xx_xx_xx_xx_xx
1154```
1155>**说明：** 测试报告文件目录将自动生成。
1156
1157该目录中包含以下几类结果：
1158| 类型 | 描述|
1159| ------------ | ------------ |
1160| result/ |测试用例格式化结果|
1161| log/plan_log_xxxx_xx_xx_xx_xx_xx.log | 测试用例日志 |
1162| summary_report.html | 测试报告汇总 |
1163| details_report.html | 测试报告详情 |
1164
1165#### 测试框架日志
1166```
1167reports/platform_log_xxxx_xx_xx_xx_xx_xx.log
1168```
1169
1170### 覆盖率用户指导
11711. (可选执行)为了屏蔽非核心代码产生的冗余分支数据，可以在源码编译之前进入/test/testfwk/developer_test/localCoverage/restore_comment目录下执行：
1172
1173 python3 build_before_generate.py
1174
1175 选择对应的部件，执行命令例如：
1176
1177 run -tp partname
1178 run -tp partname1 partname2
11792. 编译版本之前首先修改编译选项，涉及到自己子系统的build.gn文件cflags或者cflags_cc及ldflags选项都需要加--coverage字段：
1180
1181 ldflags = [ "--coverage" ]
1182 C: cflags = [ "--coverage" ]
1183 C++: cflags_cc = [ "--coverage" ]
1184
1185**推荐：** 也可以参考窗口子系统的方式（推荐这种方式），参考链接：https://gitee.com/openharmony/window_window_manager/pulls/1274/files
11863. 执行覆盖率需要安装以下依赖包：
1187
1188 1）安装lcov, 安装命令：sudo apt install lcov
1189 2）安装dos2unix, 安装命令：apt install dos2unix.
1190 3）安装lxml, 安装命令: pip install lxml
1191 4）安装selectolax, 安装命令: pip install selectolax
1192 5）安装CppHeaderParser, 安装命令 pip install CppHeaderParser
1193
11944. 远程映射设备，修改usr_config.xml中的ip号，设备映射方式查看上面介绍的远程端口映射，
1195
1196```
1197 <!-- 配置远程映射机器的IP(设备挂载的pc的ip) -->
1198 <device type="usb-hdc">
1199 <ip></ip>
1200 <port></port>
1201 <sn></sn>
1202 </device>
1203```
12045. 执行
1205
1206 ./start.sh
1207
1208 命令例如下：
1209 run -t UT -tp 部件名 -cov coverage
1210 run -t UT -ss 子系统名 -cov coverage
1211 run -t UT -ss 子系统名 -tp 部件名 -cov coverage
1212 run -t UT MST ST -tp 部件名 -cov coverage
1213
1214> **注意：** 必须添加 -cov coverage 参数
1215
12166. 覆盖率报告路径
1217
1218 代码覆盖率报告：/test/testfwk/developer_test/localCoverage/codeCoverage/results/coverage/reports/cxx/html
1219
1220 接口覆盖率报告：/test/testfwk/developer_test/localCoverage/interfaceCoverage/results/coverage/interface_kits/html
1221### 涉及仓
1222
1223[test\_xdevice](https://gitee.com/openharmony/testfwk_xdevice)
1224
1225## 发布版本说明
1226
1227| 发布版本号 | 发布功能说明 |
1228| ---------- | ------------------------------------------------------------ |
1229| 3.2.1.0 | 1、增加框架对接执行ACTS测试用例能力<br />2、增加ACTS多种颗粒度执行能力，如子系统、部件等 |
1230| 3.2.2.0 | 1、增加测试任务统计能力，最多统计10个任务<br />2、增加按照指定测试任务ID执行测试任务能力<br />3、增加复测上次任务失败用例能力 |
1231| 3.2.3.0 | 1、增加覆盖率执行<br /> |
1232
1233
1234
1235
1236
1237
1238
1239
1240
1241
1242
1243
1244
1245
1246
1247
1248
1249
1250
