• Home
  • Line#
  • Scopes#
  • Navigate#
  • Raw
  • Download
1# 使用MindSpore Lite进行模型推理 (C/C++)
2
3<!--Kit: MindSpore Lite Kit-->
4<!--Subsystem: AI-->
5<!--Owner: @zhuguodong8-->
6<!--Designer: @zhuguodong8; @jjfeing-->
7<!--Tester: @principal87-->
8<!--Adviser: @ge-yafang-->
9
10## 场景介绍
11
12MindSpore Lite是一款AI引擎，它提供了面向不同硬件设备AI模型推理的功能，目前已经在图像分类、目标识别、人脸识别、文字识别等应用中广泛使用。
13
14本文介绍使用MindSpore Lite推理引擎进行模型推理的通用开发流程。
15
16## 基本概念
17
18在进行开发前，请先了解以下概念。
19
20**张量**：它与数组和矩阵非常相似，是MindSpore Lite网络运算中的基本数据结构。
21
22**Float16推理模式**：  Float16又称半精度，它使用16比特表示一个数。Float16推理模式表示推理的时候用半精度进行推理。
23
24
25
26## 接口说明
27
28这里给出MindSpore Lite推理的通用开发流程中涉及的一些接口，具体请见下列表格。更多接口及详细内容，请见[MindSpore](../../reference/apis-mindspore-lite-kit/capi-mindspore.md)。
29
30### Context 相关接口
31
32| 接口名称        | 描述        |
33| ------------------ | ----------------- |
34|OH_AI_ContextHandle OH_AI_ContextCreate()|创建一个上下文的对象。注意：此接口需跟OH_AI_ContextDestroy配套使用。|
35|void OH_AI_ContextSetThreadNum(OH_AI_ContextHandle context, int32_t thread_num)|设置运行时的线程数量。|
36|void OH_AI_ContextSetThreadAffinityMode(OH_AI_ContextHandle context, int mode)|设置运行时线程绑定CPU核心的策略，按照CPU物理核频率分为大、中、小三种类型的核心，并且仅需绑大核或者绑中核，不需要绑小核。|
37|OH_AI_DeviceInfoHandle OH_AI_DeviceInfoCreate(OH_AI_DeviceType device_type)|创建一个运行时设备信息对象。|
38|void OH_AI_ContextDestroy(OH_AI_ContextHandle *context)|释放上下文对象。|
39|void OH_AI_DeviceInfoSetEnableFP16(OH_AI_DeviceInfoHandle device_info, bool is_fp16)|设置是否开启Float16推理模式，仅CPU/GPU设备可用。|
40|void OH_AI_ContextAddDeviceInfo(OH_AI_ContextHandle context, OH_AI_DeviceInfoHandle device_info)|添加运行时设备信息。|
41
42### Model 相关接口
43
44| 接口名称        | 描述        |
45| ------------------ | ----------------- |
46|OH_AI_ModelHandle OH_AI_ModelCreate()|创建一个模型对象。|
47|OH_AI_Status OH_AI_ModelBuildFromFile(OH_AI_ModelHandle model, const char *model_path,OH_AI_ModelType model_type, const OH_AI_ContextHandle model_context)|通过模型文件加载并编译MindSpore模型。|
48|void OH_AI_ModelDestroy(OH_AI_ModelHandle *model)|释放一个模型对象。|
49
50### Tensor 相关接口
51
52| 接口名称        | 描述        |
53| ------------------ | ----------------- |
54|OH_AI_TensorHandleArray OH_AI_ModelGetInputs(const OH_AI_ModelHandle model)|获取模型的输入张量数组结构体。|
55|int64_t OH_AI_TensorGetElementNum(const OH_AI_TensorHandle tensor)|获取张量元素数量。|
56|const char *OH_AI_TensorGetName(const OH_AI_TensorHandle tensor)|获取张量的名称。|
57|OH_AI_DataType OH_AI_TensorGetDataType(const OH_AI_TensorHandle tensor)|获取张量数据类型。|
58|void *OH_AI_TensorGetMutableData(const OH_AI_TensorHandle tensor)|获取可变的张量数据指针。|
59
60## 开发步骤
61
62使用MindSpore Lite进行模型推理的开发流程如下图所示。
63
64**图 1** 使用MindSpore Lite进行模型推理的开发流程
65
66![how-to-use-mindspore-lite](figures/01.png)
67
68进入主要流程之前需要先引用相关的头文件，并编写函数生成随机的输入，具体如下：
69
70```c
71#include <stdlib.h>
72#include <stdio.h>
73#include <unistd.h>
74#include "mindspore/model.h"
75
76//生成随机的输入
77int GenerateInputDataWithRandom(OH_AI_TensorHandleArray inputs) {
78  for (size_t i = 0; i < inputs.handle_num; ++i) {
79    float *input_data = (float *)OH_AI_TensorGetMutableData(inputs.handle_list[i]);
80    if (input_data == NULL) {
81      printf("MSTensorGetMutableData failed.\n");
82      return OH_AI_STATUS_LITE_ERROR;
83    }
84    int64_t num = OH_AI_TensorGetElementNum(inputs.handle_list[i]);
85    const int divisor = 10;
86    for (size_t j = 0; j < num; j++) {
87      input_data[j] = (float)(rand() % divisor) / divisor;  // 0--0.9f
88    }
89  }
90  return OH_AI_STATUS_SUCCESS;
91}
92```
93
94然后进入主要的开发步骤，具括包括模型的准备、读取、编译、推理和释放，具体开发过程及细节请见下文的开发步骤及示例。
95
961. 模型准备。
97
98    需要的模型可以直接下载，也可以通过模型转换工具获得。
99
100     - 下载模型的格式若为`.ms`，则可以直接使用。本文以mobilenetv2.ms为例。
101     - 如果是第三方框架的模型，比如 TensorFlow、TensorFlow Lite、Caffe、ONNX等，可以使用[模型转换工具](https://www.mindspore.cn/lite/docs/zh-CN/master/use/downloads.html#2-3-0)转换为`.ms`格式的模型文件。
102
1032. 创建上下文，设置线程数、设备类型等参数。
104
105    以下介绍两种典型情形。
106
107    情形1：仅创建CPU推理上下文。
108
109    ```c
110    // 创建并配置上下文，设置运行时的线程数量为2，绑核策略为大核优先
111    OH_AI_ContextHandle context = OH_AI_ContextCreate();
112    if (context == NULL) {
113      printf("OH_AI_ContextCreate failed.\n");
114      return OH_AI_STATUS_LITE_ERROR;
115    }
116    const int thread_num = 2;
117    OH_AI_ContextSetThreadNum(context, thread_num);
118    OH_AI_ContextSetThreadAffinityMode(context, 1);
119    //设置运行设备为CPU，不使用Float16推理
120    OH_AI_DeviceInfoHandle cpu_device_info = OH_AI_DeviceInfoCreate(OH_AI_DEVICETYPE_CPU);
121    if (cpu_device_info == NULL) {
122      printf("OH_AI_DeviceInfoCreate failed.\n");
123      OH_AI_ContextDestroy(&context);
124      return OH_AI_STATUS_LITE_ERROR;
125    }
126    OH_AI_DeviceInfoSetEnableFP16(cpu_device_info, false);
127    OH_AI_ContextAddDeviceInfo(context, cpu_device_info);
128    ```
129
130    情形2：创建NNRT（Neural Network Runtime）和CPU异构推理上下文。
131
132    NNRT是面向AI领域的跨芯片推理计算运行时，一般来说，NNRT对接的加速硬件如NPU，推理能力较强，但支持的算子规格少；而通用CPU推理能力较弱，但支持算子规格更全面。MindSpore Lite支持配置NNRT硬件和CPU异构推理：优先将模型算子调度到NNRT推理，若某些算子NNRT不支持，将其调度到CPU进行推理。通过下面的操作即可配置NNRT/CPU异构推理。
133   <!--Del-->
134   > **说明：**
135   >
136   > NNRT/CPU异构推理，需要有实际的NNRT硬件接入，NNRT相关资料请参考：[OpenHarmony/ai_neural_network_runtime](https://gitee.com/openharmony/ai_neural_network_runtime)。
137   <!--DelEnd-->
138    ```c
139    // 创建并配置上下文，设置运行时的线程数量为2，绑核策略为大核优先
140    OH_AI_ContextHandle context = OH_AI_ContextCreate();
141    if (context == NULL) {
142      printf("OH_AI_ContextCreate failed.\n");
143      return OH_AI_STATUS_LITE_ERROR;
144    }
145    // 优先使用NNRT推理。
146    // 这里利用查找到的第一个ACCELERATORS类别的NNRT硬件，来创建nnrt设备信息，并设置硬件使用高性能模式推理。还可以通过如：OH_AI_GetAllNNRTDeviceDescs()接口获取当前环境中所有NNRT硬件的描述信息，按设备名、类型等信息查找，找到某一具体设备作为NNRT推理硬件。
147    OH_AI_DeviceInfoHandle nnrt_device_info = OH_AI_CreateNNRTDeviceInfoByType(OH_AI_NNRTDEVICE_ACCELERATOR);
148    if (nnrt_device_info == NULL) {
149      printf("OH_AI_DeviceInfoCreate failed.\n");
150      OH_AI_ContextDestroy(&context);
151      return OH_AI_STATUS_LITE_ERROR;
152    }
153    OH_AI_DeviceInfoSetPerformanceMode(nnrt_device_info, OH_AI_PERFORMANCE_HIGH);
154    OH_AI_ContextAddDeviceInfo(context, nnrt_device_info);
155
156    // 其次设置CPU推理。
157    OH_AI_DeviceInfoHandle cpu_device_info = OH_AI_DeviceInfoCreate(OH_AI_DEVICETYPE_CPU);
158    if (cpu_device_info == NULL) {
159      printf("OH_AI_DeviceInfoCreate failed.\n");
160      OH_AI_ContextDestroy(&context);
161      return OH_AI_STATUS_LITE_ERROR;
162    }
163    OH_AI_ContextAddDeviceInfo(context, cpu_device_info);
164    ```
165
166
167
1683. 创建、加载与编译模型。
169
170    调用OH_AI_ModelBuildFromFile加载并编译模型。
171
172    本例中传入OH_AI_ModelBuildFromFile的argv[1]参数是从控制台中输入的模型文件路径。
173
174    ```c
175    // 创建模型
176    OH_AI_ModelHandle model = OH_AI_ModelCreate();
177    if (model == NULL) {
178      printf("OH_AI_ModelCreate failed.\n");
179      OH_AI_ContextDestroy(&context);
180      return OH_AI_STATUS_LITE_ERROR;
181    }
182
183    // 加载与编译模型，模型的类型为OH_AI_MODELTYPE_MINDIR
184    if (access(argv[1], F_OK) != 0) {
185        printf("model file not exists.\n");
186        OH_AI_ModelDestroy(&model);
187        OH_AI_ContextDestroy(&context);
188        return OH_AI_STATUS_LITE_ERROR;
189    }
190    int ret = OH_AI_ModelBuildFromFile(model, argv[1], OH_AI_MODELTYPE_MINDIR, context);
191    if (ret != OH_AI_STATUS_SUCCESS) {
192      printf("OH_AI_ModelBuildFromFile failed, ret: %d.\n", ret);
193      OH_AI_ModelDestroy(&model);
194      OH_AI_ContextDestroy(&context);
195      return ret;
196    }
197    ```
198
1994. 输入数据。
200
201    模型执行之前需要向输入的张量中填充数据。本例使用随机的数据对模型进行填充。
202
203    ```c
204    // 获得输入张量
205    OH_AI_TensorHandleArray inputs = OH_AI_ModelGetInputs(model);
206    if (inputs.handle_list == NULL) {
207      printf("OH_AI_ModelGetInputs failed, ret: %d.\n", ret);
208      OH_AI_ModelDestroy(&model);
209      OH_AI_ContextDestroy(&context);
210      return ret;
211    }
212    // 使用随机数据填充张量
213    ret = GenerateInputDataWithRandom(inputs);
214    if (ret != OH_AI_STATUS_SUCCESS) {
215      printf("GenerateInputDataWithRandom failed, ret: %d.\n", ret);
216      OH_AI_ModelDestroy(&model);
217      OH_AI_ContextDestroy(&context);
218      return ret;
219    }
220   ```
221
2225. 执行推理。
223
224    使用OH_AI_ModelPredict接口进行模型推理。
225
226    ```c
227    // 执行模型推理
228    OH_AI_TensorHandleArray outputs;
229    ret = OH_AI_ModelPredict(model, inputs, &outputs, NULL, NULL);
230    if (ret != OH_AI_STATUS_SUCCESS) {
231      printf("OH_AI_ModelPredict failed, ret: %d.\n", ret);
232      OH_AI_ModelDestroy(&model);
233      OH_AI_ContextDestroy(&context);
234      return ret;
235    }
236    ```
237
2386. 获取输出。
239
240    模型推理结束之后，可以通过输出张量得到推理结果。
241
242    ```c
243    // 获取模型的输出张量，并打印
244    for (size_t i = 0; i < outputs.handle_num; ++i) {
245      OH_AI_TensorHandle tensor = outputs.handle_list[i];
246      long long element_num = OH_AI_TensorGetElementNum(tensor);
247      printf("Tensor name: %s, tensor size is %zu ,elements num: %lld.\n", OH_AI_TensorGetName(tensor),
248            OH_AI_TensorGetDataSize(tensor), element_num);
249      const float *data = (const float *)OH_AI_TensorGetData(tensor);
250      if (data == NULL) {
251        printf("OH_AI_TensorGetData failed.\n");
252        OH_AI_ModelDestroy(&model);
253        OH_AI_ContextDestroy(&context);
254        return OH_AI_STATUS_LITE_ERROR;
255      }
256      printf("output data is:\n");
257      const int max_print_num = 50;
258      for (int j = 0; j < element_num && j <= max_print_num; ++j) {
259        printf("%f ", data[j]);
260      }
261      printf("\n");
262    }
263    ```
264
2657. 释放模型。
266
267    不再使用MindSpore Lite推理框架时，需要释放已经创建的模型。
268
269    ```c
270    // 释放模型和上下文
271    OH_AI_ModelDestroy(&model);
272    OH_AI_ContextDestroy(&context);
273    ```
274
275## 调测验证
276
2771. 编写CMakeLists.txt。
278
279    ```cmake
280    cmake_minimum_required(VERSION 3.14)
281    project(Demo)
282
283    add_executable(demo main.c)
284
285    target_link_libraries(
286            demo
287            mindspore_lite_ndk
288            pthread
289            dl
290    )
291    ```
292   - 使用ohos-sdk交叉编译，需要指定CMake的工具链路径，即：`-DCMAKE_TOOLCHAIN_FILE="/{sdkPath}/native/build/cmake/ohos.toolchain.cmake"`。
293
294     其中，sdkPath为DevEco Studio安装目录下的SDK路径，可在DevEco Studio工程界面，点击**File** > **Settings...** > **OpenHarmony SDK**，查看**Location**获取。
295
296   - 工具链默认编译64位的程序，如果要编译32位，需要添加：`-DOHOS_ARCH="armeabi-v7a"`。
297
2982. 运行。
299
300    - 使用hdc_std连接设备，并将demo和mobilenetv2.ms推送到设备中的相同目录。
301    - 使用hdc_std shell进入设备，并进入demo所在的目录执行如下命令，即可得到结果。
302
303    ```shell
304    ./demo mobilenetv2.ms
305    ```
306
307    得到如下输出:
308
309    ```shell
310    # ./demo ./mobilenetv2.ms
311    Tensor name: Softmax-65, tensor size is 4004 ,elements num: 1001.
312    output data is:
313    0.000018 0.000012 0.000026 0.000194 0.000156 0.001501 0.000240 0.000825 0.000016 0.000006 0.000007 0.000004 0.000004 0.000004 0.000015 0.000099 0.000011 0.000013 0.000005 0.000023 0.000004 0.000008 0.000003 0.000003 0.000008 0.000014 0.000012 0.000006 0.000019 0.000006 0.000018 0.000024 0.000010 0.000002 0.000028 0.000372 0.000010 0.000017 0.000008 0.000004 0.000007 0.000010 0.000007 0.000012 0.000005 0.000015 0.000007 0.000040 0.000004 0.000085 0.000023
314    ```
315
316## 相关实例
317
318针对MindSpore Lite 的使用，有以下相关实例可供参考：
319
320- [简易MSLite教程](https://gitee.com/openharmony/third_party_mindspore/tree/OpenHarmony-3.2-Release/mindspore/lite/examples/quick_start_c)
321