1# 使用MindSpore Lite进行模型转换 2 3<!--Kit: MindSpore Lite Kit--> 4<!--Subsystem: AI--> 5<!--Owner: @zhuguodong8--> 6<!--Designer: @zhuguodong8; @jjfeing--> 7<!--Tester: @principal87--> 8<!--Adviser: @ge-yafang--> 9 10## 基本概念 11 12- MindSpore Lite：OpenHarmony内置AI推理引擎，提供深度学习模型的推理部署能力。 13 14- Neural Network Runtime：神经网络运行时，简称NNRt。作为中间桥梁，连通上层AI推理框架和底层加速芯片，实现AI模型的跨芯片推理计算。 15 16- 通用的神经网络模型格式，如MindSpore、ONNX、TensorFlow、CAFFE等。 17 18- 离线模型：使用硬件厂商的离线模型转换工具转换得到的模型，由硬件厂商负责解析和推理。 19 20## 场景介绍 21 22MindSpore Lite AI模型部署流程是： 231. 开发者首先将原始模型（如：ONNX、CAFFE等）用MindSpore Lite模型转换工具，生成后缀为.ms的模型文件。MindSpore Lite Kit所支持的ONNX算子，可查询[MindSpore Lite Kit算子支持列表](mindspore-lite-supported-operators.md)，以确保模型转换成功。 242. 然后在代码中调用MindSpore Lite推理引擎接口，执行[模型推理](mindspore-lite-guidelines.md)。 25 26## 获取模型转换工具 27 28对于MindSpore Lite模型转换工具，有以下两种方式可以获取： 29 30### 通过下载获取 31 32| 组件 | 硬件平台 | 操作系统 | 链接 | SHA-256 | 33| ------------------------------------------------------- | -------- | ------------ | ------------------------------------------------------------ | ------------------------------------------------------------ | 34| 端侧推理和训练benchmark工具、converter工具、cropper工具 | CPU | Linux-x86_64 | [mindspore-lite-2.3.0-linux-x64.tar.gz](https://ms-release.obs.cn-north-4.myhuaweicloud.com/2.3.0/MindSpore/lite/release/linux/x86_64/mindspore-lite-2.3.0-linux-x64.tar.gz) | 060d698a171b52c38b64c8d65927816daf4b81d8e2b5069718aeb91a9f8a154c | 35 36### 通过源码编译 37 38> **说明：** 39> 40> - 由于支持转换PyTorch模型的编译选项默认关闭，因此下载的安装包不支持转换PyTorch模型，只能通过源码编译方式获取。 41> 42> - 模型中有transpose与convolution算子融合，需要通过源码编译方式获取。否则可能会发生类似警告：node infer shape failed, node is Default/Conv2DFusion-xxx。 43> 44> - 当指定NPU后端进行推理时，需要自定义[关闭clip算子融合](#关闭指定算子融合)，模型转换工具需要通过源码编译方式获取。否则可能会发生类似报错：BuildKirinNPUModel# Create full model kernel failed。 45 461. 编译环境要求如下： 47 48 - 系统环境：Linux x86_64，推荐使用Ubuntu 18.04.02LTS。 49 - C++编译依赖： 50 - GCC >= 7.3.0 51 - CMake >= 3.18.3 52 - Git >= 2.28.0 53 542. 取[MindSpore Lite源码](https://gitee.com/openharmony/third_party_mindspore)。 55 MindSpore Lite完整源码位于：`mindspore-src/source/`。 56 573. 执行编译。 58 59 如要获取支持转换PyTorch模型的转换工具，编译前需要先`export MSLITE_ENABLE_CONVERT_PYTORCH_MODEL=on && export LIB_TORCH_PATH="/home/user/libtorch"`。转换前加入libtorch的环境变量：`export LD_LIBRARY_PATH="/home/user/libtorch/lib:${LD_LIBRARY_PATH}"`。用户可以下载CPU版本libtorch后解压到`/home/user/libtorch`的目录下。 60 61 ```bash 62 cd mindspore-src/source/ 63 bash build.sh -I x86_64 -j 8 64 ``` 65 66 编译完成后，可从源码根目录的`output/`子目录取得MindSpore Lite发布件。解压后，转换工具位于`tools/converter/converter/`。 67 68## 配置环境变量 69 70获取到模型转换工具之后，还需要将转换工具需要的动态链接库加入环境变量LD_LIBRARY_PATH。 71 72```bash 73export LD_LIBRARY_PATH=${PACKAGE_PATH}/tools/converter/lib:${LD_LIBRARY_PATH} 74``` 75 76其中，${PACKAGE_PATH}对应为编译或下载得到的MindSpore Lite发布件解压后的路径。 77 78 79## 参数说明 80 81MindSpore Lite模型转换工具提供了多种参数设置，用户可根据需要来选择使用。此外，用户可输入`./converter_lite --help`获取实时帮助。 82下面提供详细的参数说明。 83 84 85| 参数 | 是否必选 | 参数说明 | 取值范围 | 86| :----------------: | ------------------- | ------------------------------------------------------------ | ------------------------------------------------ | 87| --help | 否 | 打印全部帮助信息。 | - | 88| --fmk | 是 | 输入模型的原始格式。只有在MS模型转换为Micro代码场景时，才支持设置为MSLITE。 | MINDIR、CAFFE、TFLITE、TF、ONNX、PYTORCH、MSLITE | 89| --modelFile | 是 | 输入模型的路径。 | - | 90| --outputFile | 是 | 输出模型的路径，不需加后缀，可自动生成`.ms`后缀。 | - | 91| --weightFile | 转换CAFFE模型时必选 | 输入模型权重文件的路径。 | - | 92| --configFile | 否 | 1）可作为训练后量化配置文件路径；2）可作为扩展功能配置文件路径。 | - | 93| --fp16 | 否 | 设定在模型序列化时是否需要将float32数据格式的权重存储为float16数据格式。<br/>默认值为off。 | on、off | 94| --inputShape | 否 | 设定模型输入的维度，输入维度的顺序和原始模型保持一致。对某些特定的模型可以进一步优化模型结构，但是转化后的模型将可能失去动态shape的特性。输入名和shape之间用`:`分割，多个输入用`;`分割，同时加上双引号`""`。例如配置为"inTensorName_1: 1,32,32,4;inTensorName_2:1,64,64,4;"。 | - | 95| --inputDataFormat | 否 | 设定导出模型的输入format，只对四维输入有效。<br/>默认值为NHWC。 | NHWC、NCHW | 96| --inputDataType | 否 | 设定量化模型输入tensor的数据类型。仅当模型输入tensor的量化参数（scale和zero point）配置时有效。默认与原始模型输入tensor的数据类型保持一致。<br/>默认值为DEFAULT。 | FLOAT32、INT8、UINT8、DEFAULT | 97| --outputDataType | 否 | 设定量化模型输出tensor的数据类型。仅当模型输出tensor的量化参数（scale和zero point）配置时有效。默认与原始模型输出tensor的数据类型保持一致。<br/>默认值为DEFAULT。 | FLOAT32、INT8、UINT8、DEFAULT | 98| --outputDataFormat | 否 | 设定导出模型的输出format，只对四维输出有效。 | NHWC、NCHW | 99 100> **说明：** 101> - 参数名和参数值之间用等号连接，中间不能有空格。 102> - CAFFE模型一般分为两个文件：`*.prototxt`模型结构，对应`--modelFile`参数；`*.caffemodel`模型权值，对应`--weightFile`参数。 103 104## 使用示例 105 106以CAFFE模型LeNet为例，执行转换命令。 107 108```bash 109./converter_lite --fmk=CAFFE --modelFile=lenet.prototxt --weightFile=lenet.caffemodel --outputFile=lenet 110``` 111本例中，因为采用了CAFFE模型，所以需要模型结构、模型权值两个输入文件。再加上其他必需的fmk类型和输出路径两个参数，即可成功执行。 112结果显示为： 113 114```bash 115CONVERT RESULT SUCCESS:0 116``` 117这表示已经成功将CAFFE模型转化为MindSpore Lite模型，获得新文件`lenet.ms`。 118 119## 离线模型转换（可选） 120 121当部署场景对加载时延要求严格时，开发者希望进一步降低加载时延，可采用另一种部署方案，即基于离线模型的推理。 122 123执行推理时，MindSpore Lite会直接将离线模型传给接入NNRt的 AI 硬件，无需在线构图即可加载，大幅降低模型加载时延，并且可携带额外的硬件特定信息，协助AI硬件推理。 124 125### 约束与限制 126 127- 离线模型仅支持在NNRt后端推理，硬件厂商需接入NNRt且支持离线模型推理。 128- 离线模型转换工具仅支持通过源码编译方式获取。 129- 离线模型在转换时`fmk`必须指定为`THIRDPARTY`。 130- 离线模型本身作为黑盒，转换工具无法直接解析它得到模型输入输出张量信息，因此需要用户在转换工具的扩展配置文件中手动配置。 131 132### 扩展配置文件说明 133 134扩展配置样例如下： 135- 首行`[third_party_model]`为固定关键词，表明此节为离线模型配置。 136- 下方依次是模型输入输出张量的名称、数据类型、形状、内存格式等信息，每个字段独占一行，先后顺序不限，采用键值对格式。 137- 除数据类型和形状必选外，其它为可选配置。 138- 最后，还提供扩展参数字段，可将离线模型所需的自定义配置用键值对的形式一同封装到.ms文件，在推理时由NNRt传递给AI硬件使用。 139 140```text 141[third_party_model] 142input_names=in_0;in_1 143input_dtypes=float32;float32 144input_shapes=8,256,256;8,256,256,3 145input_formats=NCHW;NCHW 146output_names=out_0 147output_dtypes=float32 148output_shapes=8,64 149output_formats=NCHW 150extended_parameters=key_foo:value_foo;key_bar:value_bar 151``` 152 153字段说明： 154 155- `input_names`：[可选]模型输入名称，格式：字符串，多个输入用`;`间隔。 156- `input_dtypes`：[必选]模型输入数据类型，格式：类型，多个输入用`;`间隔。 157- `input_shapes`：[必选]模型输入形状，格式：整数数组，多个输入用`;`间隔。 158- `input_formats`：[可选]模型输入内存布局，格式：字符串，多个输入用`;`间隔，默认值NHWC。 159- `output_names`：[可选]模型输入名称，格式：字符串，多个输入用`;`间隔。 160- `output_dtypes`：[必选]模型输出数据类型，格式：类型，多个输出用`;`间隔。 161- `output_shapes`：[必选]模型输出形状，格式：整数数组，多个输出用`;`间隔。 162- `output_formats`：[可选]模型输出内存布局，格式：字符串，多个输入用`;`间隔，默认值NHWC。 163- `extended_parameters`：[可选]推理硬件自定义配置，字符串键值对格式，会通过NNRt后端传给硬件。 164 165## 附录 166 167### 关闭指定算子融合 168 169如果用户需要关闭指定算子融合功能，可新建配置文件，如converter.cfg，配置文件内容如下： 170 171```ini 172[registry] 173# 当参数disable_fusion=off时，可通过配置fusion_blacklists关闭指定融合；当参数disable_fusion=on时，关闭所有融合，参数fusion_blacklists不生效。默认值为off。 174disable_fusion=off 175# 关闭多个算子融合时，用逗号分隔。 176fusion_blacklists=ConvActivationFusion,MatMulActivationFusion,clip_convert_activation_pass 177``` 178 179在执行converter时，指定参数--configFile=converter.cfg即可。 180 181支持关闭的融合算子如下所示： 182 183- AddConcatActivationFusion 184- SqueezeFusion 185- TransposeFusion 186- ReshapeReshapeFusion 187- ConvBiasaddFusion 188- ConvBatchNormFusion 189- ConvScaleFusion 190- GroupNormFusion 191- TfNormFusion 192- OnnxLayerNormFusion 193- OnnxLayerNormFusion2 194- BatchMatMulFusion 195- BatchNormToScaleFusion 196- SigmoidMulFusion 197- ActivationFusion 198- ConvActivationFusion 199- ConvTupleGetItemFusion 200- ConvTupleActivationFusion 201- TfliteLstmCellFusion 202- TfLstmCellFusion 203- TfBidirectionGruFusion 204- TfGeLUFusion 205- OnnxGeLUFusion 206- TfliteRelPosMultiHeadAttentionFusion 207- GLUFusion 208- ConstFoldPass 209- AffineFusion 210- AffineActivationFusion 211- ConvConvFusion 212- ConvPadFusion 213- MatMulAddFusion 214- MatMulMulFusion 215- TransposeMatMulFusion 216- MulAddFusion 217- ScaleActivationFusion 218- ScaleScaleFusion 219- FullConnectedFusion 220- FullconnectedAddFusion 221- TensorDotFusion 222- MatMulActivationFusion 223- clip_convert_activation_pass