1# MIPI CSI 2 3## 概述 4 5### 功能简介 6 7CSI（Camera Serial Interface）是由MIPI联盟下Camera工作组指定的接口标准。CSI-2是MIPI CSI第二版，主要由应用层、协议层、物理层组成，最大支持4通道数据传输、单线传输速度高达1Gb/s。 8 9物理层支持HS（High Speed）和LP（Low Speed）两种工作模式。HS模式下采用低压差分信号，功耗较大，但数据传输速率可以很高（数据速率为80M～1Gbps）；LP模式下采用单端信号，数据速率很低（<10Mbps），但是相应的功耗也很低。两种模式的结合保证了MIPI总线在需要传输大量数据（如图像）时可以高速传输，而在不需要传输大数据量时又能够减少功耗。 10 11图1显示了简化的CSI接口。D-PHY采用1对源同步的差分时钟和1～4对差分数据线来进行数据传输。数据传输采用DDR方式，即在时钟的上下边沿都有数据传输。 12 13 **图 1** CSI发送、接收接口 14 15 16MIPI CSI标准分为应用层、协议层与物理层，协议层又细分为像素字节转换层、低级协议层、Lane管理层。 17 18- 物理层（PHY Layer） 19 20 PHY层指定了传输媒介，在电气层面从串行bit流中捕捉“0”与“1”，同时生成SoT与EoT等信号。 21 22- 协议层（Protocol Layer） 23 24 协议层由三个子层组成，每个子层有不同的职责。CSI-2协议能够在host侧处理器上用一个单独的接口处理多条数据流。协议层规定了多条数据流该如何标记和交织起来，以便每条数据流能够被正确地恢复出来。 25 26 - 像素字节转换层（Pixel/Byte Packing/Unpacking Layer） 27 28 CSI-2规范支持多种不同像素格式的图像应用。在发送方中，本层在发送数据到Low Level Protocol层之前，将来自应用层的像素封包为字节数据。在接收方中，本层在发送数据到应用层之前，将来自Low Level Protocol层的字节数据解包为像素。8位的像素数据在本层中传输时保持不变。 29 30 - 低级协议层（Low Level Protocol） 31 32 LLP主要包含了在SoT和EoT事件之间的bit和byte级别的同步方法，以及和下一层传递数据的方法。LLP最小数据粒度是1个字节。LLP也包含了一个字节内的bit值解析，即Endian(大小端里的Endian的意思)的处理。 33 34 - Lane管理层（Lane Management） 35 36 CSI-2的Lane是可扩展的。具体的数据Lane的数量规范并没有给出限制，具体根据应用的带宽需求而定。发送侧分发（distributor功能）来自出口方向数据流的字节到1条或多条Lane上。接收侧则从一条或多条Lane中收集字节并合并（merge功能）到一个数据流上，复原出原始流的字节顺序。对于C-PHY物理层来说，本层专门分发字节对（16 bits）到数据Lane或从数据Lane中收集字节对。基于每Lane的扰码功能是可选特性。 37 38 协议层的数据组织形式是包（packet）。接口的发送侧会增加包头（header）和错误校验（error-checking）信息到即将被LLP发送的数据上。接收侧在LLP将包头剥掉，包头会被接收器中对应的逻辑所解析。错误校验信息可以用来做入口数据的完整性检查。 39 40- 应用层（Application Layer） 41 42 本层描述了更高层级的应用对于数据中的数据的处理，规范并不涵盖应用层。CSI-2规范只给出了像素值和字节的映射关系。 43 44### 运作机制 45 46MIPI CSI模块各分层的作用为： 47 48- 接口层提供打开设备、写入数据和关闭设备的接口。 49- 核心层主要提供绑定设备、初始化设备以及释放设备的能力。 50- 适配层实现其它具体的功能。 51 52 **说明：**<br>核心层可以调用接口层的函数，核心层通过钩子函数调用适配层函数，从而适配层可以间接的调用接口层函数，但是不可逆转接口层调用适配层函数。 53 54 55 56## 开发指导 57 58### 场景介绍 59 60MIPI CSI仅是一个软件层面的概念，主要工作是CSI资源管理。开发者可以通过使用提供的CSI操作接口，实现对CSI资源管理。当驱动开发者需要将MIPI CSI设备适配到OpenHarmony时，需要进行MIPI CSI驱动适配，下文将介绍如何进行MIPI CSI驱动适配。 61 62### 接口说明 63 64为了保证上层在调用MIPI CSI接口时能够正确的操作硬件，核心层在//drivers/hdf_core/framework/support/platform/include/mipi/mipi_csi_core.h中定义了以下钩子函数。驱动适配者需要在适配层实现这些函数的具体功能，并与这些钩子函数挂接，从而完成接口层与核心层的交互。 65 66MipiCsiCntlrMethod定义： 67 68```c 69struct MipiCsiCntlrMethod { 70 int32_t (*setComboDevAttr)(struct MipiCsiCntlr *cntlr, ComboDevAttr *pAttr); 71 int32_t (*setPhyCmvmode)(struct MipiCsiCntlr *cntlr, uint8_t devno, PhyCmvMode cmvMode); 72 int32_t (*setExtDataType)(struct MipiCsiCntlr *cntlr, ExtDataType* dataType); 73 int32_t (*setHsMode)(struct MipiCsiCntlr *cntlr, LaneDivideMode laneDivideMode); 74 int32_t (*enableClock)(struct MipiCsiCntlr *cntlr, uint8_t comboDev); 75 int32_t (*disableClock)(struct MipiCsiCntlr *cntlr, uint8_t comboDev); 76 int32_t (*resetRx)(struct MipiCsiCntlr *cntlr, uint8_t comboDev); 77 int32_t (*unresetRx)(struct MipiCsiCntlr *cntlr, uint8_t comboDev); 78 int32_t (*enableSensorClock)(struct MipiCsiCntlr *cntlr, uint8_t snsClkSource); 79 int32_t (*disableSensorClock)(struct MipiCsiCntlr *cntlr, uint8_t snsClkSource); 80 int32_t (*resetSensor)(struct MipiCsiCntlr *cntlr, uint8_t snsResetSource); 81 int32_t (*unresetSensor)(struct MipiCsiCntlr *cntlr, uint8_t snsResetSource); 82}; 83``` 84**表1** MipiCsiCntlrMethod成员的钩子函数功能说明 85| 成员函数 | 入参 | 出参 | 返回状态 | 功能 | 86| ------------------ | ------------------------------------------------------------ | ---- | ------------------ | -------------------------- | 87| setComboDevAttr | **cntlr**：结构体指针，MipiCsi控制器 ;<br>**pAttr**：结构体指针，MIPI CSI相应配置结构体指针 | 无 | HDF_STATUS相关状态 | 写入MIPI CSI配置 | 88| setPhyCmvmode | **cntlr**：结构体指针，MipiCsi控制器 ;<br>**devno**：uint8_t，设备编号;<br>**cmvMode**：枚举类型，共模电压模式参数 | 无 | HDF_STATUS相关状态 | 设置共模电压模式 | 89| setExtDataType | **cntlr**：结构体指针，MipiCsi控制器 ;<br>**dataType**：结构体指针，定义YUV和原始数据格式以及位深度 | 无 | HDF_STATUS相关状态 | 设置YUV和RAW数据格式和位深 | 90| setHsMode | **cntlr**：结构体指针，MipiCsi控制器 ;<br>**laneDivideMode**：枚举类型，Lane模式参数 | 无 | HDF_STATUS相关状态 | 设置MIPI RX的Lane分布 | 91| enableClock | **cntlr**：结构体指针，MipiCsi控制器 ;<br>**comboDev**：uint8_t，通路序号 | 无 | HDF_STATUS相关状态 | 使能MIPI的时钟 | 92| disableClock | **cntlr**：结构体指针，MipiCsi控制器 ;<br/>**comboDev**：uint8_t，通路序号 | 无 | HDF_STATUS相关状态 | 关闭MIPI的时钟 | 93| resetRx | **cntlr**：结构体指针，MipiCsi控制器 ;<br/>**comboDev**：uint8_t，通路序号 | 无 | HDF_STATUS相关状态 | 复位MIPI RX | 94| unresetRx | **cntlr**：结构体指针，MipiCsi控制器 ;<br/>**comboDev**：uint8_t，通路序号 | 无 | HDF_STATUS相关状态 | 撤销复位MIPI RX | 95| enableSensorClock | **cntlr**：结构体指针，MipiCsi控制器 ;<br/>**snsClkSource**：uint8_t，传感器的时钟信号线号 | 无 | HDF_STATUS相关状态 | 使能MIPI上的Sensor时钟 | 96| disableSensorClock | **cntlr**：结构体指针，MipiCsi控制器 ;<br/>**snsClkSource**：uint8_t，传感器的时钟信号线号 | 无 | HDF_STATUS相关状态 | 关闭MIPI上的Sensor时钟 | 97| resetSensor | **cntlr**：结构体指针，MipiCsi控制器 ;<br/>**snsClkSource**：uint8_t，传感器的时钟信号线号 | 无 | HDF_STATUS相关状态 | 复位Sensor | 98| unresetSensor | **cntlr**：结构体指针，MipiCsi控制器 ;<br/>**snsClkSource**：uint8_t，传感器的时钟信号线号 | 无 | HDF_STATUS相关状态 | 撤销复位Sensor | 99 100### 开发步骤 101 102MIPI CSI模块适配的三个必选环节是配置属性文件、实例化驱动入口、以及实例化核心层接口函数。 103 1041. 配置属性文件： 105 106 - 在device_info.hcs文件中添加deviceNode描述。 107 - 【可选】添加mipicsi_config.hcs器件属性文件。 108 1092. 实例化驱动入口： 110 111 - 实例化HdfDriverEntry结构体成员。 112 - 调用HDF_INIT将HdfDriverEntry实例化对象注册到HDF框架中。 113 1143. 实例化MIPI CSI控制器对象： 115 116 - 初始化MipiCsiCntlr成员。 117 - 实例化MipiCsiCntlr成员MipiCsiCntlrMethod。 118 > **说明：**<br> 119 >实例化MipiCsiCntlr成员MipiCsiCntlrMethod，其定义和成员说明见[接口说明](#接口说明)。 120 1214. 驱动调试： 122 123 【可选】针对新增驱动程序，建议验证驱动基本功能，例如挂载后的信息反馈，数据传输的成功与否等。 124 125 126### 开发实例 127 128下方将以mipi_rx_hi35xx.c为示例，展示需要厂商提供哪些内容来完整实现设备功能。 129 130 1311. 一般来说，驱动开发首先需要新增mipicsi_config.hcs配置文件，在其中配置器件属性，并在//vendor/hisilicon/hispark_taurus/hdf_config/device_info/device_info.hcs文件中添加deviceNode描述。deviceNode与配置属性的对应关系是依靠deviceMatchAttr字段来完成的。只有当deviceNode下的deviceMatchAttr字段与配置属性文件中的match_attr字段完全相同时，驱动才能正确读取配置数据。 132 133 器件属性值与核心层MipiCsiCntlr 成员的默认值或限制范围有密切关系，deviceNode信息与驱动入口注册相关。 134 135 > **说明：**<br> 136 >本例中MIPI控制器配置属性在源文件中，没有新增配置文件，驱动适配者如有需要，可在device_info.hcs文件的deviceNode增加deviceMatchAttr字段，同时新增mipicsi_config.hcs文件，并使其match_attr字段与之相同。 137 138 device_info.hcs配置参考 139 140 ```c 141 root { 142 device_info { 143 match_attr = "hdf_manager"; 144 platform :: host { 145 hostName = "platform_host"; 146 priority = 50; 147 device_mipi_csi:: device { 148 device0 :: deviceNode { 149 policy = 0; 150 priority = 160; 151 permission = 0644; 152 moduleName = "HDF_MIPI_RX"; // 【必要】用于指定驱动名称，需要与期望的驱动Entry中的moduleName一致。 153 serviceName = "HDF_MIPI_RX"; // 【必要且唯一】驱动对外发布服务的名称 154 } 155 } 156 } 157 } 158 } 159 ``` 160 1612. 完成器件属性文件的配置之后，下一步请实例化驱动入口。 162 163 驱动入口必须为HdfDriverEntry（在hdf_device_desc.h中定义）类型的全局变量，且moduleName要和device_info.hcs中保持一致。HdfDriverEntry结构体的函数指针成员需要被驱动适配者操作函数填充，HDF框架会将所有加载的驱动的HdfDriverEntry对象首地址汇总，形成一个类似数组，方便调用。 164 165 一般在加载驱动时HDF框架会先调用Bind函数，再调用Init函数加载该驱动。当Init调用异常时，HDF框架会调用Release释放驱动资源并退出。 166 167 MIPI CSI驱动入口参考 168 169 ```c 170 struct HdfDriverEntry g_mipiCsiDriverEntry = { 171 .moduleVersion = 1, 172 .Init = Hi35xxMipiCsiInit, // 见Init开发参考 173 .Release = Hi35xxMipiCsiRelease, // 见Release开发参考 174 .moduleName = "HDF_MIPI_RX", // 【必要】需要与device_info.hcs 中保持一致 175 }; 176 HDF_INIT(g_mipiCsiDriverEntry); // 调用HDF_INIT将驱动入口注册到HDF框架中 177 ``` 178 1793. 完成驱动入口注册之后，最后一步就是以核心层MipiCsiCntlr对象的初始化为核心，实现HdfDriverEntry成员函数（Bind，Init，Release）。 180 181 MipiCsiCntlr对象的初始化包括驱动适配者自定义结构体（用于传递参数和数据）和实例化MipiCsiCntlr成员MipiCsiCntlrMethod（让用户可以通过接口来调用驱动底层函数）。 182 183 - 自定义结构体参考 184 185 从驱动的角度看，自定义结构体是参数和数据的载体，一般来说，config文件中的数值也会用来初始化结构体成员，本例的mipicsi器件属性在源文件中，故基本成员结构与MipiCsiCntlr无太大差异。 186 187 ```c 188 typedef struct { 189 /** 数据类型：8/10/12/14/16位 */ 190 DataType inputDataType; 191 /** MIPI波分复用模式 */ 192 MipiWdrMode wdrMode; 193 /** laneId: -1 - 禁用 */ 194 short laneId[MIPI_LANE_NUM]; 195 196 union { 197 /** 用于 HI_MIPI_WDR_MODE_DT */ 198 short dataType[WDR_VC_NUM]; 199 }; 200 } MipiDevAttr; 201 202 typedef struct { 203 /** 设备号 */ 204 uint8_t devno; 205 /** 输入模式: MIPI/LVDS/SUBLVDS/HISPI/DC */ 206 InputMode inputMode; 207 MipiDataRate dataRate; 208 /** MIPI Rx设备裁剪区域（与原始传感器输入图像大小相对应） */ 209 ImgRect imgRect; 210 211 union { 212 MipiDevAttr mipiAttr; 213 LvdsDevAttr lvdsAttr; 214 }; 215 } ComboDevAttr; 216 217 /* MipiCsiCntlr是核心层控制器结构体，其中的成员在Init函数中会被赋值。 */ 218 struct MipiCsiCntlr { 219 /** 当驱动程序绑定到HDF框架时，将发送此控制器提供的服务。 */ 220 struct IDeviceIoService service; 221 /** 当驱动程序绑定到HDF框架时，将传入设备端指针。 */ 222 struct HdfDeviceObject *device; 223 /** 设备号 */ 224 unsigned int devNo; 225 /** 控制器提供的所有接口 */ 226 struct MipiCsiCntlrMethod *ops; 227 /** 对于控制器调试的所有接口，如果未实现驱动程序，则需要null。 */ 228 struct MipiCsiCntlrDebugMethod *debugs; 229 /** 控制器上下文参数变量 */ 230 MipiDevCtx ctx; 231 /** 访问控制器上下文参数变量时锁定 */ 232 OsalSpinlock ctxLock; 233 /** 操作控制器时锁定方法 */ 234 struct OsalMutex lock; 235 /** 匿名数据指针，用于存储csi设备结构。 */ 236 void *priv; 237 }; 238 ``` 239 240 - MipiCsiCntlr成员钩子函数结构体MipiCsiCntlrMethod的实例化 241 242 > **说明：**<br> 243 >其他成员在Init函数中初始化。 244 245 ```c 246 static struct MipiCsiCntlrMethod g_method = { 247 .setComboDevAttr = Hi35xxSetComboDevAttr, 248 .setPhyCmvmode = Hi35xxSetPhyCmvmode, 249 .setExtDataType = Hi35xxSetExtDataType, 250 .setHsMode = Hi35xxSetHsMode, 251 .enableClock = Hi35xxEnableClock, 252 .disableClock = Hi35xxDisableClock, 253 .resetRx = Hi35xxResetRx, 254 .unresetRx = Hi35xxUnresetRx, 255 .enableSensorClock = Hi35xxEnableSensorClock, 256 .disableSensorClock = Hi35xxDisableSensorClock, 257 .resetSensor = Hi35xxResetSensor, 258 .unresetSensor = Hi35xxUnresetSensor 259 }; 260 ``` 261 262 - Init函数开发参考 263 264 入参： 265 266 HdfDeviceObject是整个驱动对外暴露的接口参数，具备HCS配置文件的信息。 267 268 返回值： 269 270 HDF_STATUS相关状态（下表为部分展示，如需使用其他状态，可见//drivers/hdf_core/framework/include/utils/hdf_base.h中HDF_STATUS定义）。 271 272 **表2** HDF_STATUS返回值描述 273 274 | 状态(值) | 问题描述 | 275 | :--------------------- | :----------: | 276 | HDF_ERR_INVALID_OBJECT | 无效对象 | 277 | HDF_ERR_MALLOC_FAIL | 内存分配失败 | 278 | HDF_ERR_INVALID_PARAM | 无效参数 | 279 | HDF_ERR_IO | I/O 错误 | 280 | HDF_SUCCESS | 执行成功 | 281 | HDF_FAILURE | 执行失败 | 282 283 函数说明： 284 285 MipiCsiCntlrMethod的实例化对象的挂载，调用MipiCsiRegisterCntlr，以及其他驱动适配者自定义初始化操作。 286 287 ```c 288 static int32_t Hi35xxMipiCsiInit(struct HdfDeviceObject *device) 289 { 290 int32_t ret; 291 292 HDF_LOGI("%s: enter!", __func__); 293 g_mipiCsi.priv = NULL; // g_mipiTx是定义的全局变量 294 // static struct MipiCsiCntlr g_mipiCsi = { 295 // .devNo = 0 296 // }; 297 g_mipiCsi.ops = &g_method; // MipiCsiCntlrMethod的实例化对象的挂载 298 #ifdef CONFIG_HI_PROC_SHOW_SUPPORT 299 g_mipiCsi.debugs = &g_debugMethod; 300 #endif 301 ret = MipiCsiRegisterCntlr(&g_mipiCsi, device); // 【必要】调用核心层函数和g_mipiTx初始化核心层全局变量 302 if (ret != HDF_SUCCESS) { 303 HDF_LOGE("%s: [MipiCsiRegisterCntlr] failed!", __func__); 304 return ret; 305 } 306 307 ret = MipiRxDrvInit(); // 【必要】驱动适配者对设备的初始化，形式不限。 308 if (ret != HDF_SUCCESS) { 309 HDF_LOGE("%s: [MipiRxDrvInit] failed.", __func__); 310 return ret; 311 } 312 #ifdef MIPICSI_VFS_SUPPORT 313 ret = MipiCsiDevModuleInit(g_mipiCsi.devNo); 314 if (ret != HDF_SUCCESS) { 315 HDF_LOGE("%s: [MipiCsiDevModuleInit] failed!", __func__); 316 return ret; 317 } 318 #endif 319 320 OsalSpinInit(&g_mipiCsi.ctxLock); 321 HDF_LOGI("%s: load mipi csi driver success!", __func__); 322 323 return ret; 324 } 325 326 /* mipi_csi_core.c核心层 */ 327 int32_t MipiCsiRegisterCntlr(struct MipiCsiCntlr *cntlr, struct HdfDeviceObject *device) 328 { 329 ... 330 /* 定义的全局变量：static struct MipiCsiHandle g_mipiCsihandle[MAX_CNTLR_CNT]; */ 331 if (g_mipiCsihandle[cntlr->devNo].cntlr == NULL) { 332 (void)OsalMutexInit(&g_mipiCsihandle[cntlr->devNo].lock); 333 (void)OsalMutexInit(&(cntlr->lock)); 334 335 g_mipiCsihandle[cntlr->devNo].cntlr = cntlr; // 初始化MipiCsiHandle成员 336 g_mipiCsihandle[cntlr->devNo].priv = NULL; 337 cntlr->device = device; // 使HdfDeviceObject与MipiCsiHandle可以相互转化的前提 338 device->service = &(cntlr->service); // 使HdfDeviceObject与MipiCsiHandle可以相互转化的前提 339 cntlr->priv = NULL; 340 HDF_LOGI("%s: success.", __func__); 341 342 return HDF_SUCCESS; 343 } 344 345 HDF_LOGE("%s: cntlr already exists.", __func__); 346 return HDF_FAILURE; 347 } 348 ``` 349 350 - Release函数开发参考 351 352 入参： 353 354 HdfDeviceObject是整个驱动对外暴露的接口参数，具备HCS配置文件的信息。 355 356 返回值： 357 358 无 359 360 函数说明： 361 362 该函数需要在驱动入口结构体中赋值给Release接口，当HDF框架调用Init函数初始化驱动失败时，可以调用Release释放驱动资源，该函数中需包含释放内存和删除控制器等操作。 363 364 > **说明：**<br> 365 >所有强制转换获取相应对象的操作前提是在Init函数中具备对应赋值的操作。 366 367 ```c 368 static void Hi35xxMipiCsiRelease(struct HdfDeviceObject *device) 369 { 370 struct MipiCsiCntlr *cntlr = NULL; 371 ... 372 cntlr = MipiCsiCntlrFromDevice(device); // 这里有HdfDeviceObject到MipiCsiCntlr的强制转化 373 // return (device == NULL) ? NULL : (struct MipiCsiCntlr *)device->service; 374 ... 375 376 OsalSpinDestroy(&cntlr->ctxLock); 377 #ifdef MIPICSI_VFS_SUPPORT 378 MipiCsiDevModuleExit(cntlr->devNo); 379 #endif 380 MipiRxDrvExit(); // 【必要】对设备所占资源的释放 381 MipiCsiUnregisterCntlr(&g_mipiCsi); // 空函数 382 g_mipiCsi.priv = NULL; 383 384 HDF_LOGI("%s: unload mipi csi driver success!", __func__); 385 } 386 ``` 387
