1# 音频解码同步模式 2 3<!--Kit: AVCodec Kit--> 4<!--Subsystem: Multimedia--> 5<!--Owner: @mr-chencxy--> 6<!--Designer: @dpy2650---> 7<!--Tester: @baotianhao--> 8<!--Adviser: @zengyawen--> 9 10从API 20开始，支持音频解码同步模式。 11 12开发者可以调用本模块的Native API接口，完成同步模式的音频解码，即将媒体数据解码为PCM码流。 13 14支持的解码能力请参考[AVCodec支持的格式](avcodec-support-formats.md#音频解码)。 15 16**适用场景** 17 18通常推荐使用异步模式，详细内容请参考[音频解码](audio-decoding.md)。若需要主动请求buffer去送帧，则可以使用同步模式。 19将音视频文件解码为PCM码流，通常需要以下步骤：[媒体数据解析](audio-video-demuxer.md) -> 音频解码。 20本指南描述音频解码过程：输入音频帧和解码出PCM码流。 21 22## 开发指导 23 24详细的API说明请参考[AudioCodec](../../reference/apis-avcodec-kit/_audio_codec.md)。 25 26参考以下示例代码，完成音频解码的全流程，包括：创建解码器、设置解码参数（采样率/码率/声道数等）、开始/刷新/重置/销毁资源。 27 28在应用开发过程中，开发者应按顺序调用方法，执行操作，否则系统可能会抛出异常或生成其他未定义的行为。具体顺序可参考下列开发步骤及对应说明。 29 30音频编解码同步模式调用关系图如下所示： 31 32- 虚线表示可选。 33 34- 实线表示必选。 35 36 37 38### 在 CMake 脚本中链接动态库 39 40```cmake 41target_link_libraries(sample PUBLIC libnative_media_codecbase.so) 42target_link_libraries(sample PUBLIC libnative_media_core.so) 43target_link_libraries(sample PUBLIC libnative_media_acodec.so) 44``` 45> **说明：** 46> 47> 上述'sample'字样仅为示例，开发者需根据实际工程目录进行自定义。 48 49### 开发步骤 50 511. 添加头文件和命名空间。 52 53 ```cpp 54 #include <multimedia/player_framework/native_avcodec_audiocodec.h> 55 #include <multimedia/native_audio_channel_layout.h> 56 #include <multimedia/player_framework/native_avcapability.h> 57 #include <multimedia/player_framework/native_avcodec_base.h> 58 #include <multimedia/player_framework/native_avformat.h> 59 #include <multimedia/player_framework/native_avbuffer.h> 60 61 // c++标准库命名空间。 62 using namespace std; 63 ``` 64 652. 创建解码器实例对象，OH_AVCodec *为解码器实例指针。 66 67 应用可以通过媒体类型或编解码器名称创建解码器。 68 69 方法一：通过Mimetype创建解码器。 70 ```c++ 71 // 通过Mimetype创建解码器，这里示例创建的是AAC编码格式，第二个入参设置false表示当前是解码。 72 OH_AVCodec *audioDec_ = OH_AudioCodec_CreateByMime(OH_AVCODEC_MIMETYPE_AUDIO_AAC, false); 73 ``` 74 方法二：通过codec name创建解码器。 75 ```c++ 76 // 通过codec name创建解码器。 77 OH_AVCapability *capability = OH_AVCodec_GetCapability(OH_AVCODEC_MIMETYPE_AUDIO_AAC, false); 78 const char *name = OH_AVCapability_GetName(capability); 79 OH_AVCodec *audioDec_ = OH_AudioCodec_CreateByName(name); 80 ``` 81 823. （可选）OH_AudioCodec_SetDecryptionConfig设置解密配置。 83 84 当获取到DRM信息（参考[音视频解封装](audio-video-demuxer.md)开发步骤第4步）后，通过此接口进行解密配置。 85 86 DRM相关接口详见[DRM](../../reference/apis-drm-kit/capi-drm.md)。 87 88 此接口需在Prepare前调用。 89 90 添加头文件： 91 92 ```c++ 93 #include <multimedia/drm_framework/native_mediakeysystem.h> 94 #include <multimedia/drm_framework/native_mediakeysession.h> 95 #include <multimedia/drm_framework/native_drm_err.h> 96 #include <multimedia/drm_framework/native_drm_common.h> 97 ``` 98 在CMake脚本中链接动态库： 99 100 ``` cmake 101 target_link_libraries(sample PUBLIC libnative_drm.so) 102 ``` 103 104 使用示例： 105 ```c++ 106 // 根据DRM信息创建指定的DRM系统, 以创建"com.clearplay.drm"为例。 107 MediaKeySystem *system = nullptr; 108 int32_t ret = OH_MediaKeySystem_Create("com.clearplay.drm", &system); 109 if (system == nullptr) { 110 printf("create media key system failed"); 111 return; 112 } 113 114 // 创建解密会话。 115 MediaKeySession *session = nullptr; 116 DRM_ContentProtectionLevel contentProtectionLevel = CONTENT_PROTECTION_LEVEL_SW_CRYPTO; 117 ret = OH_MediaKeySystem_CreateMediaKeySession(system, &contentProtectionLevel, &session); 118 if (ret != DRM_OK) { 119 // 如果创建失败，请查看DRM接口文档及日志信息。 120 printf("create media key session failed."); 121 return; 122 } 123 if (session == nullptr) { 124 printf("media key session is nullptr."); 125 return; 126 } 127 // 获取许可证请求、设置许可证响应等。 128 // 设置解密信息。将解密会话设置到解码器中。当前音频解密不支持安全解码器，设置为false。 129 bool secureAudio = false; 130 ret = OH_AudioCodec_SetDecryptionConfig(audioDec_, session, secureAudio); 131 ``` 132 1334. 调用OH_AudioCodec_Configure()配置解码器。 134 135 配置选项key值说明： 136 137 | key | 描述 | AAC | Flac | Vorbis | MPEG | G711mu | AMR(amrnb、amrwb) | APE | G711a | 138 | ---------------------------- | :--------------: | :--------------------------------: | :--: | :--------------------------------: | :--: | :-----------------: | :-------------------------------: | :--: | :----------------------: | 139 | OH_MD_KEY_ENABLE_SYNC_MODE | 同步模式配置,打开同步模式时，必须配置为1 | 同步模式必须 | 同步模式必须 | 同步模式必须 | 同步模式必须 | 同步模式必须 | 同步模式必须 | 同步模式必须 | 同步模式必须 | 140 | OH_MD_KEY_AUD_SAMPLE_RATE | 采样率 | 必须 | 必须 | 必须 | 必须 | 必须 | 必须 | 必须 | 必须 | 141 | OH_MD_KEY_AUD_CHANNEL_COUNT | 声道数 | 必须 | 必须 | 必须 | 必须 | 必须 | 必须 | 必须 | 必须 | 142 | OH_MD_KEY_MAX_INPUT_SIZE | 最大输入长度 | 可选 | 可选 | 可选 | 可选 | 可选 | 可选 | 可选 | 可选 | 143 | OH_MD_KEY_AAC_IS_ADTS | 是否adts | 可选，默认1 | - | - | - | - | - | - | - | 144 | OH_MD_KEY_AUDIO_SAMPLE_FORMAT | 输出音频流格式 | 可选（SAMPLE_S16LE，SAMPLE_F32LE） | 可选 | 可选（SAMPLE_S16LE，SAMPLE_F32LE） | 可选 | 可选（默认SAMPLE_S16LE）| 可选（SAMPLE_S16LE，SAMPLE_F32LE）| 可选 | 可选（默认SAMPLE_S16LE）| 145 | OH_MD_KEY_BITRATE | 码率 | 可选 | 可选 | 可选 | 可选 | 可选 | 可选 | 可选 | 可选 | 146 | OH_MD_KEY_IDENTIFICATION_HEADER | ID Header | - | - | 必须（和Codec_Config二选一） | - | - | - | - | - | 147 | OH_MD_KEY_SETUP_HEADER | Setup Header | - | - | 必须（和Codec_Config二选一） | - | - | - | - | - | 148 | OH_MD_KEY_CODEC_CONFIG | 编解码器特定数据 | 可选 | - | 必须（和上述ID和Setup二选一） | - | - | - | 可选 | - | 149 150 以下各音频解码类型参数范围说明： 151 152 | 音频解码类型 | 采样率(Hz) | 声道数 | 153 | ----------- | ---------------------------------------------------------------------------------------------- | :----: | 154 | AAC | 8000、11025、12000、16000、22050、24000、32000、44100、48000、64000、88200、96000 | 1~8 | 155 | Flac | 8000、11025、12000、16000、22050、24000、32000、44100、48000、64000、88200、96000、192000 | 1~8 | 156 | Vorbis | 8000、11025、12000、16000、22050、24000、32000、44100、48000、64000、88200、96000、176400、192000 | 1~8 | 157 | MPEG(MP3) | 8000、11025、12000、16000、22050、24000、32000、44100、48000 | 1~2 | 158 | G711mu | 8000 | 1 | 159 | AMR(amrnb) | 8000 | 1 | 160 | AMR(amrwb) | 16000 | 1 | 161 | APE | 8000、11025、12000、16000、22050、24000、32000、44100、48000、64000、88200、96000、176400、192000 | 1~2 | 162 | G711a | 8000、11025、12000、16000、22050、24000、32000、44100、48000 | 1~6 | 163 <!--RP4--> 164 <!--RP4End--> 165 166 ```c++ 167 // 配置音频采样率（必须）。 168 constexpr uint32_t DEFAULT_SAMPLERATE = 44100; 169 // 配置音频声道数（必须）。 170 constexpr uint32_t DEFAULT_CHANNEL_COUNT = 2; 171 // 配置是否为ADTS解码（aac解码时可选）。 172 constexpr uint32_t DEFAULT_AAC_TYPE = 1; 173 OH_AVFormat *format = OH_AVFormat_Create(); 174 // 写入format。 175 OH_AVFormat_SetIntValue(format, OH_MD_KEY_AUD_SAMPLE_RATE, DEFAULT_SAMPLERATE); 176 OH_AVFormat_SetIntValue(format, OH_MD_KEY_AUD_CHANNEL_COUNT, DEFAULT_CHANNEL_COUNT); 177 OH_AVFormat_SetIntValue(format, OH_MD_KEY_AAC_IS_ADTS, DEFAULT_AAC_TYPE); 178 OH_AVFormat_SetIntValue(format, OH_MD_KEY_ENABLE_SYNC_MODE, 1); // 同步模式配置。 179 // 配置解码器。 180 OH_AVErrCode ret = OH_AudioCodec_Configure(audioDec_, format); 181 if (ret != AV_ERR_OK) { 182 // 异常处理。 183 } 184 ``` 185 1865. 调用OH_AudioCodec_Prepare()，解码器就绪。 187 188 ```c++ 189 OH_AVErrCode ret = OH_AudioCodec_Prepare(audioDec_); 190 if (ret != AV_ERR_OK) { 191 // 异常处理。 192 } 193 ``` 194 1956. 调用OH_AudioCodec_Start()启动解码器，进入运行态。 196 197 添加头文件： 198 ```c++ 199 #include <fstream> 200 ``` 201 202 使用示例： 203 ```c++ 204 ifstream inputFile_; 205 ofstream outFile_; 206 207 // 根据实际使用情况填写输入文件路径。为便于演示音频解码功能，此处输入文件包含音频帧及相关信息，而非可直接播放的音频文件。 208 const char* inputFilePath = "/"; 209 // 根据实际使用情况填写输出文件路径。本指南仅演示音频解码功能，解码后的PCM数据保存到文件中，未作进一步处理。 210 const char* outputFilePath = "/"; 211 // 打开待解码二进制文件路径。 212 inputFile_.open(inputFilePath, ios::in | ios::binary); 213 // 配置解码文件输出路径。 214 outFile_.open(outputFilePath, ios::out | ios::binary); 215 // 开始解码。 216 OH_AVErrCode ret = OH_AudioCodec_Start(audioDec_); 217 if (ret != AV_ERR_OK) { 218 // 异常处理。 219 } 220 ``` 221 2227. （可选）调用OH_AVCencInfo_SetAVBuffer()，设置cencInfo。 223 224 如果当前播放的节目是DRM加密节目，并且由上层应用进行[媒体数据解析](audio-video-demuxer.md)，则需要调用OH_AVCencInfo_SetAVBuffer()将cencInfo设置给AVBuffer，以实现媒体数据的解密。 225 226 添加头文件： 227 228 ```c++ 229 #include <multimedia/player_framework/native_cencinfo.h> 230 ``` 231 在CMake脚本中链接动态库： 232 233 ``` cmake 234 target_link_libraries(sample PUBLIC libnative_media_avcencinfo.so) 235 ``` 236 237 使用示例： 238 ```c++ 239 auto buffer = signal_->inBufferQueue_.front(); 240 uint32_t keyIdLen = DRM_KEY_ID_SIZE; 241 uint8_t keyId[] = { 242 0xd4, 0xb2, 0x01, 0xe4, 0x61, 0xc8, 0x98, 0x96, 243 0xcf, 0x05, 0x22, 0x39, 0x8d, 0x09, 0xe6, 0x28}; 244 uint32_t ivLen = DRM_KEY_IV_SIZE; 245 uint8_t iv[] = { 246 0xbf, 0x77, 0xed, 0x51, 0x81, 0xde, 0x36, 0x3e, 247 0x52, 0xf7, 0x20, 0x4f, 0x72, 0x14, 0xa3, 0x95}; 248 uint32_t encryptedBlockCount = 0; 249 uint32_t skippedBlockCount = 0; 250 uint32_t firstEncryptedOffset = 0; 251 uint32_t subsampleCount = 1; 252 DrmSubsample subsamples[1] = { {0x10, 0x16} }; 253 // 创建CencInfo实例。 254 OH_AVCencInfo *cencInfo = OH_AVCencInfo_Create(); 255 if (cencInfo == nullptr) { 256 // 异常处理。 257 } 258 // 设置解密算法。 259 OH_AVErrCode errNo = OH_AVCencInfo_SetAlgorithm(cencInfo, DRM_ALG_CENC_AES_CTR); 260 if (errNo != AV_ERR_OK) { 261 // 异常处理。 262 } 263 // 设置KeyId和Iv。 264 errNo = OH_AVCencInfo_SetKeyIdAndIv(cencInfo, keyId, keyIdLen, iv, ivLen); 265 if (errNo != AV_ERR_OK) { 266 // 异常处理。 267 } 268 // 设置Sample信息。 269 errNo = OH_AVCencInfo_SetSubsampleInfo(cencInfo, encryptedBlockCount, skippedBlockCount, firstEncryptedOffset, 270 subsampleCount, subsamples); 271 if (errNo != AV_ERR_OK) { 272 // 异常处理。 273 } 274 // 设置模式：KeyId、Iv和SubSamples已被设置。 275 errNo = OH_AVCencInfo_SetMode(cencInfo, DRM_CENC_INFO_KEY_IV_SUBSAMPLES_SET); 276 if (errNo != AV_ERR_OK) { 277 // 异常处理。 278 } 279 // 将CencInfo设置到AVBuffer中。 280 errNo = OH_AVCencInfo_SetAVBuffer(cencInfo, buffer); 281 if (errNo != AV_ERR_OK) { 282 // 异常处理。 283 } 284 // 销毁CencInfo实例。 285 errNo = OH_AVCencInfo_Destroy(cencInfo); 286 if (errNo != AV_ERR_OK) { 287 // 异常处理。 288 } 289 ``` 290 2918. 同步模式调用，写入待解码的数据，获取解码的输出。 292 293 读取数据： 294 ```c++ 295 // size是待解码数据的每帧帧长度。pts是每帧的时间戳，用于指示音频应该何时被播放。 296 // size和pts的获取来源：音视频资源文件或者待解码的数据流。 297 // 如果是解码音视频资源文件，则需要从解封装OH_AVDemuxer_ReadSampleBuffer的buffer中获取。 298 // 如果是解码数据流，则需要从数据流的提供者获取。 299 // 此处为了介绍解码功能以测试文件中保存的size和pts为示例。 300 bool DecoderFillInputBuffer(OH_AVBuffer *buffer, ifstream &inputFile) 301 { 302 OH_AVCodecBufferAttr attr; 303 memset(&attr, 0, sizeof(attr)); 304 attr.flags = AVCODEC_BUFFER_FLAGS_EOS; 305 bool finished = true; 306 do { 307 int64_t size; 308 inputFile.read(reinterpret_cast<char *>(&size), sizeof(size)); 309 if (inputFile.eof() || inputFile.gcount() != sizeof(size)) { 310 break; 311 } 312 inputFile.read(reinterpret_cast<char *>(&attr.pts), sizeof(attr.pts)); 313 if (inputFile.gcount() != sizeof(attr.pts)) { 314 break; 315 } 316 attr.size = static_cast<int32_t>(size); 317 if (attr.size > 0) { 318 inputFile.read((char *)OH_AVBuffer_GetAddr(buffer), attr.size); 319 attr.flags = AVCODEC_BUFFER_FLAGS_NONE; 320 finished = false; 321 } 322 } while (0); 323 OH_AVBuffer_SetBufferAttr(buffer, &attr); 324 return finished; 325 } 326 bool InputOneFrame(OH_AVCodec *codec, ifstream &inputFile) 327 { 328 uint32_t index = 0; 329 bool finished = true; 330 OH_AVErrCode ret = OH_AudioCodec_QueryInputBuffer(codec, &index, 20000); // 20000us 331 if (ret == AV_ERR_TRY_AGAIN_LATER) { 332 // 超时，异常处理，设置的超时时间过短或输入输出buffer没有消耗/释放导致解码阻塞。 333 return finished; 334 } 335 if (ret != AV_ERR_OK) { 336 // 异常处理。 337 return finished; 338 } 339 OH_AVBuffer *inputBuf = OH_AudioCodec_GetInputBuffer(codec, index); 340 if (inputBuf == nullptr) { 341 // 异常处理。 342 return finished; 343 } 344 finished = DecoderFillInputBuffer(inputBuf, inputFile); 345 OH_AudioCodec_PushInputBuffer(codec, index); 346 return finished; 347 } 348 349 ``` 350 351 需开发者填充完整的输入数据后调用。 352 353 结束时需要对flags标识成AVCODEC_BUFFER_FLAGS_EOS。 354 355 ```c++ 356 bool inputFinished = false; 357 for (;;) { 358 if (!inputFinished) { 359 inputFinished = InputOneFrame(audioDec_, inputFile_); 360 } 361 uint32_t index; 362 OH_AVErrCode ret = OH_AudioCodec_QueryOutputBuffer(audioDec_, &index, 20000); // 20000us 363 if (ret == AV_ERR_TRY_AGAIN_LATER) { 364 // 超时，异常处理，设置的超时时间过短或输入输出buffer没有消耗/释放导致解码阻塞。 365 continue; 366 } else if (ret == AV_ERR_STREAM_CHANGED) { 367 // 解码输出参数变化后的回调处理，应用根据实际情况进行处理。 368 OH_AVFormat *outFormat = OH_AudioCodec_GetOutputDescription(audioDec_); 369 int32_t sampleRate; 370 int32_t channelCount; 371 int32_t sampleFormat; 372 if (OH_AVFormat_GetIntValue(outFormat, OH_MD_KEY_AUD_SAMPLE_RATE, &sampleRate)) { 373 // 判断采样率是否发生变化，进行对应处理。 374 } 375 if (OH_AVFormat_GetIntValue(outFormat, OH_MD_KEY_AUD_CHANNEL_COUNT, &channelCount)) { 376 // 判断声道数是否发生变化，进行对应处理。 377 } 378 if (OH_AVFormat_GetIntValue(outFormat, OH_MD_KEY_AUDIO_SAMPLE_FORMAT, &sampleFormat)) { 379 // 判断音频采样格式是否发生变化，进行对应处理。 380 } 381 continue; 382 } 383 if (ret != AV_ERR_OK) { 384 // 异常处理。 385 break; 386 } 387 OH_AVBuffer *outputBuf = OH_AudioCodec_GetOutputBuffer(audioDec_, index); 388 if (outputBuf == nullptr) { 389 // 异常处理。 390 break; 391 } 392 OH_AVCodecBufferAttr attr; 393 if (OH_AVBuffer_GetBufferAttr(outputBuf, &attr) != AV_ERR_OK) { 394 // 异常处理。 395 break; 396 } 397 if (attr.flags & AVCODEC_BUFFER_FLAGS_EOS) { 398 OH_AudioCodec_FreeOutputBuffer(audioDec_, index); 399 // 解码输出结束。 400 break; 401 } 402 outFile_.write(reinterpret_cast<char *>(OH_AVBuffer_GetAddr(outputBuf)), attr.size); 403 OH_AudioCodec_FreeOutputBuffer(audioDec_, index); 404 } 405 ``` 406 4079. （可选）调用OH_AudioCodec_Flush()刷新解码器。 408 409 调用OH_AudioCodec_Flush()后，解码器仍处于运行态，但会清空当前队列，释放已解码的数据。刷新前获取到的输入输出buffer都无法接续使用。 410 411 此时需要调用OH_AudioCodec_Start()重新开始解码。 412 413 使用情况： 414 * 之前输入的数据不再使用的场景，例如在解封装seek之后，调用刷新。 415 * 在文件EOS之后，需要调用刷新。 416 * 在执行过程中遇到可继续执行的错误时（即OH_AudioCodec_IsValid 为true）调用。 417 418 ```c++ 419 // 刷新解码器audioDec_。 420 OH_AVErrCode ret = OH_AudioCodec_Flush(audioDec_); 421 if (ret != AV_ERR_OK) { 422 // 异常处理。 423 } 424 // 重新开始解码。 425 ret = OH_AudioCodec_Start(audioDec_); 426 if (ret != AV_ERR_OK) { 427 // 异常处理。 428 } 429 ``` 430 43110. （可选）调用OH_AudioCodec_Reset()重置解码器。 432 433 调用OH_AudioCodec_Reset()后，解码器回到初始化的状态，需要先调用OH_AudioCodec_Configure()重新配置，再调用OH_AudioCodec_Start()重新开始解码。 434 435 ```c++ 436 // 重置解码器audioDec_。 437 OH_AVErrCode ret = OH_AudioCodec_Reset(audioDec_); 438 if (ret != AV_ERR_OK) { 439 // 异常处理。 440 } 441 // 重新配置解码器参数。 442 ret = OH_AudioCodec_Configure(audioDec_, format); 443 if (ret != AV_ERR_OK) { 444 // 异常处理。 445 } 446 ``` 447 44811. 调用OH_AudioCodec_Stop()停止解码器。 449 450 停止后，可以通过调用OH_AudioCodec_Start()重新进入已启动状态（started）。停止前获取到的输入输出buffer都无法接续使用，需要在启动后重新获取输入输出buffer。 451 452 ```c++ 453 // 终止解码器audioDec_。 454 OH_AVErrCode ret = OH_AudioCodec_Stop(audioDec_); 455 if (ret != AV_ERR_OK) { 456 // 异常处理。 457 } 458 ``` 459 46012. 调用OH_AudioCodec_Destroy()销毁解码器实例，释放资源。 461 462 > **说明：** 463 > 464 > 禁止重复销毁解码器。 465 466 ```c++ 467 // 调用OH_AudioCodec_Destroy, 销毁解码器。 468 OH_AVErrCode ret = OH_AudioCodec_Destroy(audioDec_); 469 if (ret != AV_ERR_OK) { 470 // 异常处理。 471 } else { 472 audioDec_ = NULL; // 不可重复destroy。 473 } 474 ``` 475
