1# 音频编码 2 3开发者可以调用本模块的Native API接口，完成音频编码，即将音频PCM编码压缩成不同的格式。 4 5接口不限制PCM数据的来源，开发者可以调用麦克风录制获取、也可以导入编辑后的PCM数据，通过音频编码，输出对应格式的码流，最后封装为目标格式文件。 6 7当前支持的编码能力如下： 8 9| 容器规格 | 音频编码类型 | 10| -------- | :----------- | 11| mp4 | AAC、Flac | 12| m4a | AAC | 13| flac | Flac | 14| aac | AAC | 15 16**适用场景** 17 18- 音频录制 19 20 通过录制传入PCM，然后编码出对应格式的码流，最后封装成想要的格式 21- 音频编辑 22 23 编辑PCM后导出音频文件的场景，需要编码成对应音频格式后再封装成文件 24 25## 开发指导 26 27详细的API说明请参考[API文档](../reference/native-apis/_audio_encoder.md)。 28 29参考以下示例代码，完成音频编码的全流程，包括：创建编码器，设置编码参数（采样率/码率/声道数等），开始，刷新，重置，销毁资源。 30 31在应用开发过程中，开发者应按一定顺序调用方法，执行对应操作，否则系统可能会抛出异常或生成其他未定义的行为。具体顺序可参考下列开发步骤及对应说明。 32完整代码请参考[示例程序](https://gitee.com/openharmony/multimedia_av_codec/blob/master/test/nativedemo/audio_demo/avcodec_audio_aac_encoder_demo.cpp)。 33 34如下为音频编码调用关系图： 35 36 37### 在 CMake 脚本中链接动态库 38``` cmake 39target_link_libraries(sample PUBLIC libnative_media_codecbase.so) 40target_link_libraries(sample PUBLIC libnative_media_core.so) 41target_link_libraries(sample PUBLIC libnative_media_aenc.so) 42``` 43 44### 开发步骤 45 461. 创建编码器实例对象 47 48 应用可以通过名称或媒体类型创建编码器。 49 50 ```cpp 51 //c++标准库命名空间 52 using namespace std; 53 //通过 codecname 创建编码器 54 OH_AVCapability *capability = OH_AVCodec_GetCapability(OH_AVCODEC_MIMETYPE_AUDIO_AAC, true); 55 const char *name = OH_AVCapability_GetName(capability); 56 OH_AVCodec *audioEnc = OH_AudioEncoder_CreateByName(name); 57 ``` 58 ```cpp 59 //通过媒体类型创建编码器 60 OH_AVCodec *audioEnc = OH_AudioEncoder_CreateByMime(OH_AVCODEC_MIMETYPE_AUDIO_AAC); 61 ``` 62 ```cpp 63 // 初始化队列 64 class AEncSignal { 65 public: 66 mutex inMutex_; 67 mutex outMutex_; 68 mutex startMutex_; 69 condition_variable inCond_; 70 condition_variable outCond_; 71 condition_variable startCond_; 72 queue<uint32_t> inQueue_; 73 queue<uint32_t> outQueue_; 74 queue<OH_AVMemory *> inBufferQueue_; 75 queue<OH_AVMemory *> outBufferQueue_; 76 queue<OH_AVCodecBufferAttr> attrQueue_; 77 }; 78 AEncSignal *signal_ = new AEncSignal(); 79 ``` 802. 调用OH_AudioEncoder_SetCallback()设置回调函数。 81 82 注册回调函数指针集合OH_AVCodecAsyncCallback，包括： 83 84 - OH_AVCodecOnError：编码器运行错误。 85 - OH_AVCodecOnStreamChanged：码流信息变化，如声道变化等。 86 - OH_AVCodecOnNeedInputData：运行过程中需要新的输入数据，即编码器已准备好，可以输入PCM数据。 87 - OH_AVCodecOnNewOutputData：运行过程中产生了新的输出数据，即编码完成。 88 89 开发者可以通过处理该回调报告的信息，确保编码器正常运转。 90 91 ```cpp 92 // OH_AVCodecOnError回调函数的实现 93 static void OnError(OH_AVCodec *codec, int32_t errorCode, void *userData) 94 { 95 (void)codec; 96 (void)errorCode; 97 (void)userData; 98 } 99 // OH_AVCodecOnStreamChanged回调函数的实现 100 static void OnStreamChanged(OH_AVCodec *codec, OH_AVFormat *format, void *userData) 101 { 102 (void)codec; 103 (void)format; 104 (void)userData; 105 } 106 // OH_AVCodecOnNeedInputData回调函数的实现 107 static void OnNeedInputData(OH_AVCodec *codec, uint32_t index, OH_AVMemory *data, void *userData) 108 { 109 (void)codec; 110 // 编码输入码流送入InputBuffer队列 111 AEncSignal *signal = static_cast<AEncSignal *>(userData); 112 unique_lock<mutex> lock(signal->inMutex_); 113 signal->inQueue_.push(index); 114 signal->inBufferQueue_.push(data); 115 signal->inCond_.notify_all(); 116 } 117 // OH_AVCodecOnNewOutputData回调函数的实现 118 static void OnNeedOutputData(OH_AVCodec *codec, uint32_t index, OH_AVMemory *data, OH_AVCodecBufferAttr *attr, 119 void *userData) 120 { 121 (void)codec; 122 // 将对应输出buffer的index送入OutputQueue_队列 123 // 将对应编码完成的数据data送入outBuffer队列 124 AEncSignal *signal = static_cast<AEncSignal *>(userData); 125 unique_lock<mutex> lock(signal->outMutex_); 126 signal->outQueue_.push(index); 127 signal->outBufferQueue_.push(data); 128 if (attr) { 129 signal->attrQueue_.push(*attr); 130 } 131 } 132 signal_ = new AEncSignal(); 133 OH_AVCodecAsyncCallback cb = {&OnError, &OnStreamChanged, &OnNeedInputData, &OnNeedOutputData}; 134 // 配置异步回调 135 int32_t ret = OH_AudioEncoder_SetCallback(audioEnc, cb, signal_); 136 if (ret != AV_ERR_OK) { 137 // 异常处理 138 } 139 ``` 1403. 调用OH_AudioEncoder_Configure设置编码器 141 设置必选项：采样率，码率，以及声道数，声道类型、位深；可选项：最大输入长度 142 flac编码： 需要额外标识兼容性级别(Compliance Level)和采样精度 143 144 例AAC调用流程： 145 ```cpp 146 #include "avcodec_audio_channel_layout.h" 147 148 int32_t ret; 149 // 配置音频采样率（必须） 150 constexpr uint32_t DEFAULT_SAMPLERATE = 44100; 151 // 配置音频码率（必须） 152 constexpr uint64_t DEFAULT_BITRATE = 32000; 153 // 配置音频声道数（必须） 154 constexpr uint32_t DEFAULT_CHANNEL_COUNT = 2; 155 // 配置音频声道类型（必须） 156 constexpr AudioChannelLayout CHANNEL_LAYOUT = AudioChannelLayout::STEREO; 157 // 配置音频位深（必须）aac只有SAMPLE_F32P 158 constexpr OH_BitsPerSample SAMPLE_FORMAT = OH_BitsPerSample::SAMPLE_F32LE; 159 // 配置音频compliance level (默认值0，取值范围-2~2) 160 constexpr int32_t COMPLIANCE_LEVEL = 0; 161 // 配置音频精度（必须） SAMPLE_S16LE和SAMPLE_S24LE和SAMPLE_S32LE 162 constexpr uint32_t BITS_PER_CODED_SAMPLE = OH_BitsPerSample::SAMPLE_S24LE; 163 // 配置最大输入长度（可选） 164 constexpr uint32_t DEFAULT_MAX_INPUT_SIZE = 1024*DEFAULT_CHANNEL_COUNT *sizeof(float);//aac 165 OH_AVFormat *format = OH_AVFormat_Create(); 166 // 写入format 167 OH_AVFormat_SetIntValue(format,OH_MD_KEY_AUD_CHANNEL_COUNT,DEFAULT_CHANNEL_COUNT); 168 OH_AVFormat_SetIntValue(format,OH_MD_KEY_AUD_SAMPLE_RATE,DEFAULT_SAMPLERATE); 169 OH_AVFormat_SetLongValue(format,OH_MD_KEY_BITRATE, DEFAULT_BITRATE); 170 OH_AVFormat_SetIntValue(format, OH_MD_KEY_AUDIO_SAMPLE_FORMAT, SAMPLE_FORMAT); 171 OH_AVFormat_SetLongValue(format,OH_MD_KEY_CHANNEL_LAYOUT,CHANNEL_LAYOUT); 172 OH_AVFormat_SetIntValue(format,OH_MD_KEY_MAX_INPUT_SIZE,DEFAULT_MAX_INPUT_SIZE); 173 // 配置编码器 174 ret = OH_AudioEncoder_Configure(audioEnc, format); 175 if (ret != AV_ERR_OK) { 176 // 异常处理 177 } 178 ``` 179 例FLAC调用流程： 180 ```cpp 181 #include "avcodec_audio_channel_layout.h" 182 183 int32_t ret; 184 // 配置音频采样率（必须） 185 constexpr uint32_t DEFAULT_SMAPLERATE = 44100; 186 // 配置音频码率（必须） 187 constexpr uint64_t DEFAULT_BITRATE = 32000; 188 // 配置音频声道数（必须） 189 constexpr uint32_t DEFAULT_CHANNEL_COUNT = 2; 190 // 配置音频声道类型（必须） 191 constexpr AudioChannelLayout CHANNEL_LAYOUT = AudioChannelLayout::STEREO; 192 // 配置音频位深（必须） flac 只有SAMPLE_S16LE和SAMPLE_S32LE 193 constexpr OH_BitsPerSample SAMPLE_FORMAT = OH_BitsPerSample::SAMPLE_S32LE; 194 // 配置音频compliance level (默认值0，取值范围-2~2) 195 constexpr int32_t COMPLIANCE_LEVEL = 0; 196 // 配置音频精度（必须） SAMPLE_S16LE和SAMPLE_S24LE和SAMPLE_S32LE 197 constexpr uint32_t BITS_PER_CODED_SAMPLE = OH_BitsPerSample::SAMPLE_S24LE; 198 OH_AVFormat *format = OH_AVFormat_Create(); 199 // 写入format 200 OH_AVFormat_SetIntValue(format,OH_MD_KEY_AUD_CHANNEL_COUNT,DEFAULT_CHANNEL_COUNT); 201 OH_AVFormat_SetIntValue(format,OH_MD_KEY_AUD_SAMPLE_RATE,DEFAULT_SMAPLERATE); 202 OH_AVFormat_SetLongValue(format,OH_MD_KEY_BITRATE, DEFAULT_BITRATE); 203 OH_AVFormat_SetIntValue(format, OH_MD_KEY_BITS_PER_CODED_SAMPLE, BITS_PER_CODED_SAMPLE); 204 OH_AVFormat_SetIntValue(format, OH_MD_KEY_AUDIO_SAMPLE_FORMAT, SAMPLE_FORMAT); 205 OH_AVFormat_SetLongValue(format,OH_MD_KEY_CHANNEL_LAYOUT,CHANNEL_LAYOUT); 206 OH_AVFormat_SetLongValue(format, OH_MD_KEY_COMPLIANCE_LEVEL, COMPLIANCE_LEVEL); 207 // 配置编码器 208 ret = OH_AudioEncoder_Configure(audioEnc, format); 209 if (ret != AV_ERR_OK) { 210 // 异常处理 211 } 212 ``` 2134. 调用OH_AudioEncoder_Prepare()，编码器就绪。 214 215 ```c++ 216 OH_AudioEncoder_Prepare(audioEnc); 217 ``` 2185. 调用OH_AudioEncoder_Start()启动编码器，进入运行态。 219 220 ```c++ 221 unique_ptr<ifstream> inputFile_ = make_unique<ifstream>(); 222 unique_ptr<ofstream> outFile_ = make_unique<ofstream>(); 223 // 打开待编码二进制文件路径 224 inputFile_->open(inputFilePath.data(), ios::in |ios::binary); 225 //配置编码文件输出路径 226 outFile_->open(outputFilePath.data(), ios::out |ios::binary); 227 // 开始编码 228 ret = OH_AudioEncoder_Start(audioEnc); 229 if (ret != AV_ERR_OK) { 230 // 异常处理 231 } 232 ``` 2336. 调用OH_AudioEncoder_PushInputData()，写入待编码器的数据。 234 如果是结束，需要对flag标识成AVCODEC_BUFFER_FLAGS_EOS 235 236 aac： 样点数(FRAME_SIZE)固定为1024 237 238 flac： 样点数(FRAME_SIZE)比较特殊需要，根据如下表格进行设置 239 240 | 采样率 | 样点数 | 241 | :----: | :----: | 242 | 8000 | 576 | 243 | 16000 | 1152 | 244 | 22050 | 2304 | 245 | 24000 | 2304 | 246 | 32000 | 2304 | 247 | 44100 | 4608 | 248 | 48000 | 4608 | 249 | 88200 | 8192 | 250 | 96000 | 8192 | 251 252 **注意**：aac的样点数固定为1024，其他值会直接返回错误码，flac的样点数建议根据采样率按照表格传入，大于这个值也会返回错误码，如果小于有可能出现编码文件损坏问题。 253 254 255 ```c++ 256 constexpr int32_t FRAME_SIZE = 1024; //aac 257 constexpr int32_t DEFAULT_CHANNEL_COUNT = 2; 258 constexpr int32_t INPUT_FRAME_BYTES = DEFAULT_CHANNEL_COUNT * FRAME_SIZE * sizeof(float); //aac 259 // 配置buffer info信息 260 OH_AVCodecBufferAttr info; 261 // 设置输入尺寸、偏移量、时间戳等信息 262 info.size = INPUT_FRAME_BYTES; 263 info.offset = 0; 264 info.flags = AVCODEC_BUFFER_FLAGS_CODEC_DATA; 265 auto buffer = signal_->inBufferQueue_.front(); 266 if (inputFile_->eof()){ 267 info.size = 0; 268 info.flags = AVCODEC_BUFFER_FLAGS_EOS; 269 }else{ 270 inputFile_->read((char *)OH_AVMemory_GetAddr(buffer), INPUT_FRAME_BYTES); 271 } 272 uint32_t index = signal_->inQueue_.front(); 273 // 送入编码输入队列进行编码, index为对应队列下标 274 int32_t ret = OH_AudioEncoder_PushInputData(audioEnc, index,info); 275 if (ret != AV_ERR_OK) { 276 // 异常处理 277 } 278 ``` 2797. 调用OH_AudioEncoder_FreeOutputData()，输出编码格式码流 280 281 ```c++ 282 OH_AVCodecBufferAttr attr = signal_->attrQueue_.front(); 283 OH_AVMemory *data = signal_->outBufferQueue_.front(); 284 uint32_t index = signal_->outQueue_.front(); 285 // 将编码完成数据data写入到对应输出文件中 286 outFile_->write(reinterpret_cast<char *>(OH_AVMemory_GetAdd(data)), attr.size); 287 // 释放已完成写入的数据 288 ret = OH_AudioEncoder_FreeOutputData(audioEnc, index); 289 if (ret != AV_ERR_OK) { 290 // 异常处理 291 } 292 if (attr.flags == AVCODEC_BUFFER_FLAGS_EOS) { 293 cout << "decode eos" << endl; 294 isRunning_.store(false); 295 break; 296 } 297 ``` 2988. （可选）调用OH_AudioEncoder_Flush()刷新编码器。 299 调用OH_AudioEncoder_Flush()后，编码器处于Flush状态，会将当前编码队列清空。 300 此时需要调用OH_AudioEncoder_Start()重新开始编码。 301 使用情况： 302 303 * 在文件EOS之后，需要调用刷新 304 * 在执行过程中遇到可继续执行的错误时（即OH_AudioEncoder_IsValid 为true）可以调用，然后重新调用OH_AudioEncoder_Start 305 306 ```c++ 307 // 刷新编码器 audioEnc 308 ret = OH_AudioEncoder_Flush(audioEnc); 309 if (ret != AV_ERR_OK) { 310 // 异常处理 311 } 312 // 重新开始编码 313 ret = OH_AudioEncoder_Start(audioEnc); 314 if (ret != AV_ERR_OK) { 315 // 异常处理 316 } 317 ``` 3189. （可选）调用OH_AudioEncoder_Reset()重置编码器。 319 调用OH_AudioEncoder_Reset()后，编码器回到初始化的状态，需要调用OH_AudioEncoder_Configure()重新配置，然后调用OH_AudioEncoder_Start()重新开始编码。。 320 321 ```c++ 322 // 重置编码器 audioEnc 323 ret = OH_AudioEncoder_Reset(audioEnc); 324 if (ret != AV_ERR_OK) { 325 // 异常处理 326 } 327 // 重新配置编码器参数 328 ret = OH_AudioEncoder_Configure(audioEnc, format); 329 if (ret != AV_ERR_OK) { 330 // 异常处理 331 } 332 ``` 33310. 调用OH_AudioEncoder_Stop()停止编码器。 334 335 ```c++ 336 // 终止编码器 audioEnc 337 ret = OH_AudioEncoder_Stop(audioEnc); 338 if (ret != AV_ERR_OK) { 339 // 异常处理 340 } 341 ``` 34211. 调用OH_AudioEncoder_Destroy()销毁编码器实例，释放资源。 343 **注意**：资源不能重复销毁 344 345 ```c++ 346 // 调用OH_AudioEncoder_Destroy, 注销编码器 347 ret = OH_AudioEncoder_Destroy(audioEnc); 348 if (ret != AV_ERR_OK) { 349 // 异常处理 350 } else { 351 audioEnc = NULL; //不可重复destroy 352 } 353 ``` 354
