1# 使用OpenSL ES开发音频录制功能 2 3OpenSL ES全称为Open Sound Library for Embedded Systems，是一个嵌入式、跨平台、免费的音频处理库。为嵌入式移动多媒体设备上的应用开发者提供标准化、高性能、低延迟的API。OpenHarmony的Native API基于[Khronos Group](https://www.khronos.org/)开发的[OpenSL ES](https://www.khronos.org/opensles/) 1.0.1 API 规范实现，开发者可以通过<OpenSLES.h>和<OpenSLES_OpenHarmony.h>在OpenHarmony上使用相关API。 4 5## OpenHarmony上的OpenSL ES 6 7OpenSL ES中提供了以下的接口，OpenHarmony当前仅实现了部分[接口](https://gitee.com/openharmony/third_party_opensles/blob/master/api/1.0.1/OpenSLES.h)，可以实现音频录制的基础功能。 8 9调用未实现接口后会返回**SL_RESULT_FEATURE_UNSUPPORTED，**当前没有相关扩展可以使用。 10 11以下列表列举了OpenHarmony上已实现的OpenSL ES的接口，具体说明请参考[OpenSL ES](https://www.khronos.org/opensles/)规范： 12 13- **OpenHarmony上支持的Engine接口：** 14 - SLresult (\*CreateAudioPlayer) (SLEngineItf self, SLObjectItf \* pPlayer, SLDataSource \*pAudioSrc, SLDataSink \*pAudioSnk, SLuint32 numInterfaces, const SLInterfaceID \* pInterfaceIds, const SLboolean \* pInterfaceRequired) 15 - SLresult (\*CreateAudioRecorder) (SLEngineItf self, SLObjectItf \* pRecorder, SLDataSource \*pAudioSrc, SLDataSink \*pAudioSnk, SLuint32 numInterfaces, const SLInterfaceID \* pInterfaceIds, const SLboolean \* pInterfaceRequired) 16 - SLresult (\*CreateOutputMix) (SLEngineItf self, SLObjectItf \* pMix, SLuint32 numInterfaces, const SLInterfaceID \* pInterfaceIds, const SLboolean \* pInterfaceRequired) 17 18- **OpenHarmony上支持的Object接口：** 19 - SLresult (\*Realize) (SLObjectItf self, SLboolean async) 20 - SLresult (\*GetState) (SLObjectItf self, SLuint32 \* pState) 21 - SLresult (\*GetInterface) (SLObjectItf self, const SLInterfaceID iid, void \* pInterface) 22 - void (\*Destroy) (SLObjectItf self) 23 24- **OpenHarmony上支持的Recorder接口：** 25 - SLresult (\*SetRecordState) (SLRecordItf self, SLuint32 state) 26 - SLresult (\*GetRecordState) (SLRecordItf self,SLuint32 \*pState) 27 28- **OpenHarmony上支持的BufferQueue接口**： 29 30 以下接口需引入<OpenSLES_OpenHarmony.h>使用。 31 | 接口 | 说明 | 32 | -------- | -------- | 33 | SLresult (\*Enqueue) (SLOHBufferQueueItf self, const void \*buffer, SLuint32 size) | 根据情况将buffer加到相应队列中。<br/>如果是播放操作，则将带有音频数据的buffer插入到filledBufferQ_队列中；如果是录音操作，则将录音使用后的空闲buffer插入到freeBufferQ_队列中。<br/>self：表示调用该函数的BufferQueue接口对象。<br/>buffer：播放时表示带有音频数据的buffer，录音时表示已存储完录音数据后的空闲buffer。<br/>size：表示buffer的大小。 | 34 | SLresult (\*Clear) (SLOHBufferQueueItf self) | 释放BufferQueue接口对象。<br/>self：表示调用该函数的BufferQueue接口对象将被释放。 | 35 | SLresult (\*GetState) (SLOHBufferQueueItf self, SLOHBufferQueueState \*state) | 获取BufferQueue接口对象状态。<br/>self：表示调用该函数的BufferQueue接口对象。<br/>state：BufferQueue的当前状态。 | 36 | SLresult (\*RegisterCallback) (SLOHBufferQueueItf self, SlOHBufferQueueCallback callback, void\* pContext) | 注册回调函数。<br/>self：表示调用该函数的BufferQueue接口对象。<br/>callback：播放/录音时注册的回调函数。<br/>pContext：播放时传入待播放音频文件，录音时传入将要录制的音频文件。 | 37 | SLresult (\*GetBuffer) (SLOHBufferQueueItf self, SLuint8\*\* buffer, SLuint32\* size) | 根据情况获取相应的buffer。<br/>如果是播放操作，则从freeBufferQ_队列中获取空闲buffer；如果是录音操作，则从filledBufferQ_队列中获取携带录音数据的buffer。<br/>self：表示调用该函数的BufferQueue接口对象。<br/>buffer：播放时表示空闲的buffer，录音时表示携带录音数据的buffer。<br/>size：表示buffer的大小。 | 38 39## 完整示例 40 41参考下列示例代码，完成音频录制。 42 431. 添加头文件 44 45 ```c++ 46 #include <OpenSLES.h> 47 #include <OpenSLES_OpenHarmony.h> 48 #include <OpenSLES_Platform.h> 49 ``` 50 512. 使用slCreateEngine接口创建引擎对象和实例化引擎对象engine。 52 53 ```c++ 54 SLObjectItf engineObject = nullptr; 55 slCreateEngine(&engineObject, 0, nullptr, 0, nullptr, nullptr); 56 (*engineObject)->Realize(engineObject, SL_BOOLEAN_FALSE); 57 ``` 58 593. 获取接口SL_IID_ENGINE的引擎接口engineEngine实例。 60 61 ```c++ 62 SLEngineItf engineItf = nullptr; 63 (*engineObject)->GetInterface(engineObject, SL_IID_ENGINE, &engineItf); 64 ``` 65 664. 配置录音器信息（配置输入源audiosource、输出源audiosink），创建录音对象pcmCapturerObject。 67 68 ```c++ 69 SLDataLocator_IODevice io_device = { 70 SL_DATALOCATOR_IODEVICE, 71 SL_IODEVICE_AUDIOINPUT, 72 SL_DEFAULTDEVICEID_AUDIOINPUT, 73 NULL 74 }; 75 SLDataSource audioSource = { 76 &io_device, 77 NULL 78 }; 79 SLDataLocator_BufferQueue buffer_queue = { 80 SL_DATALOCATOR_BUFFERQUEUE, 81 3 82 }; 83 // 具体参数需要根据音频文件格式进行适配 84 SLDataFormat_PCM format_pcm = { 85 SL_DATAFORMAT_PCM, // 输入的音频格式 86 1, // 单声道 87 SL_SAMPLINGRATE_44_1, // 采样率: 44100HZ 88 SL_PCMSAMPLEFORMAT_FIXED_16, // 音频采样格式,小尾数，带符号的16位整数 89 0, 90 0, 91 0 92 }; 93 SLDataSink audioSink = { 94 &buffer_queue, 95 &format_pcm 96 }; 97 98 SLObjectItf pcmCapturerObject = nullptr; 99 (*engineItf)->CreateAudioRecorder(engineItf, &pcmCapturerObject, 100 &audioSource, &audioSink, 0, nullptr, nullptr); 101 (*pcmCapturerObject)->Realize(pcmCapturerObject, SL_BOOLEAN_FALSE); 102 103 ``` 104 1055. 获取录音接口SL_IID_RECORD的recordItf接口实例。 106 107 ```c++ 108 SLRecordItf recordItf; 109 (*pcmCapturerObject)->GetInterface(pcmCapturerObject, SL_IID_RECORD, &recordItf); 110 ``` 111 1126. 获取接口 SL_IID_OH_BUFFERQUEUE 的 bufferQueueItf 实例 113 114 ```c++ 115 SLOHBufferQueueItf bufferQueueItf; 116 (*pcmCapturerObject)->GetInterface(pcmCapturerObject, SL_IID_OH_BUFFERQUEUE, &bufferQueueItf); 117 ``` 118 1197. 注册BufferQueueCallback回调。 120 121 ```c++ 122 static void BufferQueueCallback(SLOHBufferQueueItf bufferQueueItf, void *pContext, SLuint32 size) 123 { 124 // 可从pContext获取注册时传入的使用者信息 125 SLuint8 *buffer = nullptr; 126 SLuint32 pSize = 0; 127 (*bufferQueueItf)->GetBuffer(bufferQueueItf, &buffer, &pSize); 128 if (buffer != nullptr) { 129 // 可从buffer内读取录音数据进行后续处理 130 (*bufferQueueItf)->Enqueue(bufferQueueItf, buffer, size); 131 } 132 } 133 void *pContext; // 可传入自定义的上下文信息，会在Callback内收到 134 (*bufferQueueItf)->RegisterCallback(bufferQueueItf, BufferQueueCallback, pContext); 135 ``` 136 1378. 开始录音。 138 139 ```c++ 140 (*recordItf)->SetRecordState(recordItf, SL_RECORDSTATE_RECORDING); 141 ``` 142 1439. 结束音频录制。 144 145 ```c++ 146 (*recordItf)->SetRecordState(recordItf, SL_RECORDSTATE_STOPPED); 147 (*pcmCapturerObject)->Destroy(pcmCapturerObject); 148 ``` 149