1# 使用OpenSL ES开发音频播放功能(C/C++) 2<!--Kit: Audio Kit--> 3<!--Subsystem: Multimedia--> 4<!--Owner: @songshenke--> 5<!--Designer: @caixuejiang; @hao-liangfei; @zhanganxiang--> 6<!--Tester: @Filger--> 7<!--Adviser: @zengyawen--> 8 9OpenSL ES全称为Open Sound Library for Embedded Systems，是一个嵌入式、跨平台、免费的音频处理库。为嵌入式移动多媒体设备上的应用开发者提供标准化、高性能、低延迟的API。OpenHarmony的Native API基于[Khronos Group](https://www.khronos.org/)开发的[OpenSL ES](https://www.khronos.org/opensles/) 1.0.1 API 规范实现，开发者可以通过<OpenSLES.h>和<OpenSLES_OpenHarmony.h>在OpenHarmony上使用相关API。 10 11## 使用OHAudio替代OpenSL ES 12 13OpenHarmony上的OpenSL ES接口，是早期SDK8版本开始提供，用于支持应用Native层音频开发的接口。但随着版本演进，接口定义的可扩展性不足，不再能满足音频系统的能力拓展，因此当前已不再推荐应用开发者继续使用此接口进行音频功能开发，可能存在一些接口能力不足的缺陷。 14 15在SDK10版本，OpenHarmony推出了OHAudio接口，并将系统具备的所有音频功能都通过此接口开放。OHAudio接口已能够覆盖OpenSL ES在OpenHarmony中已提供的所有能力，并拓展支持音频焦点事件，低时延等新版本特性。 16 17OHAudio的开发指南见[使用OHAudio开发音频播放功能(C/C++)](using-ohaudio-for-playback.md)。 18 19考虑到一些接入OpenHarmony较早的应用开发者，这里提供了一份OpenSL ES接口切换到OHAudio的对照参考[OpenSL ES接口切换OHAudio参考](replace-opensles-by-ohaudio.md)，便于开发者能够更快的在新版本切换到使用新接口。 20 21## OpenHarmony上的OpenSL ES 22 23OpenSL ES中提供了以下的接口，OpenHarmony当前仅实现了部分[接口](https://gitee.com/openharmony/third_party_opensles/blob/master/api/1.0.1/OpenSLES.h)，可以实现音频播放的基础功能。 24 25调用未实现接口后会返回**SL_RESULT_FEATURE_UNSUPPORTED**, 当前没有相关扩展可以使用。 26 27以下列表列举了OpenHarmony上已实现的OpenSL ES的接口，具体说明请参考[OpenSL ES](https://www.khronos.org/opensles/)规范： 28 29- **OpenHarmony上支持的SLInterfaceID：** 30 31 | SLInterfaceID | 说明 | 32 | -------- | -------- | 33 | SL_IID_ENGINE | 通用引擎，提供创建播放对象接口。 | 34 | SL_IID_PLAY | 提供播放状态接口。 | 35 | SL_IID_VOLUME | 提供音频播放流音量调节和读取接口。 | 36 | SL_IID_OH_BUFFERQUEUE | 提供音频播放流数据回调注册接口。 | 37 38- **OpenHarmony上支持的Engine接口：** 39 - SLresult (\*CreateAudioPlayer) (SLEngineItf self, SLObjectItf \* pPlayer, SLDataSource \*pAudioSrc, SLDataSink \*pAudioSnk, SLuint32 numInterfaces, const SLInterfaceID \* pInterfaceIds, const SLboolean \* pInterfaceRequired) 40 - SLresult (\*CreateAudioRecorder) (SLEngineItf self, SLObjectItf \* pRecorder, SLDataSource \*pAudioSrc, SLDataSink \*pAudioSnk, SLuint32 numInterfaces, const SLInterfaceID \* pInterfaceIds, const SLboolean \* pInterfaceRequired) 41 - SLresult (\*CreateOutputMix) (SLEngineItf self, SLObjectItf \* pMix, SLuint32 numInterfaces, const SLInterfaceID \* pInterfaceIds, const SLboolean \* pInterfaceRequired) 42 43- **OpenHarmony上支持的Object接口：** 44 - SLresult (\*Realize) (SLObjectItf self, SLboolean async) 45 - SLresult (\*GetState) (SLObjectItf self, SLuint32 \* pState) 46 - SLresult (\*GetInterface) (SLObjectItf self, const SLInterfaceID iid, void \* pInterface) 47 - void (\*Destroy) (SLObjectItf self) 48 49- **OpenHarmony上支持的Playback接口：** 50 - SLresult (\*SetPlayState) (SLPlayItf self, SLuint32 state) 51 - SLresult (\*GetPlayState) (SLPlayItf self, SLuint32 \*pState) 52 53- **OpenHarmony上支持的Volume控制接口：** 54 - SLresult (\*SetVolumeLevel) (SLVolumeItf self, SLmillibel level) 55 - SLresult (\*GetVolumeLevel) (SLVolumeItf self, SLmillibel \*pLevel) 56 - SLresult (\*GetMaxVolumeLevel) (SLVolumeItf self, SLmillibel \*pMaxLevel) 57 58- **OpenHarmony上支持的BufferQueue接口：** 59 60 以下接口需引入<OpenSLES_OpenHarmony.h>使用。 61 62 | 接口 | 说明 | 63 | -------- | -------- | 64 | SLresult (\*Enqueue) (SLOHBufferQueueItf self, const void \*buffer, SLuint32 size) | 根据情况将buffer加到相应队列中。<br/>如果是播放操作，则将带有音频数据的buffer插入到filledBufferQ_队列中；如果是录音操作，则将录音使用后的空闲buffer插入到freeBufferQ_队列中。<br/>self：表示调用该函数的BufferQueue接口对象。<br/>buffer：播放时表示带有音频数据的buffer，录音时表示已存储完录音数据后的空闲buffer。<br/>size：表示buffer的大小。 | 65 | SLresult (\*Clear) (SLOHBufferQueueItf self) | 释放BufferQueue接口对象。<br/>self：表示调用该函数的BufferQueue接口对象将被释放。 | 66 | SLresult (\*GetState) (SLOHBufferQueueItf self, SLOHBufferQueueState \*state) | 获取BufferQueue接口对象状态。<br/>self：表示调用该函数的BufferQueue接口对象。<br/>state：BufferQueue的当前状态。 | 67 | SLresult (\*RegisterCallback) (SLOHBufferQueueItf self, SlOHBufferQueueCallback callback, void\* pContext) | 注册回调函数。<br/>self：表示调用该函数的BufferQueue接口对象。<br/>callback：播放/录音时注册的回调函数。<br/>pContext：播放时传入待播放音频文件，录音时传入将要录制的音频文件。 | 68 | SLresult (\*GetBuffer) (SLOHBufferQueueItf self, SLuint8\*\* buffer, SLuint32\* size) | 根据情况获取相应的buffer。<br/>如果是播放操作，则从freeBufferQ_队列中获取空闲buffer；如果是录音操作，则从filledBufferQ_队列中获取携带录音数据的buffer。<br/>self：表示调用该函数的BufferQueue接口对象。<br/>buffer：播放时表示空闲的buffer，录音时表示携带录音数据的buffer。<br/>size：表示buffer的大小。 | 69 70## 完整示例 71 72### 在 CMake 脚本中链接动态库 73 74``` cmake 75target_link_libraries(sample PUBLIC libOpenSLES.so) 76``` 77 78参考以下示例代码，播放一个音频文件。 79 801. 添加头文件。 81 82 ```cpp 83 #include "SLES/OpenSLES.h" 84 #include "SLES/OpenSLES_OpenHarmony.h" 85 #include "SLES/OpenSLES_Platform.h" 86 ``` 87 882. 使用slCreateEngine接口和获取engine实例。 89 90 ```cpp 91 SLObjectItf engineObject = nullptr; 92 slCreateEngine(&engineObject, 0, nullptr, 0, nullptr, nullptr); 93 (*engineObject)->Realize(engineObject, SL_BOOLEAN_FALSE); 94 ``` 95 963. 获取接口SL_IID_ENGINE的engineEngine实例。 97 98 ```cpp 99 SLEngineItf engineEngine = nullptr; 100 (*engineObject)->GetInterface(engineObject, SL_IID_ENGINE, &engineEngine); 101 ``` 102 1034. 配置播放器信息，创建AudioPlayer。 104 105 ```cpp 106 SLDataLocator_BufferQueue slBufferQueue = { 107 SL_DATALOCATOR_BUFFERQUEUE, 108 1 109 }; 110 111 // 具体参数需要根据音频文件格式进行适配。 112 SLDataFormat_PCM pcmFormat = { 113 SL_DATAFORMAT_PCM, 114 2, // 通道数。 115 SL_SAMPLINGRATE_48, // 采样率。 116 SL_PCMSAMPLEFORMAT_FIXED_16, // 音频采样格式。 117 16, 118 SL_SPEAKER_FRONT_LEFT | SL_SPEAKER_FRONT_RIGHT, 119 SL_BYTEORDER_LITTLEENDIAN 120 }; 121 SLDataSource slSource = { 122 &slBufferQueue, 123 &pcmFormat 124 }; 125 SLObjectItf pcmPlayerObject = nullptr; 126 (*engineEngine)->CreateAudioPlayer(engineEngine, 127 &pcmPlayerObject, 128 &slSource, 129 &slSink, 130 0, 131 nullptr, 132 nullptr); 133 (*pcmPlayerObject)->Realize(pcmPlayerObject, SL_BOOLEAN_FALSE); 134 ``` 135 1365. 获取接口SL_IID_OH_BUFFERQUEUE的bufferQueueItf实例。 137 138 ```cpp 139 SLOHBufferQueueItf bufferQueueItf; 140 (*pcmPlayerObject)->GetInterface(pcmPlayerObject, SL_IID_OH_BUFFERQUEUE, &bufferQueueItf); 141 ``` 142 1436. 打开音频文件，注册BufferQueueCallback回调。 144 145 ```cpp 146 static void BufferQueueCallback (SLOHBufferQueueItf bufferQueueItf, void *pContext, SLuint32 size) 147 { 148 SLuint8 *buffer = nullptr; 149 SLuint32 pSize; 150 (*bufferQueueItf)->GetBuffer(bufferQueueItf, &buffer, &pSize); 151 // 将待播放音频数据写入buffer。 152 (*bufferQueueItf)->Enqueue(bufferQueueItf, buffer, size); 153 } 154 void *pContext; // 可传入自定义的上下文信息，会在Callback内收到。 155 (*bufferQueueItf)->RegisterCallback(bufferQueueItf, BufferQueueCallback, pContext); 156 ``` 157 1587. 获取接口SL_PLAYSTATE_PLAYING的playItf实例，开始播放。 159 160 ```cpp 161 SLPlayItf playItf = nullptr; 162 (*pcmPlayerObject)->GetInterface(pcmPlayerObject, SL_IID_PLAY, &playItf); 163 (*playItf)->SetPlayState(playItf, SL_PLAYSTATE_PLAYING); 164 ``` 165 1668. 结束音频播放。 167 168 ```cpp 169 (*playItf)->SetPlayState(playItf, SL_PLAYSTATE_STOPPED); 170 (*pcmPlayerObject)->Destroy(pcmPlayerObject); 171 (*engineObject)->Destroy(engineObject); 172 ``` 173