1# AVPlayer和AVRecorder 2 3media模块提供了[AVPlayer](#avplayer)和[AVRecorder](#avrecorder)用于播放、录制音视频。 4 5## AVPlayer 6 7AVPlayer主要工作是将Audio/Video媒体资源（比如mp4/mp3/mkv/mpeg-ts等）转码为可供渲染的图像和可听见的音频模拟信号，并通过输出设备进行播放。 8 9AVPlayer提供功能完善一体化播放能力，应用只需要提供流媒体来源，不负责数据解析和解码就可达成播放效果。 10 11 12### 音频播放 13 14当使用AVPlayer开发音乐应用播放音频时，其交互关系如图所示。 15 16**图1** 音频播放外部模块交互图 17 18 19 20音乐类应用通过调用JS接口层提供的AVPlayer接口实现相应功能时，框架层会通过播放服务（Player Framework）将资源解析成音频数据流（PCM），音频数据流经过软件解码后输出至音频服务（Audio Framework），由音频服务输出至音频驱动渲染，实现音频播放功能。完整的音频播放需要应用、Player Framework、Audio Framework、音频HDI共同实现。 21 22图1中，数字标注表示需要数据与外部模块的传递。 23 241. 音乐应用将媒体资源传递给AVPlayer接口。 25 262. Player Framework将音频PCM数据流输出给Audio Framework，再由Audio Framework输出给音频HDI。 27 28### 视频播放 29 30当使用AVPlayer开发视频应用播放视频时，其交互关系如图所示。 31 32**图2** 视频播放外部模块交互图 33 34 35 36应用通过调用JS接口层提供的AVPlayer接口实现相应功能时，框架层会通过播放服务（Player Framework）解析成单独的音频数据流和视频数据流，音频数据流经过软件解码后输出至音频服务（Audio Framework），再至硬件接口层的音频HDI，实现音频播放功能。视频数据流经过硬件（推荐）/软件解码后输出至图形渲染服务（Graphic Framework），再输出至硬件接口层的显示HDI，完成图形渲染。 37 38完整的视频播放需要：应用、XComponent、Player Framework、Graphic Framework、Audio Framework、显示HDI和音频HDI共同实现。 39 40图2中，数字标注表示需要数据与外部模块的传递。 41 421. 应用从XComponent组件获取窗口SurfaceID，获取方式参考[XComponent](../reference/arkui-ts/ts-basic-components-xcomponent.md)。 43 442. 应用把媒体资源、SurfaceID传递给AVPlayer接口。 45 463. Player Framework把视频ES数据流输出给解码HDI，解码获得视频帧（NV12/NV21/RGBA）。 47 484. Player Framework把音频PCM数据流输出给Audio Framework，Audio Framework输出给音频HDI。 49 505. Player Framework把视频帧（NV12/NV21/RGBA）输出给Graphic Framework，Graphic Framework输出给显示HDI。 51 52### 支持的格式与协议 53 54推荐使用以下主流的播放格式，音视频容器、音视频编码属于内容创作者所掌握的专业领域，不建议应用开发者自制码流进行测试，以免产生无法播放、卡顿、花屏等兼容性问题。若发生此类问题不会影响系统，退出播放即可。 55 56支持的协议如下： 57 58| 协议类型 | 协议描述 | 59| -------- | -------- | 60| 本地点播 | 协议格式：支持file descriptor，禁止file path | 61| 网络点播 | 协议格式：支持http/https/hls | 62| 网络直播 | 协议格式：支持hls | 63 64支持的音频播放格式如下： 65 66| 音频容器规格 | 规格描述 | 67| -------- | -------- | 68| m4a | 音频格式：AAC | 69| aac | 音频格式：AAC | 70| mp3 | 音频格式：MP3 | 71| ogg | 音频格式：VORBIS | 72| wav | 音频格式：PCM | 73 74> **说明：** 75> 76> 视频播放支持的视频格式分为必选规格和可选规格。必选规格为所有厂商均支持的视频格式。对于可选规格，厂商将基于实际情况决定是否实现。建议开发者做对应的兼容处理，保证应用功能全平台兼容。 77 78| 视频格式 | 是否必选规格 | 79| -------- | -------- | 80| H265<sup>10+</sup> | 是 | 81| H264 | 是 | 82| MPEG2 | 否 | 83| MPEG4 | 否 | 84| H263 | 否 | 85| VP8 | 否 | 86 87支持的视频播放格式和主流分辨率如下： 88 89| 视频容器规格 | 规格描述 | 分辨率 | 90| -------- | -------- | -------- | 91| mp4 | 视频格式：H265<sup>10+</sup>/H264/MPEG2/MPEG4/H263<br/>音频格式：AAC/MP3 | 主流分辨率，如4K/1080P/720P/480P/270P | 92| mkv | 视频格式：H265<sup>10+</sup>/H264/MPEG2/MPEG4/H263<br/>音频格式：AAC/MP3 | 主流分辨率，如4K/1080P/720P/480P/270P | 93| ts | 视频格式：H265<sup>10+</sup>/H264/MPEG2/MPEG4<br/>音频格式：AAC/MP3 | 主流分辨率，如4K/1080P/720P/480P/270P | 94| webm | 视频格式：VP8<br/>音频格式：VORBIS | 主流分辨率，如4K/1080P/720P/480P/270P | 95 96## AVRecorder 97 98AVRecorder主要工作是捕获音频信号，接收视频信号，完成音视频编码并保存到文件中，帮助开发者轻松实现音视频录制功能，包括开始录制、暂停录制、恢复录制、停止录制、释放资源等功能控制。它允许调用者指定录制的编码格式、封装格式、文件路径等参数。 99 100**图3** 视频录制外部模块交互图 101 102 103 104- 音频录制：应用通过调用JS接口层提供的AVRecorder接口实现音频录制时，框架层会通过录制服务（Player Framework），调用音频服务（Audio Framework）通过音频HDI捕获音频数据，通过软件编码封装后保存至文件中，实现音频录制功能。 105 106- 视频录制：应用通过调用JS接口层提供的AVRecorder接口实现视频录制时，先通过Camera接口调用相机服务（Camera Framework）通过视频HDI捕获图像数据送至框架层的录制服务，录制服务将图像数据通过视频编码HDI编码，再将编码后的图像数据封装至文件中，实现视频录制功能。 107 108通过音视频录制组合，可分别实现纯音频录制、纯视频录制，音视频录制。 109 110图3中，数字标注表示需要数据与外部模块的传递。 111 1121. 应用通过AVRecorder接口从录制服务获取SurfaceID。 113 1142. 应用将SurfaceID设置给相机服务，相机服务可以通过SurfaceID获取到Surface。相机服务通过视频HDI捕获图像数据送至框架层的录制服务。 115 1163. 相机服务通过Surface将视频数据传递给录制服务。 117 1184. 录制服务通过视频编码HDI模块将视频数据编码。 119 1205. 录制服务将音频参数设置给音频服务，并从音频服务获取到音频数据。 121 122### 支持的格式 123 124支持的音频源如下： 125 126| 音频源类型 | 说明 | 127| -------- | -------- | 128| mic | 系统麦克风作为音频源输入。 | 129 130支持的视频源如下： 131 132| 视频源类型 | 说明 | 133| -------- | -------- | 134| surface_yuv | 输入surface中携带的是raw data。 | 135| surface_es | 输入surface中携带的是ES data。 | 136 137支持的音视频编码格式如下： 138 139| 音视频编码格式 | 说明 | 140| -------- | -------- | 141| audio/mp4a-latm | 音频/mp4a-latm类型 | 142| video/mp4v-es | 视频/mpeg4类型 | 143| video/avc | 视频/avc类型 | 144 145支持的输出文件格式如下： 146 147| 输出文件格式 | 说明 | 148| -------- | -------- | 149| mp4 | 视频的容器格式，MP4。 | 150| m4a | 音频的容器格式，M4A。 | 151
