视频开发概述
HarmonyOS视频模块支持视频业务的开发和生态开放，开发者可以通过已开放的接口很容易地实现视频媒体的播放、操作和新功能开发。视频媒体的常见操作有视频编解码、视频合成、视频提取、视频播放以及视频录制等。
基本概念
编码
编码是信息从一种形式或格式转换为另一种形式或格式的过程。用预先规定的方法将文字、数字或其他对象编成数码，或将信息、数据转换成规定的电脉冲信号。在本模块中，编码是指编码器将原始的视频信息压缩为另一种格式的过程。
解码
解码是一种用特定方法，把数码还原成它所代表的内容或将电脉冲信号、光信号、无线电波等转换成它所代表的信息、数据等的过程。在本模块中，解码是指解码器将接收到的数据还原为视频信息的过程，与编码过程相对应。
帧率
帧率是以帧为单位的位图图像连续出现在显示器上的频率（速率），以FPS（Frame per Second）为单位。
媒体编解码能力查询开发
场景介绍
媒体编解码能力查询主要指查询设备所支持的编解码器的MIME（Multipurpose Internet Mail Extensions，媒体类型）列表，并判断设备是否支持指定MIME对应的编码器/解码器。
接口说明
媒体编解码能力查询类CodecDescriptionList的主要接口
开发步骤
1. 调用CodecDescriptionList类的静态getSupportedMimes()方法，获取某设备所支持的编解码器的MIME列表。代码示例如下：
List<String> mimes = CodecDescriptionList.getSupportedMimes();
2. 调用CodecDescriptionList类的静态isDecodeSupportedByMime方法，判断某设备是否支持指定MIME对应的解码器，支持返回true，否则返回false。代码示例如下：
boolean result = CodecDescriptionList.isDecodeSupportedByMime(Format.VIDEO_VP9);
3. 调用CodecDescriptionList类的静态isEncodeSupportedByMime方法，判断某设备是否支持指定MIME对应的编码器，支持返回true，否则返回false。代码示例如下：
boolean result = CodecDescriptionList.isEncodeSupportedByMime(Format.AUDIO_FLAC);
4. 调用CodecDescriptionList类的静态isDecoderSupportedByFormat/isEncoderSupportedByFormat方法，判断某设备是否支持指定Format的编解码器，支持返回true，否则返回false。代码示例如下：
Format format = new Format(); format.putStringValue(Format.MIME, Format.VIDEO_AVC); format.putIntValue(Format.WIDTH, 2560); format.putIntValue(Format.HEIGHT, 1440); format.putIntValue(Format.FRAME_RATE, 30); format.putIntValue(Format.FRAME_INTERVAL, 1); boolean result = CodecDescriptionList.isDecoderSupportedByFormat(format); result = CodecDescriptionList.isEncoderSupportedByFormat(format);
视频编解码开发
场景介绍
视频编解码的主要工作是将视频进行编码和解码。
接口说明
视频编解码类Codec的主要接口
普通模式开发步骤
在普通模式下进行编解码，应用必须持续地传输数据到Codec实例。
编码的具体开发步骤如下：
1. 创建编码Codec实例，可调用createEncoder()创建。
final Codec encoder = Codec.createEncoder();
2. 构造数据源格式，并设置给Codec实例，调用setCodecFormat()，代码示例如下：
Format fmt = new Format(); fmt.putStringValue(Format.MIME, Format.VIDEO_AVC); fmt.putIntValue(Format.WIDTH, 1920); fmt.putIntValue(Format.HEIGHT, 1080); fmt.putIntValue(Format.BIT_RATE, 392000); fmt.putIntValue(Format.FRAME_RATE, 30); fmt.putIntValue(Format.FRAME_INTERVAL, 30); fmt.putIntValue(Format.COLOR_MODEL, 21); encoder.setCodecFormat(fmt);
3. 如果需要编码过程中，检测是否读取到Buffer数据以及是否发生异常，可以构造ICodecListener，ICodecListener需要实现两个方法，实现读到Buffer数据时、编码发生异常时做相应的操作。举例中读到Buffer时，获取buffer的format格式，异常时抛出运行时异常，代码示例如下：
private HiLogLabel TAG = new HiLogLabel(HiLog.DEBUG, 0xD000500, "MainAblityTest"); Codec.ICodecListener listener = new Codec.ICodecListener() { @Override public void onReadBuffer(ByteBuffer byteBuffer, BufferInfo bufferInfo, int trackId) { Format fmt = codec.getBufferFormat(byteBuffer); } @Override public void onError(int errorCode, int act, int trackId) { HiLog.error(TAG, "CodeListener onError errorCode: %{public}d, act: %{public}d", errorCode, act); } };
4. 调用start()方法开始编码。
encoder.start();
5. 调用getAvailableBuffer()取到一个可用的ByteBuffer，把数据填入ByteBuffer里，然后再调用writeBuffer()把ByteBuffer写入编码器实例。
6. 调用stop()方法停止编码。
encoder.stop();
7. 编码任务结束后，调用release()释放资源。
encoder.release();
解码的具体开发步骤如下：
1. 创建解码Codec实例，可调用createDecoder()创建。
Codec codec = Codec.createDecoder();
2. 构造数据源格式，并设置给Codec实例，调用setCodecFormat()，代码示例如下：
Format fmt = new Format(); fmt.putStringValue(Format.MIME, Format.VIDEO_AVC); fmt.putIntValue(Format.WIDTH, 1920); fmt.putIntValue(Format.HEIGHT, 1080); fmt.putIntValue(Format.BIT_RATE, 392000); fmt.putIntValue(Format.FRAME_RATE, 30); fmt.putIntValue(Format.FRAME_INTERVAL, -1); fmt.putIntValue(Format.COLOR_MODEL, 21); codec.setCodecFormat(fmt);
3. （可选）如果需要解码过程中，检测是否读取到Buffer数据以及是否发生异常，可以构造ICodecListener，ICodecListener需要实现两个方法，实现读到Buffer数据时、解码发生异常时做相应的操作。举例中读到buffer时，获取buffer的format格式，异常时抛出运行时异常，代码示例如下：
Codec.ICodecListener listener = new Codec.ICodecListener() { @Override public void onReadBuffer(ByteBuffer byteBuffer, BufferInfo bufferInfo, int trackId) { Format fmt = codec.getBufferFormat(byteBuffer); } @Override public void onError(int errorCode, int act, int trackId) { throw new RuntimeException(); } };
4. 调用 start()方法开始解码
codec.start();
5. 调用getAvailableBuffer取到一个可用的ByteBuffer，把数据填入ByteBuffer里，然后再调用writeBuffer把ByteBuffer写入解码器实例。
6. 调用 stop()方法停止解码
codec.stop();
7. 解码任务结束后，调用release()释放资源。
codec.release();
管道模式开发步骤
管道模式下应用只需要调用Source类的setSource()方法，数据会自动解析并传输给Codec实例。管道模式编码支持视频流编码和音频流编码。
编码的具体开发步骤如下：
1. 调用createEncoder()创建编码Codec实例。
2. 调用setSource()设置数据源，支持设定文件路径或者文件File Descriptor。
3. 构造数据源格式或者从Extractor中读取数据源格式，并设置给Codec实例，调用setSourceFormat()，构造数据源格式代码示例如下：
String path = "/xxx/xxx//asd.mp4"; boolean ret = decoder.setSource(new Source(path), null); final Codec encoder = Codec.createEncoder(); Format fmt = new Format(); fmt.putStringValue(Format.MIME, Format.VIDEO_AVC); fmt.putIntValue(Format.WIDTH, 1920); fmt.putIntValue(Format.HEIGHT, 1080); fmt.putIntValue(Format.BIT_RATE, 392000); fmt.putIntValue(Format.FRAME_RATE, 30); encoder.setSourceFormat(fmt);
4. 如果需要编码过程中，检测是否读取到Buffer数据以及是否发生异常，可以构造ICodecListener，ICodecListener需要实现两个方法，实现读到Buffer数据时、编码发生异常时做相应的操作。举例中读到buffer时，获取buffer的format格式，异常时抛出运行时异常，代码示例如下：
Codec.ICodecListener listener = new Codec.ICodecListener() { @Override public void onReadBuffer(ByteBuffer byteBuffer, BufferInfo bufferInfo, int trackId) { Format fmt = codec.getBufferFormat(byteBuffer); } @Override public void onError(int errorCode, int act, int trackId) { HiLog.error(TAG, "PlayerCallback onError errorCode: %{public}d, trackId: %{public}d", errorCode, trackId); } };
5. 调用start()方法开始编码。
6. 调用stop()方法停止编码。
7. 编码任务结束后，调用release()释放资源
解码的具体开发步骤如下：
1. 调用createDecoder()创建解码Codec实例。
2. 调用setSource()设置数据源，支持设定文件路径或者文件File Descriptor。
3. 如果需要解码过程中，检测是否读取到Buffer数据以及是否发生异常，可以构造ICodecListener，ICodecListener需要实现两个方法，实现读到Buffer数据时、解码发生异常时做相应的操作。举例中读到buffer时，获取buffer的format格式，异常时抛出运行时异常，代码示例如下：
Codec.ICodecListener listener = new Codec.ICodecListener() { @Override public void onReadBuffer(ByteBuffer byteBuffer, BufferInfo bufferInfo, int trackId) { Format fmt = codec.getBufferFormat(byteBuffer); } @Override public void onError(int errorCode, int act, int trackId) { throw new RuntimeException(); } };
4. 调用start()方法开始解码。
5. 调用stop()方法停止解码。
6. 解码任务结束后，调用release()释放资源。
