HarmonyOS学习路之开发篇—多媒体开发(视频开发 一)

简介: HarmonyOS视频模块支持视频业务的开发和生态开放,开发者可以通过已开放的接口很容易地实现视频媒体的播放、操作和新功能开发。视频媒体的常见操作有视频编解码、视频合成、视频提取、视频播放以及视频录制等。

视频开发概述

HarmonyOS视频模块支持视频业务的开发和生态开放,开发者可以通过已开放的接口很容易地实现视频媒体的播放、操作和新功能开发。视频媒体的常见操作有视频编解码、视频合成、视频提取、视频播放以及视频录制等。


基本概念

编码

编码是信息从一种形式或格式转换为另一种形式或格式的过程。用预先规定的方法将文字、数字或其他对象编成数码,或将信息、数据转换成规定的电脉冲信号。在本模块中,编码是指编码器将原始的视频信息压缩为另一种格式的过程。


解码

解码是一种用特定方法,把数码还原成它所代表的内容或将电脉冲信号、光信号、无线电波等转换成它所代表的信息、数据等的过程。在本模块中,解码是指解码器将接收到的数据还原为视频信息的过程,与编码过程相对应。


帧率

帧率是以帧为单位的位图图像连续出现在显示器上的频率(速率),以FPS(Frame per Second)为单位。


媒体编解码能力查询开发

场景介绍

媒体编解码能力查询主要指查询设备所支持的编解码器的MIME(Multipurpose Internet Mail Extensions,媒体类型)列表,并判断设备是否支持指定MIME对应的编码器/解码器。


接口说明

媒体编解码能力查询类CodecDescriptionList的主要接口


image.png


开发步骤

1. 调用CodecDescriptionList类的静态getSupportedMimes()方法,获取某设备所支持的编解码器的MIME列表。代码示例如下:


List<String> mimes = CodecDescriptionList.getSupportedMimes();

2. 调用CodecDescriptionList类的静态isDecodeSupportedByMime方法,判断某设备是否支持指定MIME对应的解码器,支持返回true,否则返回false。代码示例如下:


boolean result = CodecDescriptionList.isDecodeSupportedByMime(Format.VIDEO_VP9); 

3. 调用CodecDescriptionList类的静态isEncodeSupportedByMime方法,判断某设备是否支持指定MIME对应的编码器,支持返回true,否则返回false。代码示例如下:


boolean result = CodecDescriptionList.isEncodeSupportedByMime(Format.AUDIO_FLAC); 

4. 调用CodecDescriptionList类的静态isDecoderSupportedByFormat/isEncoderSupportedByFormat方法,判断某设备是否支持指定Format的编解码器,支持返回true,否则返回false。代码示例如下:


Format format = new Format();
format.putStringValue(Format.MIME, Format.VIDEO_AVC);        
format.putIntValue(Format.WIDTH, 2560);        
format.putIntValue(Format.HEIGHT, 1440);        
format.putIntValue(Format.FRAME_RATE, 30);        
format.putIntValue(Format.FRAME_INTERVAL, 1); 
boolean result = CodecDescriptionList.isDecoderSupportedByFormat(format); 
result = CodecDescriptionList.isEncoderSupportedByFormat(format); 

视频编解码开发

场景介绍

视频编解码的主要工作是将视频进行编码和解码。

接口说明

视频编解码类Codec的主要接口


image.png

image.png


普通模式开发步骤

在普通模式下进行编解码,应用必须持续地传输数据到Codec实例。


编码的具体开发步骤如下:


1. 创建编码Codec实例,可调用createEncoder()创建。


final Codec encoder = Codec.createEncoder();

2. 构造数据源格式,并设置给Codec实例,调用setCodecFormat(),代码示例如下:


Format fmt = new Format();
fmt.putStringValue(Format.MIME, Format.VIDEO_AVC);
fmt.putIntValue(Format.WIDTH, 1920);
fmt.putIntValue(Format.HEIGHT, 1080);
fmt.putIntValue(Format.BIT_RATE, 392000);
fmt.putIntValue(Format.FRAME_RATE, 30);
fmt.putIntValue(Format.FRAME_INTERVAL, 30); 
fmt.putIntValue(Format.COLOR_MODEL, 21);
encoder.setCodecFormat(fmt);

3. 如果需要编码过程中,检测是否读取到Buffer数据以及是否发生异常,可以构造ICodecListener,ICodecListener需要实现两个方法,实现读到Buffer数据时、编码发生异常时做相应的操作。举例中读到Buffer时,获取buffer的format格式,异常时抛出运行时异常,代码示例如下:


private HiLogLabel TAG = new HiLogLabel(HiLog.DEBUG, 0xD000500, "MainAblityTest");
Codec.ICodecListener listener = new Codec.ICodecListener() {
    @Override
    public void onReadBuffer(ByteBuffer byteBuffer, BufferInfo bufferInfo, int trackId) {
        Format fmt = codec.getBufferFormat(byteBuffer);
    }
    @Override
    public void onError(int errorCode, int act, int trackId) {
        HiLog.error(TAG, "CodeListener onError errorCode: %{public}d, act: %{public}d", errorCode, act);
    }
};

4. 调用start()方法开始编码。


encoder.start();

5. 调用getAvailableBuffer()取到一个可用的ByteBuffer,把数据填入ByteBuffer里,然后再调用writeBuffer()把ByteBuffer写入编码器实例。


6. 调用stop()方法停止编码。


encoder.stop();

7. 编码任务结束后,调用release()释放资源。


encoder.release();

解码的具体开发步骤如下:


1. 创建解码Codec实例,可调用createDecoder()创建。


Codec codec = Codec.createDecoder();

2. 构造数据源格式,并设置给Codec实例,调用setCodecFormat(),代码示例如下:


Format fmt = new Format();
fmt.putStringValue(Format.MIME, Format.VIDEO_AVC);
fmt.putIntValue(Format.WIDTH, 1920);
fmt.putIntValue(Format.HEIGHT, 1080);
fmt.putIntValue(Format.BIT_RATE, 392000);
fmt.putIntValue(Format.FRAME_RATE, 30);
fmt.putIntValue(Format.FRAME_INTERVAL, -1);
fmt.putIntValue(Format.COLOR_MODEL, 21);
codec.setCodecFormat(fmt);

3. (可选)如果需要解码过程中,检测是否读取到Buffer数据以及是否发生异常,可以构造ICodecListener,ICodecListener需要实现两个方法,实现读到Buffer数据时、解码发生异常时做相应的操作。举例中读到buffer时,获取buffer的format格式,异常时抛出运行时异常,代码示例如下:

Codec.ICodecListener listener = new Codec.ICodecListener() {
    @Override
    public void onReadBuffer(ByteBuffer byteBuffer, BufferInfo bufferInfo, int trackId) {
        Format fmt = codec.getBufferFormat(byteBuffer);
    }
    @Override
    public void onError(int errorCode, int act, int trackId) {
        throw new RuntimeException();
    }
};

4. 调用 start()方法开始解码


codec.start();

5. 调用getAvailableBuffer取到一个可用的ByteBuffer,把数据填入ByteBuffer里,然后再调用writeBuffer把ByteBuffer写入解码器实例。


6. 调用 stop()方法停止解码

codec.stop();

7. 解码任务结束后,调用release()释放资源。

codec.release();

管道模式开发步骤

管道模式下应用只需要调用Source类的setSource()方法,数据会自动解析并传输给Codec实例。管道模式编码支持视频流编码和音频流编码。


编码的具体开发步骤如下:


1. 调用createEncoder()创建编码Codec实例。


2. 调用setSource()设置数据源,支持设定文件路径或者文件File Descriptor。


3. 构造数据源格式或者从Extractor中读取数据源格式,并设置给Codec实例,调用setSourceFormat(),构造数据源格式代码示例如下:

String path = "/xxx/xxx//asd.mp4";
boolean ret = decoder.setSource(new Source(path), null);
final Codec encoder = Codec.createEncoder();
Format fmt = new Format();
fmt.putStringValue(Format.MIME, Format.VIDEO_AVC);
fmt.putIntValue(Format.WIDTH, 1920);
fmt.putIntValue(Format.HEIGHT, 1080);
fmt.putIntValue(Format.BIT_RATE, 392000);
fmt.putIntValue(Format.FRAME_RATE, 30);
encoder.setSourceFormat(fmt);

4. 如果需要编码过程中,检测是否读取到Buffer数据以及是否发生异常,可以构造ICodecListener,ICodecListener需要实现两个方法,实现读到Buffer数据时、编码发生异常时做相应的操作。举例中读到buffer时,获取buffer的format格式,异常时抛出运行时异常,代码示例如下:


Codec.ICodecListener listener = new Codec.ICodecListener() {
    @Override
    public void onReadBuffer(ByteBuffer byteBuffer, BufferInfo bufferInfo, int trackId) {
        Format fmt = codec.getBufferFormat(byteBuffer);
    }
    @Override
    public void onError(int errorCode, int act, int trackId) {
        HiLog.error(TAG, "PlayerCallback onError errorCode: %{public}d, trackId: %{public}d", errorCode, trackId);
    }
};

5. 调用start()方法开始编码。


6. 调用stop()方法停止编码。


7. 编码任务结束后,调用release()释放资源


解码的具体开发步骤如下:


1. 调用createDecoder()创建解码Codec实例。


2. 调用setSource()设置数据源,支持设定文件路径或者文件File Descriptor。


3. 如果需要解码过程中,检测是否读取到Buffer数据以及是否发生异常,可以构造ICodecListener,ICodecListener需要实现两个方法,实现读到Buffer数据时、解码发生异常时做相应的操作。举例中读到buffer时,获取buffer的format格式,异常时抛出运行时异常,代码示例如下:

Codec.ICodecListener listener = new Codec.ICodecListener() {
    @Override
    public void onReadBuffer(ByteBuffer byteBuffer, BufferInfo bufferInfo, int trackId) {
        Format fmt = codec.getBufferFormat(byteBuffer);
    }
    @Override
    public void onError(int errorCode, int act, int trackId) {
        throw new RuntimeException();
    }
};

4. 调用start()方法开始解码。


5. 调用stop()方法停止解码。


6. 解码任务结束后,调用release()释放资源。


相关文章
|
30天前
|
存储 前端开发 IDE
【华为鸿蒙系统学习】- 如何利用鸿蒙系统进行App项目开发|自学篇
【华为鸿蒙系统学习】- 如何利用鸿蒙系统进行App项目开发|自学篇
46 0
|
30天前
|
数据管理 API 调度
【华为鸿蒙系统学习】- HarmonyOS4.0开发|自学篇
【华为鸿蒙系统学习】- HarmonyOS4.0开发|自学篇
64 0
|
1月前
|
前端开发 JavaScript 开发者
鸿蒙2.0!用 JavaScript 开发鸿蒙应用
鸿蒙2.0!用 JavaScript 开发鸿蒙应用
|
1月前
|
开发者 索引 容器
【鸿蒙软件开发】Stage模型开发概述应用/组件级配置
【鸿蒙软件开发】Stage模型开发概述应用/组件级配置
【鸿蒙软件开发】Stage模型开发概述应用/组件级配置
|
1月前
|
人工智能 安全 开发者
中国移动APP启动鸿蒙原生应用开发,鸿蒙生态迎来通信领域民生应用
近日,在“鸿蒙生态全面合作签约暨开发启动仪式“上,中国移动通信有限公司在线营销服务中心宣布将与鸿蒙生态在技术互补、成果共享、商业共赢等方向进行合作,以共同推动鸿蒙智能化的移动开放生态业务发展,并正式启动中国移动APP鸿蒙原生应用及元服务开发。
|
3月前
|
安全 前端开发 Android开发
鸿蒙开发|鸿蒙系统的介绍(为什么要学习鸿蒙开发|鸿蒙系统的官方定义|鸿蒙和安卓、ios的对比)
鸿蒙开发学习是一项探索性的工作,旨在开发一个全场景分布式操作系统,覆盖所有设备,让消费者能够更方便、更直观地使用各种设备。
216 0
鸿蒙开发|鸿蒙系统的介绍(为什么要学习鸿蒙开发|鸿蒙系统的官方定义|鸿蒙和安卓、ios的对比)
|
3月前
|
存储 前端开发 JavaScript
HarmonyOS UI 开发
HarmonyOS 提供了强大的 UI 开发工具和组件,使开发者能够创建吸引人的用户界面。本章将详细介绍在 HarmonyOS 中应用 JS、CSS、HTML,HarmonyOS 的 UI 组件以及如何自定义 UI 组件。
51 0
HarmonyOS UI 开发
|
6月前
|
IDE JavaScript API
HarmonyOS开发第一步,熟知开发工具DevEco Studio
本文主要以常见的功能点作为概述希望可以帮助到学习HarmonyOS的开发者。
164 0
|
6月前
|
缓存 API 开发者
HarmonyOS学习路之开发篇——Service Ability
基于Service模板的Ability(以下简称“Service”)主要用于后台运行任务(如执行音乐播放、文件下载等),但不提供用户交互界面。Service可由其他应用或Ability启动,即使用户切换到其他应用,Service仍将在后台继续运行。
|
6月前
|
开发者
HarmonyOS学习路之开发篇——Page Ability
Page与AbilitySlice Page模板(以下简称“Page”)是FA唯一支持的模板,用于提供与用户交互的能力。一个Page可以由一个或多个AbilitySlice构成,AbilitySlice是指应用的单个页面及其控制逻辑的总和。

相关产品