HarmonyOS学习路之开发篇—多媒体开发(音频开发 一)

简介: HarmonyOS音频模块支持音频业务的开发,提供音频相关的功能,主要包括音频播放、音频采集、音量管理和短音播放等。

HarmonyOS音频模块支持音频业务的开发,提供音频相关的功能,主要包括音频播放、音频采集、音量管理和短音播放等。


基本概念

采样

采样是指将连续时域上的模拟信号按照一定的时间间隔采样,获取到离散时域上离散信号的过程。


采样率

采样率为每秒从连续信号中提取并组成离散信号的采样次数,单位用赫兹(Hz)来表示。通常人耳能听到频率范围大约在20Hz~20kHz之间的声音。常用的音频采样频率有:8kHz、11.025kHz、22.05kHz、16kHz、37.8kHz、44.1kHz、48kHz、96kHz、192kHz等。


声道

声道是指声音在录制或播放时在不同空间位置采集或回放的相互独立的音频信号,所以声道数也就是声音录制时的音源数量或回放时相应的扬声器数量。


音频帧

音频数据是流式的,本身没有明确的帧的概念,在实际的应用中,为了音频算法处理/传输的方便,一般约定俗成取2.5ms~60ms为单位的数据量为一帧音频。这个时间被称之为“采样时间”,其长度没有特别的标准,它是根据编解码器和具体应用的需求来决定的。


PCM

PCM(Pulse Code Modulation),即脉冲编码调制,是一种将模拟信号数字化的方法,是将时间连续、取值连续的模拟信号转换成时间离散、抽样值离散的数字信号的过程。


短音

使用源于应用程序包内的资源或者是文件系统里的文件为样本,将其解码成一个16bit单声道或者立体声的PCM流并加载到内存中,这使得应用程序可以直接用压缩数据流同时摆脱CPU加载数据的压力和播放时重解压的延迟。


tone音

根据特定频率生成的波形,比如拨号盘的声音。


系统音

系统预置的短音,比如按键音,删除音等。


约束与限制

在使用完AudioRenderer音频播放类和AudioCapturer音频采集类后,需要调用release()方法进行资源释放。

音频采集所使用的最终采样率与采样格式取决于输入设备,不同设备支持的格式及采样率范围不同,可以通过AudioManager类的getDevices接口查询。

该功能使用需要对应硬件支持,仅支持真机调试。

在进行开发之前,需要申请相关权限,保证应用使用音频相关能力的权限,涉及权限如下表。


image.png

音频播放

场景介绍

音频播放的主要工作是将音频数据转码为可听见的音频模拟信号并通过输出设备进行播放,同时对播放任务进行管理。

接口说明

音频播放类AudioRenderer的主要接口


image.pngimage.png


开发步骤

1. 构造音频流参数的数据结构AudioStreamInfo,推荐使用AudioStreamInfo.Builder类来构造,模板如下,模板中设置的均为AudioStreamInfo.Builder类的默认值,根据音频流的具体规格来设置具体参数。


AudioStreamInfo audioStreamInfo = new AudioStreamInfo.Builder()
    .sampleRate(AudioStreamInfo.SAMPLE_RATE_UNSPECIFIED)
    .audioStreamFlag(AudioStreamInfo.AudioStreamFlag.AUDIO_STREAM_FLAG_NONE)
    .encodingFormat(AudioStreamInfo.EncodingFormat.ENCODING_INVALID)
    .channelMask(AudioStreamInfo.ChannelMask.CHANNEL_INVALID)
    .streamUsage(AudioStreamInfo.StreamUsage.STREAM_USAGE_UNKNOWN)
    .build();

以真实的播放pcm流为例:


AudioStreamInfo audioStreamInfo = new AudioStreamInfo.Builder().sampleRate(44100) // 44.1kHz
    .audioStreamFlag(AudioStreamInfo.AudioStreamFlag.AUDIO_STREAM_FLAG_MAY_DUCK) // 混音
    .encodingFormat(AudioStreamInfo.EncodingFormat.ENCODING_PCM_16BIT) // 16-bit PCM
    .channelMask(AudioStreamInfo.ChannelMask.CHANNEL_OUT_STEREO) // 双声道输出
    .streamUsage(AudioStreamInfo.StreamUsage.STREAM_USAGE_MEDIA) // 媒体类音频
    .build();

2. 使用创建的音频流构建音频播放的参数结构AudioRendererInfo,推荐使用AudioRendererInfo.Builder类来构造,模板如下,模板中设置的均为AudioRendererInfo.Builder类的默认值,根据音频播放的具体规格来设置具体参数。

AudioRendererInfo audioRendererInfo = new AudioRendererInfo.Builder().audioStreamInfo(audioStreamInfo)
    .audioStreamOutputFlag(AudioRendererInfo.AudioStreamOutputFlag.AUDIO_STREAM_OUTPUT_FLAG_NONE)
    .bufferSizeInBytes(0)
    .isOffload(false)
    .sessionID(AudioRendererInfo.SESSION_ID_UNSPECIFIED)
    .build();

以真实的播放pcm流为例:


AudioRendererInfo audioRendererInfo = new AudioRendererInfo.Builder().audioStreamInfo(audioStreamInfo)
    .audioStreamOutputFlag(AudioRendererInfo.AudioStreamOutputFlag.AUDIO_STREAM_OUTPUT_FLAG_DIRECT_PCM) // pcm格式的输出流
    .bufferSizeInBytes(100)
    .isOffload(false) // false表示分段传输buffer并播放,true表示整个音频流一次性传输到HAL层播放
    .build();

3. 根据要播放音频流指定PlayMode,不同的PlayMode在写数据时存在差异,详情见步骤7,其余播放流程是无区别的。并通过构造函数获取AudioRenderer类的实例化对象。


4. 使用构造函数获取AudioRenderer类的实例化对象,其中步骤2、步骤3中的数据为构造函数的必选参数,指定播放设备为可选参数,根据使用场景选择不同的构造函数。


5. (可选)构造音频播放回调,首先构造对象AudioInterrupt,其中setInterruptListener方法的入参需要实现接口类InterruptListener,setStreamInfo方法使用步骤1的AudioStreamInfo作为入参。然后调用AudioManager类的activateAudioInterrupt(AudioInterrupt interrupt)方法进行音频播放回调注册。代码示例如下:

AudioRenderer renderer = new AudioRenderer(audioRendererInfo, AudioRenderer.PlayMode.MODE_STREAM);
AudioInterrupt audioInterrupt = new AudioInterrupt();
AudioManager audioManager = new AudioManager();
audioInterrupt.setStreamInfo(audioStreamInfo);
audioInterrupt.setInterruptListener(new AudioInterrupt.InterruptListener() {
    @Override
    public void onInterrupt(int type, int hint) {
        if (type == AudioInterrupt.INTERRUPT_TYPE_BEGIN
                && hint == AudioInterrupt.INTERRUPT_HINT_PAUSE) {
            renderer.pause();
        } else if (type == AudioInterrupt.INTERRUPT_TYPE_BEGIN
                && hint == AudioInterrupt.INTERRUPT_HINT_NONE) {
        } else if (type == AudioInterrupt.INTERRUPT_TYPE_END && (
                hint == AudioInterrupt.INTERRUPT_HINT_NONE
                        || hint == AudioInterrupt.INTERRUPT_HINT_RESUME)) {
            renderer.start();
        } else {
            HiLog.warn(TAG, "unexpected type or hint");
        }
    }
});
audioManager.activateAudioInterrupt(audioInterrupt);


6. 调用AudioRenderer实例化对象的start()方法启动播放任务


AudioRenderer renderer = new AudioRenderer(audioRendererInfo, AudioRenderer.PlayMode.MODE_STREAM);
renderer.start();

7. 将要播放的音频数据读取为byte流或short流,对于选择MODE_STREAM模式的PlayMode,需要循环调用write方法进行数据写入。对于选择MODE_STATIC模式的PlayMode,只能通过调用一次write方法将要播放的音频数据全部写入,因此该模式限制在文件规格较小的音频数据播放场景下才能使用

AudioRenderer renderer = new AudioRenderer(audioRendererInfo, AudioRenderer.PlayMode.MODE_STREAM);
String Path = "resources/***/***.pcm"; // 自定义pcm文件
BufferedInputStream bis1 = null;
try {
    RawFileDescriptor rawFileDescriptor = getResourceManager().getRawFileEntry(Path).openRawFileDescriptor();
    FileDescriptor fileDescriptor1 = rawFileDescriptor.getFileDescriptor();
    bis1 = new BufferedInputStream(new FileInputStream(fileDescriptor1));
    int minBufferSize = renderer.getMinBufferSize(44100, AudioStreamInfo.EncodingFormat.ENCODING_PCM_16BIT,  
    AudioStreamInfo.ChannelMask.CHANNEL_OUT_STEREO);
    byte[] buffers = new byte[minBufferSize];
    while ((bis1.read(buffers)) != -1) {
    boolean write1 = renderer.write(buffers, 0, buffers.length);
    renderer.flush();
    }
    } catch (Exception e) {
    e.printStackTrace();
    } finally {
    if (bis1!=null){
       try {
        bis1.close();
           } catch (IOException e) {
        e.printStackTrace();
        }
    }
   }
BufferedInputStream bis2 = null;
try {
    RawFileDescriptor rawFileDescriptor = getResourceManager().getRawFileEntry(Path).openRawFileDescriptor();
    FileDescriptor fileDescriptor1 = rawFileDescriptor.getFileDescriptor();
    bis2 = new BufferedInputStream(new FileInputStream(fileDescriptor1));
    int minBufferSize = renderer.getMinBufferSize(44100, AudioStreamInfo.EncodingFormat.ENCODING_PCM_16BIT,  
    AudioStreamInfo.ChannelMask.CHANNEL_OUT_STEREO);
    byte[] buffers = new byte[minBufferSize];
    int len ;
    while ((len = bis2.read(buffers)) != -1) {
    short[] shorts = new short[len];
    boolean write2 = renderer.write(shorts, 0, shorts.length);
    renderer.flush();
    }
    } catch (Exception e) {
    e.printStackTrace();
    } finally {
    if (bis2!=null){
       try {
        bis2.close();
           } catch (IOException e) {
        e.printStackTrace();
        }
    }
   }
AudioRenderer renderer1 = new AudioRenderer(audioRendererInfo, AudioRenderer.PlayMode.MODE_STATIC);
String Path1 = "resources/***/***.pcm";
BufferedInputStream bis3 = null;
try {
   RawFileDescriptor rawFileDescriptor = getResourceManager().getRawFileEntry(Path1).openRawFileDescriptor();
   FileDescriptor fileDescriptor1 = rawFileDescriptor.getFileDescriptor();
   bis3 = new BufferedInputStream(new FileInputStream(fileDescriptor1));
   byte[] bytes = new byte[bis3.available()];
   boolean write3 = renderer1.write(bytes, 0, bytes.length);
   } catch (IOException e) {
     e.printStackTrace();
   }finally {
    if (bis3!=null){
        try {
         bis3.close();
        } catch (IOException e) {
        e.printStackTrace();
        }
       }
  }
BufferedInputStream bis4 = null;
try {
   RawFileDescriptor rawFileDescriptor = getResourceManager().getRawFileEntry(Path1).openRawFileDescriptor();
   FileDescriptor fileDescriptor1 = rawFileDescriptor.getFileDescriptor();
   bis4 = new BufferedInputStream(new FileInputStream(fileDescriptor1));
   short[] shorts = new short[bis4.available()];
   boolean write4 = renderer1.write(shorts, 0, shorts.length);
   } catch (IOException e) {
     e.printStackTrace();
   }finally {
    if (bis4!=null){
        try {
         bis4.close();
        } catch (IOException e) {
        e.printStackTrace();
        }
       }
  }

8. (可选)当需要对音频播放进行暂停或停止时,调用AudioRenderer实例化对象的pause()或stop()方法进行暂停或停止播放。

AudioRenderer renderer = new AudioRenderer(audioRendererInfo, AudioRenderer.PlayMode.MODE_STREAM);
renderer.pause();

9. (可选)调用AudioRenderer实例化对象的setSpeed调节播放速度,setVolume调节播放音量。


renderer.setSpeed(0.5f);
renderer.setVolume(0.5f);
renderer.stop();

10. 播放任务结束后,调用AudioRenderer实例化对象的release()释放资源。


renderer.release();


相关文章
|
4天前
|
Android开发
鸿蒙开发:自定义一个简单的标题栏
本身就是一个很简单的标题栏组件,没有什么过多的技术含量,有一点需要注意,当使用沉浸式的时候,注意标题栏的位置,需要避让状态栏。
鸿蒙开发:自定义一个简单的标题栏
|
4天前
|
API
鸿蒙开发:切换至基于rcp的网络请求
本文的内容主要是把之前基于http封装的库,修改为当前的Remote Communication Kit(远场通信服务),无非就是通信的方式变了,其他都大差不差。
鸿蒙开发:切换至基于rcp的网络请求
|
9天前
|
UED
鸿蒙next版开发:相机开发-适配不同折叠状态的摄像头变更(ArkTS)
在HarmonyOS 5.0中,ArkTS提供了强大的相机开发能力,特别是针对折叠屏设备的摄像头适配。本文详细介绍了如何在ArkTS中检测和适配不同折叠状态下的摄像头变更,确保相机应用在不同设备状态下的稳定性和用户体验。通过代码示例展示了具体的实现步骤。
35 8
|
9天前
|
API 内存技术
鸿蒙next版开发:相机开发-拍照(ArkTS)
在HarmonyOS 5.0中,ArkTS提供了一套完整的API来管理相机功能,特别是拍照功能。本文详细介绍如何在ArkTS中实现拍照功能,包括导入接口、创建会话、配置会话、触发拍照及监听拍照输出流状态,并提供代码示例进行详细解读。通过本文,你将掌握如何在HarmonyOS 5.0中使用ArkTS实现高效的拍照功能。
29 7
|
9天前
|
前端开发 API
鸿蒙next版开发:相机开发-预览(ArkTS)
在HarmonyOS 5.0中,使用ArkTS进行相机预览是核心功能之一。本文详细介绍了如何使用ArkTS实现相机预览,包括导入相机接口、创建Surface、获取相机输出能力、创建会话并开始预览,以及监听预览输出状态等步骤,并提供了代码示例。通过本文,读者可以掌握在HarmonyOS 5.0中使用ArkTS进行相机预览的基本方法。
28 6
|
9天前
|
前端开发 开发者
鸿蒙next版开发:相机开发-元数据(ArkTS)
在HarmonyOS 5.0中,ArkTS新增了对相机元数据的访问能力,帮助开发者获取图像的详细信息。本文介绍了如何在ArkTS中获取和使用相机元数据,包括导入接口、创建元数据输出流、开启和停止元数据输出、监听元数据对象可用事件等步骤,并提供了详细的代码示例。
27 5
|
9天前
|
前端开发 API 开发者
鸿蒙next版开发:相机开发-录像(ArkTS)
在HarmonyOS 5.0中,ArkTS提供了一套完整的API来管理相机录像功能。本文详细介绍了如何在ArkTS中实现录像功能,包括导入接口、创建Surface、获取相机输出能力、创建会话并开始录像以及监听录像输出流状态,并提供了代码示例进行解读。希望本文能帮助开发者更好地利用ArkTS的相机录像功能。
25 5
|
移动开发 Ubuntu 网络协议
嵌入式linux/鸿蒙开发板(IMX6ULL)开发 (二)Ubuntu操作入门与Linux常用命令(中)
嵌入式linux/鸿蒙开发板(IMX6ULL)开发 (二)Ubuntu操作入门与Linux常用命令
170 1
嵌入式linux/鸿蒙开发板(IMX6ULL)开发 (二)Ubuntu操作入门与Linux常用命令(中)
|
XML Web App开发 开发框架
鸿蒙开发入门 | 开发第一个鸿蒙应用+页面跳转
准备好鸿蒙开发环境后,接下来就需要创建鸿蒙项目,掌握项目的创建过程以及配置。项目创建好后,需要把项目运行在模拟器上,鸿蒙的模拟和安卓模拟器有些不同,鸿蒙提供远程模拟器和本地模拟器,通过登录华为账号登录在线模拟器,使用DevEco Studio可将项目部署到远程模拟器中。
1265 1
鸿蒙开发入门 | 开发第一个鸿蒙应用+页面跳转
|
存储 Ubuntu 前端开发
嵌入式linux/鸿蒙开发板(IMX6ULL)开发 (二)Ubuntu操作入门与Linux常用命令(下)
嵌入式linux/鸿蒙开发板(IMX6ULL)开发 (二)Ubuntu操作入门与Linux常用命令
335 0
嵌入式linux/鸿蒙开发板(IMX6ULL)开发 (二)Ubuntu操作入门与Linux常用命令(下)