借用PortAudio采集和播放音频,实现双路混音器

简介: 借用PortAudio采集和播放音频,实现双路混音器

借用PortAudio采集和播放音频,实现一个双路混音器

  混音,顾名思义,就是把多个音源混合的过程,是一个很常见的应用。这两天我也做了一个双路混音器,当然,我没有做多么专业的音频信号处理,只是一个简单的混音,调节各路音量,并实现了一些音效处理。主要功能有:采集硬件设备,读取wav文件,播放,混音,音量调节,音频节奏、音调的调节,wav文件输出。这么多功能,我们不需要一个一个全部自己实现,有时候,借助开源项目,尤其是比较成熟的开源项目,不但可以大大节省开发时间,还能使程序更加稳定。即便不能直接在自己的项目中使用,也能有借鉴意义。这个项目中我就使用了PortAudio,PortAudio是一个开源的、跨平台的音频IO库,它主要提供了音频采集和播放的接口,而且API非常简单。大家可以尝试一下。

  下图就是该项目产品截图:

  所有的功能呢,在界面上是一目了然了,其中有三个子窗口,是音频数据经FFT(快速傅立叶)变换后显示的频谱图,左右两个分别是两路音频的,中间则是混音后的。这里我和大家分享一下这个混音器的设计思路以及PortAudio的使用,希望有需求的朋友能够有所借鉴。

 

首先是程序的逻辑架构图

 

  PortAudio在项目中主要负责采集硬件设备和播放内存中的音频Sample,其实在Windows上实现这种功能可以有多种方法,之前我也基于DirectShow做过,这次使用PortAudio主要也是想熟悉一下,将来如果要做其他平台的应用时,可以直接拿来使用了。

  • AudioInput的主要功能是封装一下音频的输入,包括硬件采集和文件读取
  • AudioMixer管理AudioInput,并进行音量和各种音效处理
  • 鉴于文件操作比较费时,FileWritter的操作其实是放在单独的线程中进行的。

 

PortAudio的封装和使用

  PortAudio的API非常的简单,基本上完成采集或播放的功能,只需要调用三个接口就可以了:Pa_OpenStream, Pa_StartStream, Pa_CloseStream。它们的原型如下

   

  首先,我们需要调用Pa_Initialize来进行PortAudio的初始化,然后设置好Pa_OpenStream的各项参数,然后就可以使用它了。调用Pa_StartStream之后,如果是采集,就可以从PortAudio读取数据了,如果是播放,则只需要不断的把要播放的音频数据交给PortAudio就行了。而PortAudio和你的程序之间的数据的交互,其实是有两种方式的,一种就是上面原型中提到的设置回调函数的形式,另一种就是调用Pa_ReadStreamPa_WriteStream这两个函数,我推荐还是通过回调的形式,简单嘛,这个最重要了:)。回调函数的原型也比较简单,采集和播放都是一样的。

  我们只需要在回调函数中操作inputBuffer或者outputBuffer即可,下面是我启动前进行设置的代码:

1. PortAudio的采集

2. PortAudio的播放

  有一点需要注意的是,framesPerBuffer的值,也就是在Pa_OpenStream中设置的参数值,这个数值就是outputBuffer或inputBuffer中音频帧的个数,我这里设置成了512,当然你也可以设置成其他的数值,不过不宜过小,否则会造成大量的异步回调,cpu是处理不过来的。这个数值再乘以你之前这只的音频帧Sample格式(我这里是paFloat32)和音轨个数,就可以计算出outputBuffer或inputBuffer的大小,然后就可以操作音频数据了,例如在采集的回调函数中这样使用。

memcpy(audio_data, inputBuffer, framesPerBuffer * sizeof(float)*2);

 

混音算法

  实话实说,这个混音算法是我从网上找到的,不过效果还是挺不错的,公式就是

C = A + B - (A * B >> 0x10)

  A和B就是两路不同的音频数据,C就是混音后的音频数据,当然,处理后,还需要对C进行防止数据溢出的处理,否则,可能会有爆音。

如果是16bit音频数据,就是:

if (C > 32767) C = 32767;
else if (C < -32768) C = -32768;

如果是float音频数据,就是:

if (C > 1) C = 1;
else if (C < -1) C = -1;

  这个算法针对的是16bit的音频采样数据,我实验的结果是:对float音频采样数据,同样有不错的效果。


目录
相关文章
|
编解码 移动开发 视频直播
一文详解 m3u8 视频格式与分析视频秒开优化
秒开指的是,一秒内成功加载的播放数/播放总数。本意是想对比一下m3u8与mp4视频格式,并了解m3u8格式优缺点,以确定一个大概优化方向。但对m3u8做简单了解后,觉的m3u8可能是一个优化方向。
11342 4
一文详解 m3u8 视频格式与分析视频秒开优化
|
2月前
|
监控 Java Linux
Jetson 学习笔记(十二):CSI摄像头实现rtsp流的传输并对动态获取多路流进行探索
本文是关于如何在Jetson设备上使用CSI摄像头实现RTSP流传输的详细教程,包括安装依赖、编译gst-rtsp-server、测试、源代码介绍以及如何动态获取多路流的RTSP服务器。
213 2
Jetson 学习笔记(十二):CSI摄像头实现rtsp流的传输并对动态获取多路流进行探索
|
7月前
|
编解码 缓存
LabVIEW最快能以什么速率采集图像
LabVIEW最快能以什么速率采集图像
44 0
|
数据采集
如何使用振弦采集读数模块?
振弦采集读数模块主要用于测量振弦的振幅、频率和周期等参数。以下是使用振弦采集读数模块的基本步骤:
如何使用振弦采集读数模块?
|
传感器 数据采集 存储
振弦采集读数模块需要连接什么设备?
振弦采集读数模块是一种电子设备,用于采集振弦传感器的信号,并将信号转化为数字信号输出。振弦传感器一般用于测量物体的振动,如机械设备、建筑物、桥梁等。振弦采集读数模块连接的设备主要包括传感器、数据采集仪、计算机等。
振弦采集读数模块需要连接什么设备?
|
传感器 算法
飞讯教学篇:振弦采集读数模块开发原理详细介绍
三河凡科科技飞讯教学篇:振弦采集读数模块开发原理详细介绍,振弦采集读数模块是一种用于测量弦震动的仪器,它可以将弦得振动转化成电信号进行采集和处理,通常应用于各种乐器、声学研究和音乐教学等领域。
飞讯教学篇:振弦采集读数模块开发原理详细介绍
|
传感器 存储 数据采集
振弦采集读数模块开发原理解析
振弦采集读数模块是一种用于采集弦振信息的模块,其原理是通过传感器感知弦的振动,将其转化为电信号,然后经过模拟处理和数字化处理,最终输出为可供后续处理的数字信号。
振弦采集读数模块开发原理解析
|
传感器 数据采集 算法
优化振弦采集读数模块开发的步骤
最后,需要进行严格的测试和验证,以确保开发出来的振弦读数模块能够正常工作,并具有高可靠性和稳定性。
优化振弦采集读数模块开发的步骤
|
传感器 存储 物联网
多功能手持读数仪振弦混合信号采集仪的版本区别
VH501TC手持采集读数仪,设备是专用的多类型传感器手持式读数仪,主测传感类型为单弦式振弦传感器,辅测传感类型为电压、电流传感。采用 32 位 ARM 处理器和大尺寸全彩屏、阵列按键设计,彩屏,不受阳光影响,清楚明了。操作界面简单友好,各项数据全屏显示,如振弦频率,频模,温度,采集质量,时间显示,电压电流,激励电压,激励方法,温度传感器及剩余电量。指示灯显示说明运行情况,DB9和通讯航空接口连接稳固,后盖更换电池方便。按键回弹手感好,整机好握持,单手操作,操作舒适,在完成快速测读的同时还具备很好的操控体验。外壳坚固耐用,方便携带能在不同工况场景下使用。
多功能手持读数仪振弦混合信号采集仪的版本区别
|
传感器 算法 安全
振弦采集读数模块应用仪器开发的注意事项
1. 确认振弦类型:应根据实际应用需要选择合适的振弦类型,包括弦材质、长度、直径、拉力等。