[✔️]FFMpeg的音频处理

简介: [✔️]FFMpeg的音频处理

PCM


PCM全称Pulse-Code Modulation,脉冲调制编码。是未经压缩的音频采样数据裸流,由模拟信号经过采样、量化、编码转换成的标准数字音频数据。


描述PCM的6个参数:


  1. Sample Rate


采样频率。8kHz(电话)、44.1kHz(CD)、48kHz(DVD)。


  1. Sample Size


量化位数。通常该值为16-bit。


  1. Number of Channels


通道个数。常见的音频有立体声(stereo)和单声道(mono)两种类型,立体声包含左声道和右声道。另外还有环绕立体声等其它不太常用的类型。


  1. Sign


表示样本数据是否是有符号位,比如用一字节表示的样本数据,有符号的话表示范围为-128 ~ 127,无符号是0 ~ 255。


  1. Byte Ordering字节序。字节序是little-endian还是big-endian。通常均为little-endian。


  1. Integer Or Floating Point整形或浮点型。大多数格式的PCM样本数据使用整形表示,而在一些对精度要求高的应用方面,使用浮点类型表示PCM样本数据。


image.png


经ffmpeg解码的音频帧一般会有多个pcm采样数据(AVFrame->nb_samples),AAC_LC为1024,根据采样数据的布局和格式,我们可以算出每个帧中采样数据的内存占用


双声道AV_CH_LAYOUT_STEREO 布局,采样格式AV_SAMPLE_FMT_S16,一个AAC_LC帧采样数据占用 2*(16/8)*1024 =4096字节


对于采样率为44100Hz,一个音频帧的播放时间为 1024/44100 ≈ 23.22ms。


av_rescale_rnd


int64_t av_rescale_rnd(int64_t a, int64_t b, int64_t c, enum AVRounding rnd) av_const;


计算 "a * b / c" 的值并分五种方式来取整 一般的使用方法


int dstNbSamples = av_rescale_rnd(
    frame->nb_samples, codecContext->sample_rate,
    codecContext->sample_rate, AV_ROUND_UP);


这个计算的是新的采样数量2:采样数量1*采样频率1/采样频率2


采样数量*采样频率=一帧的采样数量


av_samples_get_buffer_size


这个函数只能用于音频,计算要把一系列的样本保存起来,需要多大的缓存


int av_samples_get_buffer_size(
    int *linesize, // 
    int nb_channels, // 通道的数量
    int nb_samples, // 单个通道的采样数量
    enum AVSampleFormat sample_fmt, // 采样格式
    int align // 字节对齐,0默认,1不对齐
);


swr_convert


音频重新采样,解析出来的数据为pcm数据。


播放音频


ffplay也支持播放音频,但是它使用的是SDL


Windows



MciPlayer.cpp


mciSendCommand


mpg123


windows播放pcm的小例子


Android


非engine代码


  • AudioBufferProvider.h


  • AudioMixer.h


  • AudioMixerOps.h


  • AudioResampler.h


  • AudioResamplerCubic.h


  • AudioResamplerPublic.h


  • mp3reader.h


  • tinysndfile.h


播放 pcm 数据目前比较流行的有两种方式:


  • 一种是通过 Android 的 AudioTrack 来播放



  • openal: a cross-platform 3D audio API appropriate for use with gaming applications


  • sdl


SDL


SDL是 “Simple DirectMedia Layer”的缩写,SDL是一个开源的跨平台的多媒体库,封装了复杂的音视频底层操作,简化了音视频处理的难度。


Github


image.png

目录
相关文章
|
缓存
【SVN异常】svn更新时,出现不知道这样的主机的解决方案
svn更新时,出现不知道这样的主机的解决方案
1702 0
【SVN异常】svn更新时,出现不知道这样的主机的解决方案
|
编解码 API 数据安全/隐私保护
FFmpeg中overlay滤镜用法-水印及画中画
overlay 技术又称视频叠加技术。overlay 视频技术使用非常广泛,常见的例子有,电视屏幕右上角显示的电视台台标,以及画中画功能。画中画是指在一个大的视频播放窗口中还存在一个小播放窗口,两个窗口不同的视频内容同时播放。
2231 0
FFmpeg中overlay滤镜用法-水印及画中画
|
域名解析 网络协议 网络架构
追踪数据包路径 - traceroute
【1月更文挑战第22天】
370 1
|
数据库 数据库管理
sqlite3 插入数据
sqlite3 插入数据
227 0
Beyond Compare 4密钥过期解决办法,超实用
Beyond Compare 4密钥过期解决办法,超实用
27136 1
C语言:十进制、BCD码互换
C语言:十进制、BCD码互换
C语言:十进制、BCD码互换
|
11月前
|
JavaScript API
使用vue3+vite+electron构建小项目介绍Electron进程间通信
使用vue3+vite+electron构建小项目介绍Electron进程间通信
1428 3
|
11月前
|
API
FFmpeg中AVPacket、AVFrame结构的基本使用
FFmpeg中AVPacket和AVFrame结构的内存分配、释放和引用计数处理,以及如何避免内存泄漏。
308 3
|
存储 编解码 算法