深入浅出：FFmpeg 音频解码与处理AVFrame全解析（一）https://developer.aliyun.com/article/1465077
4.2 音频帧数据的处理方法 (Methods of Processing Audio Frame Data)
处理音频帧数据的方法主要取决于你的具体需求。在这里，我们将介绍一种常见的处理方法：将音频帧数据转换为 PCM 数据。
PCM（Pulse Code Modulation，脉冲编码调制）是一种数字音频编码格式，它将连续的模拟信号转换为离散的数字信号。在音频处理中，PCM 数据通常被用作其他音频格式的基础。
在 FFmpeg 中，我们可以通过以下步骤将音频帧数据转换为 PCM 数据：
- 获取音频帧数据：首先，我们需要从
AVFrame结构体中获取音频帧数据。这可以通过访问AVFrame的data字段来实现。 - 处理多通道音频数据：如果音频数据包含多个通道（例如立体声音频），我们需要分别处理每个通道的数据。这可以通过遍历
data数组来实现。 - 处理每个样本的数据：对于每个通道，我们需要处理每个样本的数据。这可以通过遍历
nb_samples来实现。在遍历过程中，我们需要根据linesize的值来确定每个样本的数据大小。 - 转换为 PCM 数据：最后，我们需要将每个样本的数据转换为 PCM 数据。这通常可以通过简单的类型转换来实现。
- 音频样本的字节大小通常与样本的位深度有关，而不是通道数量。例如，如果你有一个16位的音频样本，那么无论你有多少通道，每个样本都将占用2个字节。如果你有一个32位的音频样本，那么每个样本将占用4个字节，无论通道数量如何。
- 通道数量决定了每个样本时间点有多少个独立的样本值。例如，对于立体声（2通道）音频，每个样本时间点有两个样本值：一个用于左声道，一个用于右声道。对于四通道音频，每个样本时间点有四个独立的样本值。
- 错误"Sample index exceeds data length"：这个错误可能是由于试图访问超出了你的数据数组长度的索引。这可能是因为你的linesize变量或者av_layout.nb_channels变量比你预期的要大。
以下是一个简单的示例代码，展示了如何将音频帧数据转换为 PCM 数据：
// Process the decoded frame data here. uint8_t** data = frame->extended_data; int linesize = frame->linesize[0]; const AVChannelLayout & av_layout = codec_ctx_->ch_layout; int bytes_per_sample = av_get_bytes_per_sample(static_cast<enum AVSampleFormat>(frame->format)); // int bytes_per_sample = linesize / (frame->nb_samples * av_layout.nb_channels); try{ // Add the decoded audio data to decoded_audio_data_ queue for (int i = 0; i < frame->nb_samples; ++i) { for (int ch = 0; ch < av_layout.nb_channels; ++ch) { // Check if the next sample would exceed the data length if ((i + 1) * bytes_per_sample > frame->linesize[ch]) { throw std::out_of_range("Sample index exceeds data length"); } float sample = *((float*)(data[ch] + i * bytes_per_sample)); decoded_audio_data_.push(sample); } } }
linesize / frame->nb_samples这个计算是用来得到每个样本的字节长度。这个计算假设linesize是每个通道的总字节长度。然而，这个计算可能需要根据你的音频数据的格式进行调整。例如，如果你的音频数据是16位的，那么每个样本将占用2个字节。在这种情况下，你可能需要将
linesize除以2来得到每个样本的字节长度。所以，如果你的音频数据是16位的，你可能需要这样计算：
int bytes_per_sample = (linesize / frame->nb_samples) / 2;
这样，你就将
linesize从字节转换为样本，然后再除以2来得到每个样本的字节长度。
在这个示例代码中，我们首先获取了音频帧的数据和行大小。然后，我们遍历了每个样本和每个通道的数据，将每个样本的数据转换为 PCM 数据，并将其添加到 decoded_audio_data_ 中。
4.3 音频帧数据的应用场景 (Application Scenarios of Audio Frame Data)
音频帧数据在多种应用场景中都有广泛的应用，以下是一些常见的应用场景：
- 音频播放：音频帧数据是音频播放的基础。在音频播放器中，我们需要解码音频文件，获取音频帧数据，然后将音频帧数据送入音频设备进行播放。
- 音频编辑：在音频编辑软件中，我们需要对音频帧数据进行各种处理，例如剪切、混音、添加效果等。这些操作都需要对音频帧数据进行读取和修改。
- 音频分析：在音频分析中，我们需要对音频帧数据进行各种计算，例如计算音频的频谱、节拍、音高等。这些计算都需要对音频帧数据进行读取。
- 音频转码：在音频转码中，我们需要将音频文件从一种编码格式转换为另一种编码格式。在这个过程中，我们需要解码原始音频文件，获取音频帧数据，然后将音频帧数据编码为新的格式。
以上是音频帧数据的一些常见应用场景。在实际应用中，音频帧数据的处理方法可能会根据具体需求而变化。在处理音频帧数据时，我们需要充分理解音频帧数据的结构和性质，以便正确地处理音频帧数据。
五、实战：使用 FFmpeg 进行音频解码与处理
5.1 准备工作：环境搭建与音频文件准备
在我们开始使用 FFmpeg 进行音频解码与处理之前，首先需要进行一些准备工作，包括环境搭建和音频文件的准备。
5.1.1 环境搭建
首先，我们需要在我们的计算机上安装 FFmpeg。FFmpeg 是一个开源项目，它的源代码可以在其官方网站上找到。我们可以选择下载预编译的二进制文件，也可以选择从源代码编译。在大多数情况下，下载预编译的二进制文件是最快捷的方式。
安装 FFmpeg 的步骤如下：
- 访问 FFmpeg 官方网站，下载适合你的操作系统的预编译的二进制文件。
- 将下载的文件解压到你的计算机上。
- 将 FFmpeg 的二进制文件添加到你的系统路径中。
安装完成后，你可以在命令行中输入 ffmpeg -version 来检查 FFmpeg 是否安装成功。如果安装成功，你将看到 FFmpeg 的版本信息。
5.1.2 音频文件准备
在我们开始音频解码与处理之前，我们还需要准备一些音频文件。这些音频文件可以是任何格式的，只要 FFmpeg 支持。你可以选择使用你自己的音频文件，也可以从互联网上下载一些免费的音频文件。
在选择音频文件时，你需要注意以下几点：
- 音频文件的格式：FFmpeg 支持大多数常见的音频格式，包括 MP3、WAV、AAC 等。你需要确保你的音频文件是 FFmpeg 支持的格式。
- 音频文件的质量：音频文件的质量会影响到解码和处理的结果。你需要选择质量较高的音频文件，以便得到更好的结果。
- 音频文件的内容：音频文件的内容会影响到你的音频处理任务。例如，如果你想进行语音识别，你需要选择包含人声的音频文件。
准备好音频文件后，你就可以开始使用 FFmpeg 进行音频解码与处理了。在下一节中，我们将介绍如何使用 FFmpeg 进行音频解码。
5.2 步骤一：音频解码
音频解码是将编码后的音频数据转换回原始的音频信号的过程。在 FFmpeg 中，我们可以使用 avcodec_receive_frame 函数来进行音频解码。
以下是音频解码的流程图：
5.2.1 创建解码器上下文 (Create Decoder Context)
首先，我们需要创建一个解码器上下文 (AVCodecContext)。解码器上下文是 FFmpeg 中用于存储解码器状态的结构体。我们可以使用 avcodec_alloc_context3 函数来创建一个新的解码器上下文。
AVCodec* codec = avcodec_find_decoder(AV_CODEC_ID_MP3); AVCodecContext* codec_ctx = avcodec_alloc_context3(codec);
在这里，AV_CODEC_ID_MP3 是我们要解码的音频文件的编码格式。如果你的音频文件是其他格式，你需要使用相应的编码格式。
5.2.2 打开解码器 (Open Decoder)
创建解码器上下文后，我们需要使用 avcodec_open2 函数来打开解码器。
int ret = avcodec_open2(codec_ctx, codec, NULL); if (ret < 0) { // 打开解码器失败，处理错误 }
5.2.3 接收解码后的帧 (Receive Decoded Frames)
然后，我们可以使用 avcodec_receive_frame 函数来接收解码后的帧。
AVFrame* frame = av_frame_alloc(); while (ret >= 0) { ret = avcodec_receive_frame(codec_ctx, frame); if (ret == AVERROR(EAGAIN) || ret == AVERROR_EOF) { break; } else if (ret < 0) { // 接收帧失败，处理错误 } // 在此处处理解码后的帧（frame）数据 }
在这里，我们使用一个循环来接收所有的解码后的帧。每次循环，我们都会调用 avcodec_receive_frame 函数来接收一个解码后的帧。如果 avcodec_receive_frame 函数返回 AVERROR(EAGAIN) 或 AVERROR_EOF，我们就跳出循环。如果 avcodec_receive_frame 函数返回其他负值，我们就处理错误。
5.2.4 处理解码后的帧 (Process Decoded Frames)
接收到解码后的帧后，我们就可以对其进行处理了。在下一节中，我们将详细介绍如何处理解码后的帧。
5.3 步骤二：音频帧数据处理
接收到解码后的帧 (AVFrame) 后，我们需要对其进行处理。这通常包括获取音频帧中的数据，处理这些数据，然后将处理后的数据添加到 decoded_audio_data_ 成员变量中。
以下是音频帧数据处理的流程图：
5.3.1 获取音频帧数据
首先，我们需要获取音频帧中的数据和行大小。我们可以通过 AVFrame 结构体的 extended_data 和 linesize 成员来获取这些信息。
uint8_t** data = frame->extended_data; int linesize = frame->linesize[0];
在这里，extended_data 是一个指向音频帧数据的指针数组，linesize 是每个音频样本的大小。
深入浅出：FFmpeg 音频解码与处理AVFrame全解析（三）https://developer.aliyun.com/article/1465083
