FFmpeg 3.0 版本视频解码浅析 - MPEG 封装格式到 PCM 数据格式

简介: FFmpeg 如何解析的具体实践

作者:星陨

来源:音视频开发进阶


有了上一篇文章基础,这里就只关注 FFmpeg 如何解析的具体实践了。

在开始工程之前,第一步要做的就是编译 FFmpeg 源码,生成 Android 平台上使用的 so 库。

在生成完了之后,导入 Android 工程项目中,并且配置 CMake 文件,添加对应的库,就可以开始开发了。

如果觉得麻烦,也可以直接从网上找一个工程使用现成的东西,也可以参考的我的学习项目:https://github.com/glumes/FFMPEGLearn

FFmpeg 3.0 与 2.0 的不同之处

如果是刚开始学习,完全可以参照雷神的博客来写例子,而且还能运行成功。不过,既然 FFmpeg 都出了 3.0 版本了,还是要跟进学习一下。


可以看到,在具体解析操作时发生了变化,不再是之前的 avcodec_decode_video2 函数,而是拆分成了两个函数,avcodec_send_packetavcodec_receive_frame

avcodec_send_packet 负责发送编码压缩后的数据,也就是 Packet 数据,而 avcodec_receive_frame 负责接收解码后的原始数据,也就是 Frame 数据,这么一来一回的配合,每次从文件中读取一部分内容,直到将整个文件解码完成。

解码流程代码

FFmpge 的解码流程大都是相同的,只是在细节地方会有差异,主体流程还是没变,看了好多解码的代码,大多也是这样的,只是在解码成具体的某些格式时,对原始数据 Frame 的操作会有不同。

// 声明一堆待会要用到的变量
    AVCodecContext *avCodecContext = nullptr;
    AVCodec *avCodec = nullptr;
    AVCodecParserContext *parserContext = nullptr;
    AVPacket *packet;
    AVFrame *frame;
    // 为上面声明的变量在赋值,并且检查赋值是否成功
  avcodec_register_all()
  // 为解码器赋值,并制定解码器类型
  avCodec = avcodec_find_decoder(AV_CODEC_ID_HEVC);
  // 为 AVCodecParserContext 和 AVCodecContext 赋值
  parserContext = av_parser_init(avCodec->id);
  avCodecContext = avcodec_alloc_context3(avCodec);
  // 打开解码器
  avcodec_open2(avCodecContext, avCodec, nullptr);
  // 为 Packet 和 Frame 赋值
    frame = av_frame_alloc();
    packet = av_packet_alloc();
    while // 开始一点点的解码文件内容,直到文件末尾
      // 解码从 while 中一次读取到的内容
      av_parser_parse2
      // 发送读取到的 packet
      avcodec_send_packet
      // 接收解析完的 frame
      avcodec_receive_frame
    // 对原生数据进行相关操作,解码成不同数据格式,操作不同。
    // todo
  //最后,释放上面声明的变量
  av_frame_free
  av_packet_free
  avcodec_free_context
  av_parser_close

MPEG->PCM 的解码

在了解视频文件的相关基础以及 FFmpeg 解码的大致流程后,就可以开始进行 MPEG->PCM 的解码工作了。

不过,在这里还是少了两个重要的概念:

  1. FFmpeg 各种类以及变量的含义。
  2. 各种音视频文件的格式协议。

前半部分还好,对着雷神的博客一点点的看,还是能看懂的。至于各种音视频文件的协议,那就要靠慢慢积累了。

这里就不贴上全部的代码了,可以参考如下两个地方:

  1. http://ffmpeg.org/doxygen/trunk/decode_video_8c-example.html
  2. https://github.com/glumes/FFMPEGLearn/blob/master/FFmpegLib/src/main/cpp/ffmpeg_examples/decode_video.cpp

参考

  1. http://www.jianshu.com/p/7e96223ff329
  2. http://blog.csdn.net/leixiaohua1020/article/details/42181271


「视频云技术」你最值得关注的音视频技术公众号,每周推送来自阿里云一线的实践技术文章,在这里与音视频领域一流工程师交流切磋。

image.png

相关文章
|
6月前
|
存储 编解码 算法
探索FFmpeg复用:深入理解媒体数据的组织与封装(三)
探索FFmpeg复用:深入理解媒体数据的组织与封装
132 0
|
6月前
|
存储 编解码 数据处理
【FFmpeg 视频基本格式】深入理解FFmpeg:从YUV到PCM,解码到编码(三)
【FFmpeg 视频基本格式】深入理解FFmpeg:从YUV到PCM,解码到编码
200 0
|
6月前
|
存储 编解码 数据处理
【FFmpeg 视频基本格式】深入理解FFmpeg:从YUV到PCM,解码到编码(二)
【FFmpeg 视频基本格式】深入理解FFmpeg:从YUV到PCM,解码到编码
218 0
|
1月前
|
编解码 语音技术 内存技术
FFmpeg开发笔记(五十八)把32位采样的MP3转换为16位的PCM音频
《FFmpeg开发实战:从零基础到短视频上线》一书中的“5.1.2 把音频流保存为PCM文件”章节介绍了将媒体文件中的音频流转换为原始PCM音频的方法。示例代码直接保存解码后的PCM数据,保留了原始音频的采样频率、声道数量和采样位数。但在实际应用中,有时需要特定规格的PCM音频。例如,某些语音识别引擎仅接受16位PCM数据,而标准MP3音频通常采用32位采样,因此需将32位MP3音频转换为16位PCM音频。
51 0
FFmpeg开发笔记(五十八)把32位采样的MP3转换为16位的PCM音频
|
1月前
FFmpeg学习笔记(二):多线程rtsp推流和ffplay拉流操作,并储存为多路avi格式的视频
这篇博客主要介绍了如何使用FFmpeg进行多线程RTSP推流和ffplay拉流操作,以及如何将视频流保存为多路AVI格式的视频文件。
167 0
|
4月前
|
达摩院 语音技术 异构计算
语音识别-免费开源的语音转文本软件Whisper的本地搭建详细教程,python版本是3.805,ffmpeg是专门处理音视频的,ffmpeg的下载链接,现在要求安装python和ffmpeg
语音识别-免费开源的语音转文本软件Whisper的本地搭建详细教程,python版本是3.805,ffmpeg是专门处理音视频的,ffmpeg的下载链接,现在要求安装python和ffmpeg
|
5月前
|
编解码 Linux 计算机视觉
python 调用ffmpeg使用usb摄像头录制视频,输出h264格式,自动获取摄像头的最佳帧率和最大画面尺寸
使用 Python 调用 FFmpeg 进行 USB 摄像头视频录制,需先确保安装 FFmpeg 和 Python 的 `subprocess` 模块。代码示例展示了如何自动获取摄像头的最佳帧率和最大分辨率,然后录制视频。首先通过 FFmpeg 列出摄像头格式获取信息,解析出帧率和分辨率,选择最优值。之后调用 FFmpeg 命令录制视频,设置帧率、分辨率等参数。注意 `/dev/video0` 是 Linux 的摄像头设备路径,Windows 系统需相应调整。代码中未直接实现自动获取最佳参数,通常需要借助其他库如 OpenCV。
|
6月前
FFmpeg开发笔记(十八)FFmpeg兼容各种音频格式的播放
《FFmpeg开发实战》一书中,第10章示例程序playaudio.c原本仅支持mp3和aac音频播放。为支持ogg、amr、wma等非固定帧率音频,需进行三处修改:1)当frame_size为0时,将输出采样数量设为512;2)遍历音频帧时,计算实际采样位数以确定播放数据大小;3)在SDL音频回调函数中,确保每次发送len字节数据。改进后的代码在chapter10/playaudio2.c,可编译运行播放ring.ogg测试,成功则显示日志并播放铃声。
117 1
FFmpeg开发笔记(十八)FFmpeg兼容各种音频格式的播放
|
6月前
|
编解码 API 数据处理
【摄像头数据处理】摄像头数据处理:使用FFmpeg合并、编码和封装视频流
【摄像头数据处理】摄像头数据处理:使用FFmpeg合并、编码和封装视频流
341 0
|
6月前
|
存储 编解码 安全
探索FFmpeg复用:深入理解媒体数据的组织与封装(二)
探索FFmpeg复用:深入理解媒体数据的组织与封装
137 0

热门文章

最新文章