ffmpeg常用库、术语、API、数据结构总结

一、常用音视频术语和概念

• 容器/文件(Conainer/File)：指特定格式的多媒体文件，比如mp4、flv、mov等视频格式；
• 媒体流(Stream)：一个容器（如mp4文件）中可存在多个流，可以是视频流、音频流、字幕流。
• 数据帧/数据包（Frame/Packet）：一个流媒体是由大量的数据帧构成的。
• 编码器/解码器：编解码器是以帧为单位进行压缩数据和复原数据的，对原始数据和压缩的数据进行转换。

例如：通过如下命令可以查看一个视频文件的信息：

zhenghui@zh-pc:~/视频$ ffprobe 1080P.mp4 
ffprobe version N-104612-g3188b606d7 Copyright (c) 2007-2021 the FFmpeg developers
  built with gcc 9 (Ubuntu 9.3.0-17ubuntu1~20.04)
  configuration: --prefix=/usr/local/ffmpeg --enable-gpl --enable-nonfree --enable-libfdk-aac --enable-libx264 --enable-libx265 --enable-filter=delogo --enable-debug --disable-optimizations --enable-libspeex --enable-shared --enable-pthreads --enable-version3 --enable-hardcoded-tables --cc=gcc --host-cflags= --host-ldflags= --disable-x86asm
  libavutil      57.  9.100 / 57.  9.100
  libavcodec     59. 13.100 / 59. 13.100
  libavformat    59.  9.101 / 59.  9.101
  libavdevice    59.  0.101 / 59.  0.101
  libavfilter     8. 17.100 /  8. 17.100
  libswscale      6.  1.100 /  6.  1.100
  libswresample   4.  0.100 /  4.  0.100
  libpostproc    56.  0.100 / 56.  0.100
Input #0, mov,mp4,m4a,3gp,3g2,mj2, from '1080P.mp4':
  Metadata:
    major_brand     : isom
    minor_version   : 512
    compatible_brands: isomiso2avc1mp41
    encoder         : Lavf58.29.100
    description     : Packed by Bilibili XCoder v2.0.2
  Duration: 00:03:46.53, start: 0.000000, bitrate: 3087 kb/s
  Stream #0:0[0x1](und): Video: h264 (High) (avc1 / 0x31637661), yuv420p(progressive), 1920x1080 [SAR 1:1 DAR 16:9], 2951 kb/s, 30 fps, 30 tbr, 16k tbn (default)
    Metadata:
      handler_name    : VideoHandler
      vendor_id       : [0][0][0][0]
  Stream #0:1[0x2](und): Audio: aac (LC) (mp4a / 0x6134706D), 44100 Hz, stereo, fltp, 128 kb/s (default)
    Metadata:
      handler_name    : SoundHandler
      vendor_id       : [0][0][0][0]
zhenghui@zh-pc:~/视频$

可以看到这个视频中有两路流：

• Stream #0:00x1: Video: h264 (High) (avc1 / 0x31637661), yuv420p(progressive), 1920x1080 [SAR 1:1 DAR 16:9], 2951 kb/s, 30 fps, 30 tbr, 16k tbn (default)
• Stream #0:10x2: Audio: aac (LC) (mp4a / 0x6134706D), 44100 Hz, stereo, fltp, 128 kb/s (default)

一路是视频流Video: h264，一路是音频流Audio: aac。

二、常用概念

音视频领域-复用器和解复用器

• 复用器：把多路原始流按一定的规则组成成一个新的音视频文件（例如：把一个纯视频流、一个纯音频流和一个纯字幕流组合成一个mp4文件）；
• 解复用器：把一个新的音视频文件按一定的规则拆分成多路原始流（例如：把一个mp4文件，拆分成纯视频流、纯音频流和纯字幕流）。

三、FFmpeg库简介

ffmpeg常用的库：

• libavutil

核心工具库，例如log模块。在ffmpeg中很多功能模块都会依赖avutil库作一些基本的音视频操作。

• libavformat（*重要）

文件格式和协议库，该模块是最重要的模块之一，封装了Protocol层和Demuxer、Muxer层。

• libavcodec（*重要）

编解码库，封装了一些基本的Codec层。但是一些Codec是具备自己的License的，所以ffmpeg是没有默认把这类的库添加进来的，例如：libx264,FDK-AAC等库。ffmpeg就像一个平台一样，可以将第三方的Codec以插件的方式添加进来，然后为开发者提供统一的接口，进行使用。

• libswresample （*重要）

该模块用于音频重采样，可以对数字音频进行声道数、数据格式、采样率等多种基本信息进行转换。例如：把一段音频的声道由双声道转换成单声道的数据，就可以通过该库进行操作。

• libswscale（*重要）

该模块提供了将图像进行格式信息转换的模块。例如：可以将YUV数据转换成RGB数据，可以将1280720的尺寸的数据缩放尺寸至800480的数据。

• libavfilter

音视频滤镜库，该库提供了音频和视频特效的处理功能。

• libavdevice

输入输出设备库。编译时需要先编译SDL，因为此库是以来SDL的，该设备模块库播放声音与播放视频使用的都是SDL库。

• libpostproc

该年模块用于后期处理，与libavfilter库配合使用。

四、ffmpeg常用函数简介

（一）关于初始化和注册相关的函数

• av_register_all()：注册所有的组建，4.0及以上版本已经弃用了；
• avdevice_register_all()：对设备进行注册，如果我们要捕捉屏幕进行录制屏幕，捕捉摄像头进行录制视频，捕捉麦克风录制麦克风声音时，就需要使用到该函数，首先进行注册。例如（windows下的dshow，Linux下的V4L2等）；
• avformat_network_init()：初始化网络库以及网络加密协议相关的库，我们在推流或者拉流时就会使用到。

（二）封装格式相关函数

• avformat_alloc_context()：负责申请一个AVFormatContext上下文结构体的内存，并进行简单的初始化，以提供给其他函数使用；
• avformat_free_context()：释放不使用的AVFormatContext；
• avformat_close_input()：关闭解复用器。如果使用该函数进行关闭的话，就可以不使用avformat_free_context()进行释放；
• avformat_open_input()：打开输入视频文件；
• avformat_find_stream_info()：获取视频文件信息；
• av_read_frame()：读取音视频包；
• avformat_seek_file()：根据时间戳定位文件的位置；例如我们托方播放器的进度条进行快近和快退时，就可以使用此函数进行定位播放；
• av_seek_frame()：根据流的大小定位文件的位置；

封装格式步骤：

1、分配解复用器上下文（avformat_alloc_context()）；

2、根据url打开本地文件或网络流（avformat_open_input()）；

3、读取媒体的数据包，查找流信息（avformat_find_stream_info()）；

4、遍历数据

（4-1）、从文件中读取数据包（av_read_frame()）；

（4-2）、或者 定位文件位置进行遍历（avformat_seek_file()、av_seek_frame()）；

5、关闭解复用器（avformat_close_input()）或释放不使用的资源；

（三）解码相关函数

• avcodec_alloc_context3();分配解码器上下文；
• avcodec_find_decoder();根据ID查找解码器；
• avcodec_find_decoder_by_name();根据解码器名字查找解码器；
• avcodec_open2();打开编解码器；
• avcodec_send_packet();发送编码数据包；
• avcodec_receive_frame();接受解码后的数据；
• avcodec_free_context();释放解码器上下文，此函数包含了avcodec_close()；
• avcodec_close();关闭解码器；

五、ffmpeg常用数据结构简介

• AVFormatContext; 封装格式上喜爱文结构体，统领全局的结构体，保存了视频文件封装格式等相关信息；
• AVInputFormat; 输入的format；封装格式（例如：FLV、MP4），每个封装格式都对应一个该结构体；
• AVOutputFormat;输出的format，例如：输出到网络流，输出到文件等；
• AVStream;一个视频容器（即文件）中存在多路流数据，每路流都对应一个该结构体，例如：视频流、音频流、字幕流等；
• AVCodecContext; 编解码器上下文结构体，保存了音视频编解码相关的信息；
• AVCodec; 每一种音视频编解码器（例如：H.264解码器）都对应一个该结构体；
• AVPacket;存储一帧压缩编码数据；
• AVFrame; 存储一帧解码后的数据（可以是视频解码后的像素数据，也可以是音频采样后的数据）；

还得跟着0声Darren哥学着走阿！