音视频术语
- 容器／文件（Conainer/File）：即特定格式的多媒体文件，比如mp4、flv、mkv等。
- 媒体流（Stream）：表示时间轴上的一段连续数据，如一段声音数据、一段视频数据或一段字幕数据，可以是压缩的，也可以是非压缩的，压缩的数据需要关联特定的编解码器
- 数据帧／数据包（Frame/Packet）：通常，一个媒体流是由大量的数据帧组成的，对于压缩数据，帧对应着编解码器的最小处理单元，分属于不同媒体流的数据帧交错存储于容器之中。
- 编解码器：编解码器是以帧为单位实现压缩数据和原始数据之间的相互转换的。
FFmpeg库：
- avcodec：编解码（最重要的库）。
- avformat：封装格式处理。
- avfilter：滤镜特效处理。
- avdevice：各种设备的输入输出。
- avutil：工具库（大部分库都需要这个库的支持）。
- postproc：后加工。
- swresample：音频采样数据格式转换。
- swscale：视频像素数据格式转换
播放步骤
Format I/O context 用于格式化上下文 1.AVFormatContext* pFormatContext = avformat_alloc_context(); Open an input stream and read the header. The codecs are not opened. The stream must be closed with avformat_close_input().打开文件 2.avformat_open_input(&pFormatContext,path,NULL,NULL) 查找流信息 3.avformat_find_stream_info(pFormatContext,NULL) 查找解码器 4.AVCodec* pCodec = const_cast<AVCodec *>(avcodec_find_decoder(pCodecId)); 5.创建解码器上下文 AVCodecContext* pCodecContext = avcodec_alloc_context3(pCodec); 6.打开解码器 avcodec_open2(pCodecContext,pCodec,NULL); 7.分配packet空间和frame空间 AVPacket *avp = av_packet_alloc(); AVFrame *avf = av_frame_alloc(); 8.读取数据 av_read_frame(pFormatContext,avp) 9.解码 从avpacket到avframe ret = avcodec_send_packet(pCodecContext, avp); 10.解码接收到的数据 avcodec_receive_frame(pCodecContext, avf); 11.播放完成 av_packet_unref(avp); av_packet_free(&avp); av_frame_free(&avf); swr_free(&swr_cxt); avcodec_close(pCodecContext); avcodec_free_context(&pCodecContext); avformat_close_input(&pFormatContext); avformat_free_context(pFormatContext); env->ReleaseStringUTFChars(audioPath,path);
封装格式相关
avformat_alloc_context();负责申请一个AVFormatContext结构的内存,并进行简单初始化
avformat_free_context();释放该结构里的所有东西以及该结构本身
avformat_close_input();关闭解复用器。关闭后就不再需要使用avformat_free_context 进行释放。
avformat_open_input();打开输入视频文件
avformat_find_stream_info()：获取音视频文件信息
av_read_frame(); 读取音视频包
avformat_seek_file(); 定位文件
av_seek_frame():定位文件
解封装格式相关
ffmpeg 的 Muxer主要分为 三步操作：
- avformat_write_header ： 写文件头
- av_write_frame/av_interleaved_write_frame： 写packet
- av_write_trailer： 写⽂件尾
编码相关
- avcodec_find_encoder：根据指定的AVCodecID查找注册的编码器
- avcodec_alloc_context3：为AVCodecContext分配内存。
- avcodec_open2：打开编码器。
- avcodec_send_frame：将AVFrame⾮压缩数据给编码器。
- avcodec_receive_packet：获取到编码后的AVPacket数据，收到的packet需要⾃⼰释放内存。
- av_frame_get_buffer: 为⾳频或视频帧分配新的buffer。在调⽤这个函数之前，必须在AVFame上设置好以下属性：format(视频为像素格式，⾳频为样本格式)、nb_samples(样本个数，针对⾳频)、channel_layout(通道类型，针对⾳频)、width/height(宽⾼，针对视频）。
- av_frame_make_writable：确保AVFrame是可写的，使av_frame_make_writable()的问题是，在最坏的情况下，它会在您使⽤encode再次更改整个输⼊frame之前复制它. 如果frame不可写，av_frame_make_writable()将分配新的缓冲区，并复制这个输⼊input frame数据，避免和编码器需要缓存该帧时造成冲突。 av_samples_fill_arrays 填充⾳频帧
解码相关
- avcodec_alloc_context3(): 分配解码器上下文 avcodec_find_decoder()：根据ID查找解码器
- avcodec_find_decoder_by_name():根据解码器名字 avcodec_open2()： 打开编解码器
avcodec_decode_video2()：解码一帧视频数据avcodec_decode_audio4()：解码一帧音频数据- avcodec_send_packet(): 发送编码数据包 avcodec_receive_frame(): 接收解码后数据
- avcodec_free_context():释放解码器上下文，包含了 avcodec_close()
- avcodec_close():关闭解码器
-
FFmpeg数据结构
- AVFormatContext
封装格式上下文结构体，也是统领全局的结构体，保存了视频文件封装格式相关信息。 AVInputFormat - demuxer
每种封装格式（例如FLV, MKV, MP4, AVI）对应一个该结构体。 - AVOutputFormat muxer
- AVStream
视频文件中每个视频（音频）流对应一个该结构体。
AVCodecContext编解码器上下文结构体，保存了视频（音频）编解码相关信息。 - AVCodec
每种视频（音频）编解码器(例如H.264解码器)对应一个该结构体。 - AVPacket
存储一帧压缩编码数据。 - AVFrame
存储一帧解码后像素（采样）数据
FFmpeg数据结构分析
- AVFormatContext
iformat：输入媒体的AVInputFormat，比如指向AVInputFormat ff_flv_demuxer
nb_streams：输入媒体的AVStream 个数
streams：输入媒体的AVStream []数组
duration：输入媒体的时长（以微秒为单位），计算方式可以参考av_dump_format()函数。
bit_rate：输入媒体的码率 - AVInputFormat
name：封装格式名称
extensions：封装格式的扩展名
id：封装格式ID，
一些封装格式处理的接口函数,比如read_packet() - AVStream
index：标识该视频/音频流
time_base：该流的时基，PTS*time_base=真正的时间（秒）
avg_frame_rate： 该流的帧率
duration：该视频/音频流长度
codecpar：编解码器参数属性 - AVCodecParameters
codec_type：媒体类型，比如AVMEDIA_TYPE_VIDEO，AVMEDIA_TYPE_AUDIO等
codec_id：编解码器类型， 比如AV_CODEC_ID_H264AV_CODEC_ID_AAC等。 - AVCodecContext
codec：编解码器的AVCodec，比如指向AVCodec ff_aac_latm_decoder
width, height：图像的宽高（只针对视频）
pix_fmt：像素格式（只针对视频）
sample_rate：采样率（只针对音频）
channels：声道数（只针对音频）
sample_fmt：采样格式（只针对音频） - AVCodec
name：编解码器名称
type：编解码器类型
id：编解码器ID
一些编解码的接口函数，比如int (*decode)() - AVPacket
pts：显示时间戳
dts：解码时间戳
data：压缩编码数据
size：压缩编码数据大小
pos:数据的偏移地址
stream_index：所属的AVStream - AVFrame
data：解码后的图像像素数据（音频采样数据）
linesize：对视频来说是图像中一行像素的大小；对音频来说是整个音频帧的大小
width, height：图像的宽高（只针对视频）
key_frame：是否为关键帧（只针对视频） 。 • pict_type：帧类型（只针對视频） 。例如I， P， B • sample_rate：音频采样率（只针对音频）
nb_samples：音频每通道采样数（只针对音频）
pts：显示时间戳
FFmpeg数据结构之间的关系
1. AVFormatContext和AVInputFormat之间的关系
AVFormatContext API调用
AVInputFormat 主要是FFMPEG内部调用
数据：
AVFormatContext 封装格式上下文结构体
struct AVInputFormat *iformat;
方法：
AVInputFormat 每种封装格式（例如FLV, MKV, MP4）
int (*read_header)(struct AVFormatContext * );
int (*read_packet)(struct AVFormatContext *, AVPacket *pkt);
2. AVCodecContext和AVCodec之间的关系
数据：
AVCodecContext 编码器上下文结构体
struct AVCodec *codec;
方法：
AVCodec 每种视频（音频）编解码器
int (*decode)(AVCodecContext *, void *outdata, int *outdata_size,
AVPacket *avpkt);
int (*encode2)(AVCodecContext *avctx, AVPacket *avpkt, const AVFrame
*frame, int *got_packet_ptr);
3.AVFormatContext, AVStream和AVCodecContext之间的关系
