FFmpeg封装格式处理3-复用例程-阿里云开发者社区

开发者社区> 阿里云视频云> 正文
登录阅读全文

FFmpeg封装格式处理3-复用例程

简介: 复用(mux),是 multiplex 的缩写,表示将多路流(视频、音频、字幕等)混入一路输出中(普通文件、流等)。

作者:叶余

来源:https://www.cnblogs.com/leisure_chn/p/10506653.html


FFmpeg 封装格式处理相关内容分为如下几篇文章:

[1]. FFmpeg 封装格式处理-简介

[2]. FFmpeg 封装格式处理-解复用例程

[3]. FFmpeg 封装格式处理-复用例程

[4]. FFmpeg 封装格式处理-转封装例程

4. 复用例程

复用(mux),是 multiplex 的缩写,表示将多路流(视频、音频、字幕等)混入一路输出中(普通文件、流等)。

本例实现,提取第一路输入文件中的视频流和第二路输入文件中的音频流,将这两路流混合,输出到一路输出文件中。

image.png

本例不支持裸流输入,是因为裸流不包含时间戳信息(时间戳信息一般由容器提供),为裸流生成时间戳信息会增加示例代码的复杂性。因此输入文件有特定要求,第一路输入文件应包含至少一路视频流,第二路输入文件应包含至少一路音频流,且输入文件必须包含封装格式,以便能取得时间戳信息,从而可根据时间戳信息对音视频帧排序;另外,为了观测输出文件的音画效果,第一路输入中的视频和第二路输入中的音频最好有一定的关系关系,本例中即是先从一个电影片段中分离出视频和音频,用作测试输入。

4.1 源码

源码实现步骤如注释所述。

#include <stdbool.h>
#include <libavformat/avformat.h>

/*
ffmpeg -i tnmil.flv -c:v copy -an tnmil_v.flv
ffmpeg -i tnmil.flv -c:a copy -vn tnmil_a.flv
./muxing tnmil_v.flv tnmil_a.flv tnmil_av.flv
*/

int main (int argc, char **argv)
{
    if (argc != 4)
    {
        fprintf(stderr, "usage: %s test.h264 test.aac test.ts\n", argv[0]);
        exit(1);
    }

    const char *input_v_fname = argv[1];
    const char *input_a_fname = argv[2];
    const char *output_fname = argv[3];
    int ret = 0;

    // 1 打开两路输入
    // 1.1 打开第一路输入,并找到一路视频流
    AVFormatContext *v_ifmt_ctx = NULL;
    ret = avformat_open_input(&v_ifmt_ctx, input_v_fname, NULL, NULL);
    ret = avformat_find_stream_info(v_ifmt_ctx, NULL);
    int video_idx = av_find_best_stream(v_ifmt_ctx, AVMEDIA_TYPE_VIDEO, -1, -1, NULL, 0);
    AVStream *in_v_stream = v_ifmt_ctx->streams[video_idx];
    // 1.2 打开第二路输入,并找到一路音频流
    AVFormatContext *a_ifmt_ctx = NULL;
    ret = avformat_open_input(&a_ifmt_ctx, input_a_fname, NULL, NULL);
    ret = avformat_find_stream_info(a_ifmt_ctx, NULL);
    int audio_idx = av_find_best_stream(a_ifmt_ctx, AVMEDIA_TYPE_AUDIO, -1, -1, NULL, 0);
    AVStream *in_a_stream = a_ifmt_ctx->streams[audio_idx];
    
    av_dump_format(v_ifmt_ctx, 0, input_v_fname, 0);
    av_dump_format(a_ifmt_ctx, 1, input_a_fname, 0);

    if (video_idx < 0 || audio_idx < 0)
    {
        printf("find stream failed: %d %d\n", video_idx, audio_idx);
        return -1;
    }

    
    // 2 打开输出,并向输出中添加两路流,一路用于存储视频,一路用于存储音频
    AVFormatContext *ofmt_ctx = NULL;
    ret = avformat_alloc_output_context2(&ofmt_ctx, NULL, NULL, output_fname);
    
    AVStream *out_v_stream = avformat_new_stream(ofmt_ctx, NULL);
    ret = avcodec_parameters_copy(out_v_stream->codecpar, in_v_stream->codecpar);

    AVStream *out_a_stream = avformat_new_stream(ofmt_ctx, NULL);
    ret = avcodec_parameters_copy(out_a_stream->codecpar, in_a_stream->codecpar);
    
    if (!(ofmt_ctx->oformat->flags & AVFMT_NOFILE)) // TODO: 研究 AVFMT_NOFILE 标志
    { 
        ret = avio_open(&ofmt_ctx->pb, output_fname, AVIO_FLAG_WRITE);
    }

    av_dump_format(ofmt_ctx, 0, output_fname, 1);

    // 3 写输入文件头
    ret = avformat_write_header(ofmt_ctx, NULL);

    AVPacket vpkt;
    av_init_packet(&vpkt);
    vpkt.data = NULL;
    vpkt.size = 0;

    AVPacket apkt;
    av_init_packet(&apkt);
    apkt.data = NULL;
    apkt.size = 0;

    AVPacket *p_pkt = NULL;

    int64_t vdts = 0;
    int64_t adts = 0;
    
    bool video_finished = false;
    bool audio_finished = false;
    bool v_or_a = false;

    // 4 从两路输入依次取得 packet,交织存入输出中
    printf("V/A\tPTS\tDTS\tSIZE\n");
    while (1)
    {
        if (vpkt.data == NULL && (!video_finished))
        {
            while (1)   // 取出一个 video packet,退出循环
            {
                ret = av_read_frame(v_ifmt_ctx, &vpkt);
                if ((ret == AVERROR_EOF) || avio_feof(v_ifmt_ctx->pb))
                {
                    printf("video finished\n");
                    video_finished = true;
                    vdts = AV_NOPTS_VALUE;
                    break;
                }
                else if (ret < 0)
                {
                    printf("video read error\n");
                    goto end;
                }
                
                if (vpkt.stream_index == video_idx)
                {
                    // 更新 packet 中的 pts 和 dts。关于 AVStream.time_base 的说明:
                    // 输入:输入流中含有 time_base,在 avformat_find_stream_info()中可取到每个流中的 time_base
                    // 输出:avformat_write_header()会根据输出的封装格式确定每个流的 time_base 并写入文件中
                    // AVPacket.pts 和 AVPacket.dts 的单位是 AVStream.time_base,不同的封装格式其 AVStream.time_base 不同
                    // 所以输出文件中,每个 packet 需要根据输出封装格式重新计算 pts 和 dts
                    av_packet_rescale_ts(&vpkt, in_v_stream->time_base, out_v_stream->time_base);
                    vpkt.pos = -1;      // 让 muxer 根据重新将 packet 在输出容器中排序
                    vpkt.stream_index = 0;
                    vdts = vpkt.dts;
                    break;
                }
                av_packet_unref(&vpkt);
            }

        }
        
        if (apkt.data == NULL && (!audio_finished))
        {
            while (1)   // 取出一个 audio packet,退出循环
            {
                ret = av_read_frame(a_ifmt_ctx, &apkt);
                if ((ret == AVERROR_EOF) || avio_feof(a_ifmt_ctx->pb))
                {
                    printf("audio finished\n");
                    audio_finished = true;
                    adts = AV_NOPTS_VALUE;
                    break;
                }
                else if (ret < 0)
                {
                    printf("audio read error\n");
                    goto end;
                }
                
                if (apkt.stream_index == audio_idx)
                {
                    ret = av_compare_ts(vdts, out_v_stream->time_base, adts, out_a_stream->time_base);
                    apkt.pos = -1;
                    apkt.stream_index = 1;
                    adts = apkt.dts;
                    break;
                }
                av_packet_unref(&apkt);
            }

        }

        if (video_finished && audio_finished)
        {
            printf("all read finished. flushing queue.\n");
            //av_interleaved_write_frame(ofmt_ctx, NULL); // 冲洗交织队列
            break;
        }
        else                            // 音频或视频未读完
        {
            if (video_finished)         // 视频读完,音频未读完
            {
                v_or_a = false;
            }
            else if (audio_finished)    // 音频读完,视频未读完
            {
                v_or_a = true;
            }
            else                        // 音频视频都未读完
            {
                // video pakect is before audio packet?
                ret = av_compare_ts(vdts, in_v_stream->time_base, adts, in_a_stream->time_base);
                v_or_a = (ret <= 0);
            }

            
            p_pkt = v_or_a ? &vpkt : &apkt;
            printf("%s\t%3"PRId64"\t%3"PRId64"\t%-5d\n", v_or_a ? "vp" : "ap", 
                   p_pkt->pts, p_pkt->dts, p_pkt->size);
            //ret = av_interleaved_write_frame(ofmt_ctx, p_pkt);
            ret = av_write_frame(ofmt_ctx, p_pkt);
            
            if (p_pkt->data != NULL)
            {
                av_packet_unref(p_pkt);
            }
        }
    }

    // 5 写输出文件尾
    av_write_trailer(ofmt_ctx);

    printf("Muxing succeeded.\n");

end:
    avformat_close_input(&v_ifmt_ctx);
    avformat_close_input(&a_ifmt_ctx);
    avformat_free_context(ofmt_ctx);
    return 0;
}

注意两点:

4.1.1 音视频帧交织问题

音频流视频流混合进输出媒体时,需要确保音频帧和视频帧按照 dts 递增的顺序交错排列,这就是交织(interleaved)问题。如果我们使用 av_interleaved_write_frame(),这个函数会缓存一定数量的帧,将将缓存的帧按照 dts 递增的顺序写入输出媒体,用户(调用者)不必关注交织问题(当然,因为缓存帧数量有限,用户不可能完全不关注交织问题,小范围的 dts 顺序错误问题这个函数可以修正)。如果我们使用 av_write_frame(),这个函数会直接将帧写入输出媒体,用户(必须)自行处理交织问题,确保写帧的顺序严格按照 dts 递增的顺序。

代码中,通过av_compare_ts()比较视频帧 dts 和音频帧 dts 哪值小,将值小的帧调用av_write_frame()先输出。

运行测试命令(详细测试方法在 4.3 节描述):

./muxing tnmil_v.flv tnmil_a.flv tnmil_av.flv

抓取一段打印看一下:

V/A     PTS     DTS     SIZE
vp       80       0     12840
ap        0       0     368  
ap       23      23     364  
vp      240      40     4346 
ap       46      46     365  
ap       70      70     365  
vp      160      80     1257 
ap       93      93     368  
ap      116     116     367  
vp      120     120     626  
ap      139     139     367  
vp      200     160     738  
ap      163     163     367  
ap      186     186     367  
vp      400     200     4938

可以看到,第三列 DTS,数值逐行递增。

4.1.2 时基转换问题

在代码中,读取音频帧或视频帧后,调用了av_packet_rescale_ts()将帧中的时间相关值(pts、dts、duration)进行了时基转换,从输入流的时间基转换为输出流的时间基(time_base)。pts/dts 的单位是 time_base,pts/dts 的值乘以 time_base 表示时刻值。不同的封装格式,其时间基(time_base)不同,所以需要进行转换。当然,如果输出封装格式和输入封装格式相同,那不调用av_packet_rescale_ts()也可以。

封装格式中的时间基就是流中的时间基 AVStream.time_base,关于 AVStream.time_base 的说明:

输入:输入流中含有 time_base,在 avformat_find_stream_info()中可取到每个流中的 time_base

输出:avformat_write_header()会根据输出的封装格式确定每个流的 time_base 并写入文件中

我们对比看一下,ts 封装格式和 flv 封装格式的不同,运行测试命令(详细测试方法在 4.3 节描述):

./muxing tnmil_v.flv tnmil_a.flv tnmil_av.ts

看一下前 15 帧的打印信息:

V/A     PTS     DTS     SIZE
vp      7200      0     12840
ap        0       0     368  
ap      2070    2070    364  
vp      21600   3600    4346 
ap      4140    4140    365  
ap      6300    6300    365  
vp      14400   7200    1257 
ap      8370    8370    368  
ap      10440   10440   367  
vp      10800   10800   626  
ap      12510   12510   367  
vp      18000   14400   738  
ap      14670   14670   367  
ap      16740   16740   367  
vp      36000   18000   4938

和上一节 flv 封装格式打印信息对比一下,不同封装格式中同样的一帧数据,其解码时刻和播放时刻肯定是一样的,但其 PTS/DTS 值是不同的,说明它们的时间单位不同。

4.2 编译

源文件为 muxing.c,在 SHELL 中执行如下编译命令:

gcc -o muxing muxing.c -lavformat -lavcodec -lavutil -g

生成可执行文件 muxing

4.3 验证

测试文件下载:tnmil.flv

image.png

先看一下测试用资源文件的格式:

think@opensuse> ffprobe tnmil.flv 
ffprobe version 4.1 Copyright (c) 2007-2018 the FFmpeg developers
Input #0, flv, from 'tnmil.flv':
  Metadata:
    encoder         : Lavf58.20.100
  Duration: 00:00:54.52, start: 0.000000, bitrate: 611 kb/s
    Stream #0:0: Video: h264 (High), yuv420p(progressive), 784x480, 25 fps, 25 tbr, 1k tbn, 50 tbc
    Stream #0:1: Audio: aac (LC), 44100 Hz, stereo, fltp

可以看到视频文件'tnmil.flv'封装格式为 flv,包含一路 h264 编码的视频流和一路 aac 编码的音频流。

运行如下两条命令,处理一下,生成只含一路视频流的文件,和只含一路音频流的文件,文件封装格式均为 FLV。这两个文件用于下一步的测试。

ffmpeg -i tnmil.flv -c:v copy -an tnmil_v.flv
ffmpeg -i tnmil.flv -c:a copy -vn tnmil_a.flv

不输出裸流,而输出带封装格式的流,就是为了利用封装格式中携带的时间戳信息,简化本例程。

运行如下命令进行测试:

./muxing tnmil_v.flv tnmil_a.flv tnmil_av.flv

使用 ffprobe 检测输出文件正常。使用 ffplay 播放输出文件正常,播放效果和原始的测试文件一致。

输出另外一路封装格式的文件再测试一下,运行如下命令:

./muxing tnmil_v.flv tnmil_a.flv tnmil_av.ts

使用 ffprobe 检测输出文件正常。使用 ffplay 播放输出文件正常,播放效果和原始的测试文件一致。

如果我们改一下代码,将av_packet_rescale_ts()注释掉,再测上述两条指令,发现 tnmil_av.flv 播放正常,tnmil_av.ts 播放不正常,这和预期是相符的。


「视频云技术」你最值得关注的音视频技术公众号,每周推送来自阿里云一线的实践技术文章,在这里与音视频领域一流工程师交流切磋。

阿里云视频云@凡科快图.png

版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。

分享:

分享视频云行业和技术趋势,打造“新内容”、“新交互”。

官方博客
官网链接