XI . 视频帧绘制的 FPS 帧间隔
1 . 根据帧率 ( fps ) 计算两次图像绘制之间的间隔 : 视频绘制时 , 先参考帧率 FPS 计算出一个视频帧间隔 , 计算公式是 1 f p s \frac{1}{fps}
fps
, 即如果 FPS 为 100Hz , 那么1 秒钟绘制 100 张画面 , 每隔 10ms 绘制一张图像 ;
2 . 帧率间隔计算方式 : 上面计算出了 fps 值 , 这里直接使用 1 / fps 值 , 可以获取帧之间的间隔时间 , 单位是秒 ;
AVRational frame_rate = stream->avg_frame_rate; int fps = frame_rate.num / frame_rate.den; //根据帧率 ( fps ) 计算两次图像绘制之间的间隔 // 注意单位换算 : 实际使用的是微秒单位 , 使用 av_usleep ( ) 方法时 , 需要传入微秒单位 , 后面需要乘以 10 万 double frame_delay = 1.0 / fps;
注意单位换算 : 实际使用的是微秒单位 , 使用 av_usleep ( ) 方法时 , 需要传入微秒单位 , 后面需要乘以 10 万
XII . 视频帧绘制的额外延迟间隔
1 . 解码额外延迟 : 视频帧解码时 , 还需要添加一个额外的延迟间隔 extra_delay , 该值表示需要在视频帧之间添加一个额外延迟 , 这是系统规定的 ;
2 . 额外延迟 extra_delay 的计算方式 : extra_delay = repeat_pict / (2*fps) , 需要获取 repeat_pict 值 ;
3 . repeat_pict 原型 : 该值封装在了 AVFrame 视频帧中 , 原型如下 :
/** * When decoding, this signals how much the picture must be delayed. * extra_delay = repeat_pict / (2*fps) */ int repeat_pict
4 . 额外延迟计算代码示例 :
//解码时 , 该值表示画面需要延迟多长时间在显示 // extra_delay = repeat_pict / (2*fps) // 需要使用该值 , 计算一个额外的延迟时间 // 这里按照文档中的注释 , 计算一个额外延迟时间 double extra_delay = avFrame->repeat_pict / ( fps * 2 );
XIII . 视频帧绘制的间隔
1 . 视频帧间隔 : 视频帧绘制之间的间隔是 FPS 帧间隔 ( frame_delay ) + 额外延迟 ( extra_delay ) 的总和 ;
2 . 代码示例如下 : 上面已经根据 FPS 值计算出了理论帧间隔 , 和 根据 AVFrame 中封装的 repeat_pict 计算出了 额外延迟 extra_delay , 二者相加 , 就是总的延迟 , 单位是秒 , 如果需要做延迟操作 , 需要传递给休眠函数 av_usleep ( ) 微妙值 , 在秒的基础上乘以 10 万 ;
//计算总的帧间隔时间 , 这是真实的间隔时间 double total_frame_delay = frame_delay + extra_delay;
XIV . 获取视频当前播放时间
1 . 视频的 PTS 时间 : 视频帧也可以像音频一样直接获取 PTS 时间 , 并计算其相对的播放时间 ;
2 . 视频的推荐时间获取方式 : 但是视频中建议使用另外一个值 best_effort_timestamp , 该值也是视频的播放时间 , 但是比 pts 更加精确 , best_effort_timestamp 参考了其它的许多因素 , 如编码 , 解码等参数 ;
该 best_effort_timestamp 值 , 在大部分时候等于 pts 值 ;
3 . best_effort_timestamp 原型 : 在 AVFrame 结构体中定义 ;
/** * frame timestamp estimated using various heuristics, in stream time base * - encoding: unused * - decoding: set by libavcodec, read by user. */ int64_t best_effort_timestamp;
4 . 计算视频的播放时间 : 从 AVFrame 中获取了 best_effort_timestamp 值后 , 还需要乘以 time_base 时间单位值 , 转换成秒 , 代码示例如下 :
//获取当前画面的相对播放时间 , 相对 : 即从播放开始到现在的时间 // 该值大多数情况下 , 与 pts 值是相同的 // 该值比 pts 更加精准 , 参考了更多的信息 // 转换成秒 : 这里要注意 pts 需要转成 秒 , 需要乘以 time_base 时间单位 // 其中 av_q2d 是将 AVRational 转为 double 类型 double vedio_best_effort_timestamp_second = avFrame->best_effort_timestamp * av_q2d(time_base);
XV . 视频帧绘制的间隔控制
1 . 延迟控制策略 :
① 延迟控制 ( 降低速度 ) : 通过调用 int av_usleep(unsigned usec) 函数 , 调整视频帧之间的间隔 , 来控制视频的播放速度 , 增加帧间隔 , 就会降低视频的播放速度 , 反之会增加视频的播放速度 ;
② 丢包控制 ( 增加速度 ) : 如果视频慢了 , 说明积压的视频帧过多 , 可以通过丢包 , 增加视频播放速度 ;
2 . 视频本身的帧率 : 视频本身有一个 FPS 绘制帧率 , 默认状态下 , 每个帧之间的间隔为 1/fps 秒 , 所有的控制都是相当于该间隔进行调整 , 如增加间隔 , 是在该 1/fps 秒的基础上增加的 ;
3 . 计算视频与音频的间隔 : 将从视频帧中获取的播放时间 与 音频帧中获取的播放时间进行对比 , 计算出一个差值 ;
4 . 降低视频速度的实现 : 如果视频比音频快 , 那么在帧率间隔基础上 , 增加该差值 , 多等待一会 ;
5 . 提高视频速度实现 : 如果视频速度慢 , 那么需要丢弃一部分视频帧 , 以赶上音频播放的进度 ;
XVI . 视频帧丢弃方案
1 . 编码帧 AVPacket 丢弃 : 如果丢弃的视频帧是 AVPacket 编码帧 , 那么需要考虑 H.264 视频帧编码类型 ;
① 保留关键帧 : I 帧不能丢 , 只能丢弃 B 帧 和 P 帧 ;
② 丢弃关键帧方案 : 如果丢弃 I 帧 , 就需要将 I 帧后面的 B / P 帧 都要丢掉 , 直到下一个 I 帧 ;
③ 推荐方案 : 一般情况下是将两个 I 帧之间的 B / P 帧丢弃 ; 因为丢掉一帧 B 帧或 P 帧 , 意味着后面的 B / P 帧也无法解析了 , 后面的 B / P 帧也一并丢弃 , 直到遇到 I 帧 ;
2 . 解码帧 AVFrame 丢弃 : 每个 AVFrame 都代表了一个完整的图像数据包 , 可以丢弃任何一帧数据 , 因此这里建议丢包时选择 AVFrame 丢弃 ;
XVII . 音视频同步代码示例
音视频同步代码示例 :
//根据帧率 ( fps ) 计算两次图像绘制之间的间隔 // 注意单位换算 : 实际使用的是微秒单位 , 使用 av_usleep ( ) 方法时 , 需要传入微秒单位 , 后面需要乘以 10 万 double frame_delay = 1.0 / fps; while (isPlaying){ //从线程安全队列中获取 AVFrame * 图像 ... //获取当前画面的相对播放时间 , 相对 : 即从播放开始到现在的时间 // 该值大多数情况下 , 与 pts 值是相同的 // 该值比 pts 更加精准 , 参考了更多的信息 // 转换成秒 : 这里要注意 pts 需要转成 秒 , 需要乘以 time_base 时间单位 // 其中 av_q2d 是将 AVRational 转为 double 类型 double vedio_best_effort_timestamp_second = avFrame->best_effort_timestamp * av_q2d(time_base); //解码时 , 该值表示画面需要延迟多长时间在显示 // extra_delay = repeat_pict / (2*fps) // 需要使用该值 , 计算一个额外的延迟时间 // 这里按照文档中的注释 , 计算一个额外延迟时间 double extra_delay = avFrame->repeat_pict / ( fps * 2 ); //计算总的帧间隔时间 , 这是真实的间隔时间 double total_frame_delay = frame_delay + extra_delay; //将 total_frame_delay ( 单位 : 秒 ) , 转换成 微秒值 , 乘以 10 万 unsigned microseconds_total_frame_delay = total_frame_delay * 1000 * 1000; if(vedio_best_effort_timestamp_second == 0 ){ //如果播放的是第一帧 , 或者当前音频没有播放 , 就要正常播放 //休眠 , 单位微秒 , 控制 FPS 帧率 av_usleep(microseconds_total_frame_delay); }else{ //如果不是第一帧 , 要开始考虑音视频同步问题了 //获取音频的相对时间 if(audioChannel != NULL) { //音频的相对播放时间 , 这个是相对于播放开始的相对播放时间 double audio_pts_second = audioChannel->audio_pts_second; //使用视频相对时间 - 音频相对时间 double second_delta = vedio_best_effort_timestamp_second - audio_pts_second; //将相对时间转为 微秒单位 unsigned microseconds_delta = second_delta * 1000 * 1000; //如果 second_delta 大于 0 , 说明视频播放时间比较长 , 视频比音频快 //如果 second_delta 小于 0 , 说明视频播放时间比较短 , 视频比音频慢 if(second_delta > 0){ //视频快处理方案 : 增加休眠时间 //休眠 , 单位微秒 , 控制 FPS 帧率 av_usleep(microseconds_total_frame_delay + microseconds_delta); }else if(second_delta < 0){ //视频慢处理方案 : // ① 方案 1 : 减小休眠时间 , 甚至不休眠 // ② 方案 2 : 视频帧积压太多了 , 这里需要将视频帧丢弃 ( 比方案 1 极端 ) if(fabs(second_delta) >= 0.05){ //丢弃解码后的视频帧 ... //终止本次循环 , 继续下一次视频帧绘制 continue; if }else{ //如果音视频之间差距低于 0.05 秒 , 不操作 ( 50ms ) } } } }
