FFmpeg开发笔记(二十二)FFmpeg中SAR与DAR的显示宽高比

本文涉及的产品
视觉智能开放平台,视频资源包5000点
视觉智能开放平台,图像资源包5000点
视觉智能开放平台,分割抠图1万点
简介: 《FFmpeg开发实战》书中指出,视频宽高处理需考虑采样宽高比(SAR),像素宽高比(PAR)和显示宽高比(DAR)。SAR对应AVCodecParameters的sample_aspect_ratio,PAR为width/height。当SAR的num与den不为1时,需计算DAR以正确显示视频。书中提供了转换公式和代码示例,通过SAR或DAR调整视频尺寸。在修正后的playsync2.c程序中,成功调整了meg.vob视频的比例,实现了正确的画面显示。

《FFmpeg开发实战:从零基础到短视频上线》一书提到:通常情况下,在视频流解析之后,从AVCodecContext结构得到的宽高就是视频画面的宽高。然而有的视频文件并非如此,如果按照AVCodecContext设定的宽高展示视频,会发现画面被压扁或者拉长了。比如该书第10章源码playsync.c在播放meg.vob时的视频画面如下图所示:

sar1.png

可见按照现有方式展示的话,视频画面被拉长了。这是因为视频尺寸有三种宽高概念,说明如下:

1、采样宽高比,指的是摄像头在采集画面时,方格内部的宽度与高度的采样点数量比例。采样宽高比的英文叫做“Sample Aspect Ratio”,简称SAR。
2、像素宽高比,指的是视频画面保存到文件时,宽度和高度各占据多少像素。像素宽高比的英文叫做“Pixel Aspect Ratio”,简称PAR。
3、显示宽高比,指的是视频画面渲染到屏幕时,显示出来的宽度与高度比例。显示宽高比的英文叫做“Display Aspect Ratio”,简称DAR。
采样宽高比对应AVCodecParameters结构的sample_aspect_ratio字段,该字段为分数类型AVRational。
像素宽高比对应AVCodecContext结构的width与height两个字段,比例值等于width/height。
显示宽高比对应最终要显示的画面尺寸,该值需要额外计算。多数时候sample_aspect_ratio的num与den均为1,表示宽高两个方向的采样点比例为1:1,此时像素宽高比等于显示宽高比。
由此可见,当sample_aspect_ratio的num与den均为1时,表示像素点是个正方形,此时AVCodecContext结构的宽高就是视频的宽高,无需另外处理。只有sample_aspect_ratio的num不等于den时,表示像素点是个长方形,才需要另外计算显示宽高比,并根据视频高度计算视频的实际宽度。
已知三个宽高比的转换式子如下:

DAR = PAR x SAR

令DAR=实际宽度/实际高度,则代入具体的字段,可得详细的转换式子如下:

实际宽度   width    sample_aspect_ratio.num
——————— = —————— X —————————————————————————
实际高度   height   sample_aspect_ratio.den

当实际高度为height时,表示保持原画面尺寸,则实际的画面宽度计算式子如下。

             sample_aspect_ratio.num
实际宽度 = width X —————————————————————————
             sample_aspect_ratio.den

假如​已经求得DAR值并保存在变量display_aspect_ratio中,那么实际宽度 = 实际高度 PAR = 实际高度 display_aspect_ratio.num / display_aspect_ratio.den。

根据上述所列的几个计算式子,编写如下的宽高比以及实际宽度的求解代码如下所示。

int origin_width = video_decode_ctx->width;
int origin_height = video_decode_ctx->height;
AVRational aspect_ratio = src_video->codecpar->sample_aspect_ratio;
AVRational display_aspect_ratio;
av_reduce(&display_aspect_ratio.num, &display_aspect_ratio.den,
          origin_width  * aspect_ratio.num,
          origin_height * aspect_ratio.den,
          1024 * 1024);
av_log(NULL, AV_LOG_INFO, "origin size is %dx%d, SAR %d:%d, DAR %d:%d\n",
       origin_width, origin_height,
       aspect_ratio.num, aspect_ratio.den,
       display_aspect_ratio.num, display_aspect_ratio.den);
int real_width = origin_width;
// 第一种方式:根据SAR的采样宽高比,由原始的宽度算出实际的宽度
if (aspect_ratio.num!=0 && aspect_ratio.den!=0 && aspect_ratio.num!=aspect_ratio.den) {
    real_width = origin_width * aspect_ratio.num / aspect_ratio.den;
}
int target_height = 270;
int target_width = target_height*origin_width/origin_height;
// 第二种方式:根据DAR的显示宽高比,由目标的高度算出目标的宽度
if (aspect_ratio.num!=0 && aspect_ratio.den!=0 && aspect_ratio.num!=aspect_ratio.den) {
    target_width = target_height * display_aspect_ratio.num / display_aspect_ratio.den;
}
av_log(NULL, AV_LOG_INFO, "real size is %dx%d, target_width=%d, target_height=%d\n",
    real_width, origin_height, target_width, target_height);

上述修改后的代码已经附在了《FFmpeg开发实战:从零基础到短视频上线》一书第10章的源码chapter10/playsync2.c中,这个c代码是playsync.c的改进版,能够根据sample_aspect_ratio的宽高比例调整目标视频的画面尺寸。
接着执行下面的编译命令。

gcc playsync2.c -o playsync2 -I/usr/local/ffmpeg/include -L/usr/local/ffmpeg/lib -I/usr/local/sdl2/include -L/usr/local/sdl2/lib -lsdl2 -lavformat -lavdevice -lavfilter -lavcodec -lavutil -lswscale -lswresample -lpostproc -lm

编译完成后执行以下命令启动测试程序,期望播放视频文件meg.vob。

./playsync2 ../meg.vob

程序运行完毕,发现控制台输出以下的日志信息。

Success open input_file ../meg.vob.
origin size is 720x576, SAR 64:45, DAR 16:9
real size is 1024x576, target_width=480, target_height=270
……

同时弹出SDL窗口播放视频画面,如下图所示:

sar2.png

可见画面尺寸符合该视频的实际宽高比例,表示上述代码正确实现了调整视频尺寸的功能。

目录
相关文章
|
27天前
|
编解码
FFmpeg开发笔记(三十三)分析ZLMediaKit对H.264流的插帧操作
《FFmpeg开发实战》书中3.4.3节讲解如何将H.264流封装成MP4。H.264流通常以SPS→PPS→IDR帧开始,这一说法通过雷霄骅的H264分析器得到验证。分析器能解析H.264文件但不支持MP4。ZLMediaKit服务器在遇到I帧时会自动插入SPS和PPS配置帧,确保流符合标准格式。若缺少这些帧,客户端拉流时会报错。FFmpeg开发实战:从零基础到短视频上线》书中提供了更多FFmpeg开发细节。
44 0
FFmpeg开发笔记(三十三)分析ZLMediaKit对H.264流的插帧操作
|
7天前
|
Web App开发 缓存 编解码
FFmpeg开发笔记(三十八)APP如何访问SRS推流的RTMP直播地址
《FFmpeg开发实战》书中介绍了轻量级流媒体服务器MediaMTX,适合测试RTSP/RTMP协议,但不适用于复杂直播场景。SRS是一款强大的开源流媒体服务器,支持多种协议,起初为RTMP,现扩展至HLS、SRT等。在FFmpeg 6.1之前,推送给SRS的HEVC流不受支持。要播放RTMP流,Android应用可使用ExoPlayer,需在`build.gradle`导入ExoPlayer及RTMP扩展,并根据URL类型创建MediaSource。若SRS播放黑屏,需在配置文件中开启`gop_cache`以缓存关键帧。
33 2
FFmpeg开发笔记(三十八)APP如何访问SRS推流的RTMP直播地址
|
14天前
|
Web App开发 缓存 Linux
FFmpeg开发笔记(三十六)Linux环境安装SRS实现视频直播推流
《FFmpeg开发实战》书中第10章提及轻量级流媒体服务器MediaMTX,适合测试RTSP/RTMP协议,但不适合生产环境。推荐使用SRS或ZLMediaKit,其中SRS是国产开源实时视频服务器,支持多种流媒体协议。本文简述在华为欧拉系统上编译安装SRS和FFmpeg的步骤,包括安装依赖、下载源码、配置、编译以及启动SRS服务。此外,还展示了如何通过FFmpeg进行RTMP推流,并使用VLC播放器测试拉流。更多FFmpeg开发内容可参考相关书籍。
31 2
FFmpeg开发笔记(三十六)Linux环境安装SRS实现视频直播推流
|
20天前
|
Linux Apache C++
FFmpeg开发笔记(三十五)Windows环境给FFmpeg集成libsrt
该文介绍了如何在Windows环境下为FFmpeg集成SRT协议支持库libsrt。首先,需要安装Perl和Nasm,然后编译OpenSSL。接着,下载libsrt源码并使用CMake配置,生成VS工程并编译生成srt.dll和srt.lib。最后,将编译出的库文件和头文件按照特定目录结构放置,并更新环境变量,重新配置启用libsrt的FFmpeg并进行编译安装。该过程有助于优化直播推流的性能,减少卡顿问题。
50 2
FFmpeg开发笔记(三十五)Windows环境给FFmpeg集成libsrt
|
21天前
|
Linux
FFmpeg开发笔记(三十四)Linux环境给FFmpeg集成libsrt和librist
《FFmpeg开发实战》书中介绍了直播的RTSP和RTMP协议,以及新协议SRT和RIST。SRT是安全可靠传输协议,RIST是可靠的互联网流传输协议,两者于2017年发布。腾讯视频云采用SRT改善推流卡顿。以下是Linux环境下为FFmpeg集成libsrt和librist的步骤:下载安装源码,配置、编译和安装。要启用这些库,需重新配置FFmpeg,添加相关选项,然后编译和安装。成功后,通过`ffmpeg -version`检查版本信息以确认启用SRT和RIST支持。详细过程可参考书中相应章节。
34 1
FFmpeg开发笔记(三十四)Linux环境给FFmpeg集成libsrt和librist
|
6天前
|
C++ Windows
FFmpeg开发笔记(三十九)给Visual Studio的C++工程集成FFmpeg
在Windows上使用Visual Studio 2022进行FFmpeg和SDL2集成开发,首先安装FFmpeg至E:\msys64\usr\local\ffmpeg,然后新建C++控制台项目。在项目属性中,添加FFmpeg和SDL2的头文件及库文件目录。接着配置链接器的附加依赖项,包括多个FFmpeg及SDL2的lib文件。在代码中引入FFmpeg的`av_log`函数输出"Hello World",编译并运行,若看到"Hello World",即表示集成成功。详细步骤可参考《FFmpeg开发实战:从零基础到短视频上线》。
20 0
FFmpeg开发笔记(三十九)给Visual Studio的C++工程集成FFmpeg
|
13天前
|
编解码
FFmpeg开发笔记(三十七)分析SRS对HLS协议里TS包的插帧操作
《FFmpeg开发实战》书中讲解了音视频封装格式,重点介绍了TS,因其固定长度和独立解码特性,常用于HLS协议。HLS通过m3u8文件指示客户端播放TS分片。SRS服务器在转换MP4至TS时,会在每个TS包头添加SPS和PPS帧,保证解码完整性。这一过程在SrsIngestHlsOutput::on_ts_video函数中体现,调用write_h264_sps_pps和write_h264_ipb_frame完成。详细实现涉及SrsRawH264Stream::mux_sequence_header函数,遵循ISO标准写入SPS和PPS NAL单元。
27 0
FFmpeg开发笔记(三十七)分析SRS对HLS协议里TS包的插帧操作
|
1月前
|
编解码 Java Android开发
FFmpeg开发笔记(三十一)使用RTMP Streamer开启APP直播推流
RTMP Streamer是一款开源的安卓直播推流框架,支持RTMP、RTSP和SRT协议,适用于各种直播场景。它支持H264、H265、AV1视频编码和AAC、G711、OPUS音频编码。本文档介绍了如何使用Java版的RTMP Streamer,建议使用小海豚版本的Android Studio (Dolphin)。加载项目时,可添加国内仓库加速依赖下载。RTMP Streamer包含五个模块:app、encoder、rtmp、rtplibrary和rtsp。完成加载后,可以在手机上安装并运行APP,提供多种直播方式。开发者可以从《FFmpeg开发实战:从零基础到短视频上线》获取更多信息。
62 7
FFmpeg开发笔记(三十一)使用RTMP Streamer开启APP直播推流
|
1月前
|
存储 编解码
FFmpeg开发笔记(三十)解析H.264码流中的SPS帧和PPS帧
《FFmpeg开发实战》书中介绍了音视频编码历史,重点讲述H.264的成功在于其分为视频编码层和网络抽象层。H.264帧类型包括SPS(序列参数集,含视频规格参数),PPS(图像参数集,含编码参数)和IDR帧(立即解码刷新,关键帧)。SPS用于计算视频宽高和帧率,PPS存储编码设置,IDR帧则标志新的解码序列。书中还配以图片展示各帧结构详情,完整内容可参考相关书籍。
62 7
FFmpeg开发笔记(三十)解析H.264码流中的SPS帧和PPS帧
|
1月前
|
编解码 Linux
FFmpeg开发笔记(二十八)Linux环境给FFmpeg集成libxvid
XviD是开源的MPEG-4视频编解码器,曾与DivX一起用于早期MP4视频编码,但现在已被H.264取代。要集成XviD到Linux上的FFmpeg,首先下载源码,解压后配置并编译安装libxvid。接着,在FFmpeg源码目录中,重新配置FFmpeg以启用libxvid,然后编译并安装。成功后,通过`ffmpeg -version`检查是否启用libxvid。详细步骤包括下载、解压libxvid,使用`configure`和`make`命令安装,以及更新FFmpeg配置并安装。
44 2
FFmpeg开发笔记(二十八)Linux环境给FFmpeg集成libxvid

热门文章

最新文章