FFmpeg开发笔记(二十二)FFmpeg中SAR与DAR的显示宽高比

本文涉及的产品
视觉智能开放平台,分割抠图1万点
视觉智能开放平台,视频资源包5000点
视觉智能开放平台,图像资源包5000点
简介: 《FFmpeg开发实战》书中指出,视频宽高处理需考虑采样宽高比(SAR),像素宽高比(PAR)和显示宽高比(DAR)。SAR对应AVCodecParameters的sample_aspect_ratio,PAR为width/height。当SAR的num与den不为1时,需计算DAR以正确显示视频。书中提供了转换公式和代码示例,通过SAR或DAR调整视频尺寸。在修正后的playsync2.c程序中,成功调整了meg.vob视频的比例,实现了正确的画面显示。

《FFmpeg开发实战:从零基础到短视频上线》一书提到:通常情况下,在视频流解析之后,从AVCodecContext结构得到的宽高就是视频画面的宽高。然而有的视频文件并非如此,如果按照AVCodecContext设定的宽高展示视频,会发现画面被压扁或者拉长了。比如该书第10章源码playsync.c在播放meg.vob时的视频画面如下图所示:

sar1.png

可见按照现有方式展示的话,视频画面被拉长了。这是因为视频尺寸有三种宽高概念,说明如下:

1、采样宽高比,指的是摄像头在采集画面时,方格内部的宽度与高度的采样点数量比例。采样宽高比的英文叫做“Sample Aspect Ratio”,简称SAR。
2、像素宽高比,指的是视频画面保存到文件时,宽度和高度各占据多少像素。像素宽高比的英文叫做“Pixel Aspect Ratio”,简称PAR。
3、显示宽高比,指的是视频画面渲染到屏幕时,显示出来的宽度与高度比例。显示宽高比的英文叫做“Display Aspect Ratio”,简称DAR。
采样宽高比对应AVCodecParameters结构的sample_aspect_ratio字段,该字段为分数类型AVRational。
像素宽高比对应AVCodecContext结构的width与height两个字段,比例值等于width/height。
显示宽高比对应最终要显示的画面尺寸,该值需要额外计算。多数时候sample_aspect_ratio的num与den均为1,表示宽高两个方向的采样点比例为1:1,此时像素宽高比等于显示宽高比。
由此可见,当sample_aspect_ratio的num与den均为1时,表示像素点是个正方形,此时AVCodecContext结构的宽高就是视频的宽高,无需另外处理。只有sample_aspect_ratio的num不等于den时,表示像素点是个长方形,才需要另外计算显示宽高比,并根据视频高度计算视频的实际宽度。
已知三个宽高比的转换式子如下:

DAR = PAR x SAR

令DAR=实际宽度/实际高度,则代入具体的字段,可得详细的转换式子如下:

实际宽度   width    sample_aspect_ratio.num
——————— = —————— X —————————————————————————
实际高度   height   sample_aspect_ratio.den

当实际高度为height时,表示保持原画面尺寸,则实际的画面宽度计算式子如下。

             sample_aspect_ratio.num
实际宽度 = width X —————————————————————————
             sample_aspect_ratio.den

假如​已经求得DAR值并保存在变量display_aspect_ratio中,那么实际宽度 = 实际高度 PAR = 实际高度 display_aspect_ratio.num / display_aspect_ratio.den。

根据上述所列的几个计算式子,编写如下的宽高比以及实际宽度的求解代码如下所示。

int origin_width = video_decode_ctx->width;
int origin_height = video_decode_ctx->height;
AVRational aspect_ratio = src_video->codecpar->sample_aspect_ratio;
AVRational display_aspect_ratio;
av_reduce(&display_aspect_ratio.num, &display_aspect_ratio.den,
          origin_width  * aspect_ratio.num,
          origin_height * aspect_ratio.den,
          1024 * 1024);
av_log(NULL, AV_LOG_INFO, "origin size is %dx%d, SAR %d:%d, DAR %d:%d\n",
       origin_width, origin_height,
       aspect_ratio.num, aspect_ratio.den,
       display_aspect_ratio.num, display_aspect_ratio.den);
int real_width = origin_width;
// 第一种方式:根据SAR的采样宽高比,由原始的宽度算出实际的宽度
if (aspect_ratio.num!=0 && aspect_ratio.den!=0 && aspect_ratio.num!=aspect_ratio.den) {
    real_width = origin_width * aspect_ratio.num / aspect_ratio.den;
}
int target_height = 270;
int target_width = target_height*origin_width/origin_height;
// 第二种方式:根据DAR的显示宽高比,由目标的高度算出目标的宽度
if (aspect_ratio.num!=0 && aspect_ratio.den!=0 && aspect_ratio.num!=aspect_ratio.den) {
    target_width = target_height * display_aspect_ratio.num / display_aspect_ratio.den;
}
av_log(NULL, AV_LOG_INFO, "real size is %dx%d, target_width=%d, target_height=%d\n",
    real_width, origin_height, target_width, target_height);

上述修改后的代码已经附在了《FFmpeg开发实战:从零基础到短视频上线》一书第10章的源码chapter10/playsync2.c中,这个c代码是playsync.c的改进版,能够根据sample_aspect_ratio的宽高比例调整目标视频的画面尺寸。
接着执行下面的编译命令。

gcc playsync2.c -o playsync2 -I/usr/local/ffmpeg/include -L/usr/local/ffmpeg/lib -I/usr/local/sdl2/include -L/usr/local/sdl2/lib -lsdl2 -lavformat -lavdevice -lavfilter -lavcodec -lavutil -lswscale -lswresample -lpostproc -lm

编译完成后执行以下命令启动测试程序,期望播放视频文件meg.vob。

./playsync2 ../meg.vob

程序运行完毕,发现控制台输出以下的日志信息。

Success open input_file ../meg.vob.
origin size is 720x576, SAR 64:45, DAR 16:9
real size is 1024x576, target_width=480, target_height=270
……

同时弹出SDL窗口播放视频画面,如下图所示:

sar2.png

可见画面尺寸符合该视频的实际宽高比例,表示上述代码正确实现了调整视频尺寸的功能。

目录
相关文章
|
23天前
|
Linux 开发工具 Android开发
FFmpeg开发笔记(六十)使用国产的ijkplayer播放器观看网络视频
ijkplayer是由Bilibili基于FFmpeg3.4研发并开源的播放器,适用于Android和iOS,支持本地视频及网络流媒体播放。本文详细介绍如何在新版Android Studio中导入并使用ijkplayer库,包括Gradle版本及配置更新、导入编译好的so文件以及添加直播链接播放代码等步骤,帮助开发者顺利进行App调试与开发。更多FFmpeg开发知识可参考《FFmpeg开发实战:从零基础到短视频上线》。
93 2
FFmpeg开发笔记(六十)使用国产的ijkplayer播放器观看网络视频
|
1月前
|
并行计算 PyTorch TensorFlow
Ubuntu安装笔记(一):安装显卡驱动、cuda/cudnn、Anaconda、Pytorch、Tensorflow、Opencv、Visdom、FFMPEG、卸载一些不必要的预装软件
这篇文章是关于如何在Ubuntu操作系统上安装显卡驱动、CUDA、CUDNN、Anaconda、PyTorch、TensorFlow、OpenCV、FFMPEG以及卸载不必要的预装软件的详细指南。
3065 3
|
30天前
|
编解码 语音技术 内存技术
FFmpeg开发笔记(五十八)把32位采样的MP3转换为16位的PCM音频
《FFmpeg开发实战:从零基础到短视频上线》一书中的“5.1.2 把音频流保存为PCM文件”章节介绍了将媒体文件中的音频流转换为原始PCM音频的方法。示例代码直接保存解码后的PCM数据,保留了原始音频的采样频率、声道数量和采样位数。但在实际应用中,有时需要特定规格的PCM音频。例如,某些语音识别引擎仅接受16位PCM数据,而标准MP3音频通常采用32位采样,因此需将32位MP3音频转换为16位PCM音频。
48 0
FFmpeg开发笔记(五十八)把32位采样的MP3转换为16位的PCM音频
|
1月前
|
Ubuntu 应用服务中间件 nginx
Ubuntu安装笔记(三):ffmpeg(3.2.16)源码编译opencv(3.4.0)
本文是关于Ubuntu系统中使用ffmpeg 3.2.16源码编译OpenCV 3.4.0的安装笔记,包括安装ffmpeg、编译OpenCV、卸载OpenCV以及常见报错处理。
135 2
Ubuntu安装笔记(三):ffmpeg(3.2.16)源码编译opencv(3.4.0)
|
1月前
|
XML 开发工具 Android开发
FFmpeg开发笔记(五十六)使用Media3的Exoplayer播放网络视频
ExoPlayer最初是为了解决Android早期MediaPlayer控件对网络视频兼容性差的问题而推出的。现在,Android官方已将其升级并纳入Jetpack的Media3库,使其成为音视频操作的统一引擎。新版ExoPlayer支持多种协议,解决了设备和系统碎片化问题,可在整个Android生态中一致运行。通过修改`build.gradle`文件、布局文件及Activity代码,并添加必要的权限,即可集成并使用ExoPlayer进行网络视频播放。具体步骤包括引入依赖库、配置播放界面、编写播放逻辑以及添加互联网访问权限。
125 1
FFmpeg开发笔记(五十六)使用Media3的Exoplayer播放网络视频
|
1月前
|
Web App开发 安全 程序员
FFmpeg开发笔记(五十五)寒冬里的安卓程序员可进阶修炼的几种姿势
多年的互联网寒冬在今年尤为凛冽,坚守安卓开发愈发不易。面对是否转行或学习新技术的迷茫,安卓程序员可从三个方向进阶:1)钻研谷歌新技术,如Kotlin、Flutter、Jetpack等;2)拓展新功能应用,掌握Socket、OpenGL、WebRTC等专业领域技能;3)结合其他行业,如汽车、游戏、安全等,拓宽职业道路。这三个方向各有学习难度和保饭碗指数,助你在安卓开发领域持续成长。
69 1
FFmpeg开发笔记(五十五)寒冬里的安卓程序员可进阶修炼的几种姿势
|
27天前
|
Linux API 开发工具
FFmpeg开发笔记(五十九)Linux编译ijkplayer的Android平台so库
ijkplayer是由B站研发的移动端播放器,基于FFmpeg 3.4,支持Android和iOS。其源码托管于GitHub,截至2024年9月15日,获得了3.24万星标和0.81万分支,尽管已停止更新6年。本文档介绍了如何在Linux环境下编译ijkplayer的so库,以便在较新的开发环境中使用。首先需安装编译工具并调整/tmp分区大小,接着下载并安装Android SDK和NDK,最后下载ijkplayer源码并编译。详细步骤包括环境准备、工具安装及库编译等。更多FFmpeg开发知识可参考相关书籍。
75 0
FFmpeg开发笔记(五十九)Linux编译ijkplayer的Android平台so库
|
1月前
|
缓存 监控 计算机视觉
视频监控笔记(三):opencv结合ffmpeg获取rtsp摄像头相关信息
本文介绍了如何使用OpenCV结合FFmpeg获取RTSP摄像头信息,包括网络架构、视频监控系统组成、以及如何读取和显示网络摄像头视频流。
41 1
|
1月前
|
网络协议 应用服务中间件 nginx
FFmpeg错误笔记(一):nginx-rtmp-module推流出现 Server error: Already publishing
这篇文章讨论了在使用nginx-rtmp-module进行RTMP推流时遇到的“Server error: Already publishing”错误,分析了错误原因,并提供了详细的解决办法,包括修改nginx配置文件和终止异常的TCP连接。
113 0
FFmpeg错误笔记(一):nginx-rtmp-module推流出现 Server error: Already publishing
|
1月前
|
Android开发 开发者
FFmpeg开发笔记(五十七)使用Media3的Transformer加工视频文件
谷歌推出的Transformer,作为Jetpack Media3架构的一部分,助力开发者实现音视频格式转换与编辑。Media3简化了媒体处理流程,提升了定制性和可靠性。Transformer可用于剪辑、添加滤镜等操作,其示例代码可在指定GitHub仓库中找到。要使用Transformer,需在`build.gradle`中添加相关依赖,并按文档编写处理逻辑,最终完成音视频转换任务。具体步骤包括配置剪辑参数、设置空间效果以及监听转换事件等。
49 0
FFmpeg开发笔记(五十七)使用Media3的Transformer加工视频文件

热门文章

最新文章