FFMPEG-AVFilter研究

简介: FFMPEG中的libswscale是做像素转换的,但是对于一些复杂的操作,比如添加水印等,这个库就不行了,这时候就要说一下另外一个AVFilter。AVFilter完全可以替代libswscale的所有功能,也许有一天,ffmpeg也会这样去做。

FFMPEG中的libswscale是做像素转换的,但是对于一些复杂的操作,比如添加水印等,这个库就不行了,这时候就要说一下另外一个AVFilter。AVFilter完全可以替代libswscale的所有功能,也许有一天,ffmpeg也会这样去做。AVFilter虽然学起来有点复杂,但是为了学好FFMPEG,为了涨工资,我忍了。(*^__^*) 嘻嘻……

 

概念:

做个directshow的同学,对于这一块应该很了解了。

1.AVFilterGraph:和dshow中的filtergraph功能基本上一样,管理filter的,可以看成filter的一个容器。

2.AVFilter:就是一个filter啦。但是为什么叫做filter,其实就是一个过滤器,目标资源通过该过滤器总该发生一点变化是吧。。。。。

3.AVFilterLink:代表两个filter的关联媒介。

4.AVFilterPad:代表一个filter的输入输出口,就跟dshow中的pin差不多。只有输入pad的叫做source,只有输出pad的叫做sink。

 

下面是官方提供的一个例子:

 

[cpp]  view plain  copy
 
 print?
  1. /* 
  2. *modifier by tongli 
  3. */  
  4. #define _XOPEN_SOURCE 600   
  5. #include <stdio.h>  
  6. #include <windows.h>  
  7. #include "snprintf.h"  
  8. extern "C"  
  9. {  
  10. #include <libavcodec/avcodec.h>  
  11. #include <libavformat/avformat.h>  
  12. #include <libavfilter/avfiltergraph.h>  
  13. #include <libavfilter/avcodec.h>  
  14. #include <libavfilter/buffersink.h>  
  15. #include <libavfilter/buffersrc.h>  
  16. #include <libavutil/opt.h>  
  17. }  
  18.   
  19. const char *filter_descr = "scale=78:24";  
  20.   
  21. static AVFormatContext *fmt_ctx;  
  22. static AVCodecContext *dec_ctx;  
  23. AVFilterContext *buffersink_ctx;  
  24. AVFilterContext *buffersrc_ctx;  
  25. AVFilterGraph *filter_graph;  
  26. static int video_stream_index = -1;  
  27. static int64_t last_pts = AV_NOPTS_VALUE;  
  28.   
  29. static int open_input_file(const char *filename)  
  30. {  
  31.     int ret;  
  32.     AVCodec *dec;  
  33.   
  34.     if ((ret = avformat_open_input(&fmt_ctx, filename, NULL, NULL)) < 0) {  
  35.         av_log(NULL, AV_LOG_ERROR, "Cannot open input file\n");  
  36.         return ret;  
  37.     }  
  38.   
  39.     if ((ret = avformat_find_stream_info(fmt_ctx, NULL)) < 0) {  
  40.         av_log(NULL, AV_LOG_ERROR, "Cannot find stream information\n");  
  41.         return ret;  
  42.     }  
  43.   
  44.     /* select the video stream */  
  45.     ret = av_find_best_stream(fmt_ctx, AVMEDIA_TYPE_VIDEO, -1, -1, &dec, 0);  
  46.     if (ret < 0) {  
  47.         av_log(NULL, AV_LOG_ERROR, "Cannot find a video stream in the input file\n");  
  48.         return ret;  
  49.     }  
  50.     video_stream_index = ret;  
  51.     dec_ctx = fmt_ctx->streams[video_stream_index]->codec;  
  52.     av_opt_set_int(dec_ctx, "refcounted_frames", 1, 0);  
  53.   
  54.     /* init the video decoder */  
  55.     if ((ret = avcodec_open2(dec_ctx, dec, NULL)) < 0) {  
  56.         av_log(NULL, AV_LOG_ERROR, "Cannot open video decoder\n");  
  57.         return ret;  
  58.     }  
  59.   
  60.     return 0;  
  61. }  
  62.   
  63. static int init_filters(const char *filters_descr)  
  64. {  
  65.     char args[512];  
  66.     int ret = 0;  
  67.     AVFilter *buffersrc = avfilter_get_by_name("buffer");  
  68.     AVFilter *buffersink = avfilter_get_by_name("buffersink");  
  69.     AVFilterInOut *outputs = avfilter_inout_alloc();  
  70.     AVFilterInOut *inputs = avfilter_inout_alloc();  
  71.     AVRational time_base = fmt_ctx->streams[video_stream_index]->time_base;  
  72.     enum AVPixelFormat pix_fmts[] = { AV_PIX_FMT_GRAY8, AV_PIX_FMT_NONE };  
  73.   
  74.     filter_graph = avfilter_graph_alloc();  
  75.     if (!outputs || !inputs || !filter_graph) {  
  76.         ret = AVERROR(ENOMEM);  
  77.         goto end;  
  78.     }  
  79.   
  80.     /* buffer video source: the decoded frames from the decoder will be inserted here. */  
  81.     snprintf(args, sizeof(args),  
  82.         "video_size=%dx%d:pix_fmt=%d:time_base=%d/%d:pixel_aspect=%d/%d",  
  83.         dec_ctx->width, dec_ctx->height, dec_ctx->pix_fmt,  
  84.         time_base.num, time_base.den,  
  85.         dec_ctx->sample_aspect_ratio.num, dec_ctx->sample_aspect_ratio.den);  
  86.   
  87.     ret = avfilter_graph_create_filter(&buffersrc_ctx, buffersrc, "in",  
  88.         args, NULL, filter_graph);  
  89.     if (ret < 0) {  
  90.         av_log(NULL, AV_LOG_ERROR, "Cannot create buffer source\n");  
  91.         goto end;  
  92.     }  
  93.   
  94.     /* buffer video sink: to terminate the filter chain. */  
  95.     ret = avfilter_graph_create_filter(&buffersink_ctx, buffersink, "out",  
  96.         NULL, NULL, filter_graph);  
  97.     if (ret < 0) {  
  98.         av_log(NULL, AV_LOG_ERROR, "Cannot create buffer sink\n");  
  99.         goto end;  
  100.     }  
  101.   
  102.     ret = av_opt_set_int_list(buffersink_ctx, "pix_fmts", pix_fmts,  
  103.         AV_PIX_FMT_NONE, AV_OPT_SEARCH_CHILDREN);  
  104.     if (ret < 0) {  
  105.         av_log(NULL, AV_LOG_ERROR, "Cannot set output pixel format\n");  
  106.         goto end;  
  107.     }  
  108.   
  109.     /* Endpoints for the filter graph. */  
  110.     outputs->name = av_strdup("in");  
  111.     outputs->filter_ctx = buffersrc_ctx;  
  112.     outputs->pad_idx = 0;  
  113.     outputs->next = NULL;  
  114.   
  115.     inputs->name = av_strdup("out");  
  116.     inputs->filter_ctx = buffersink_ctx;  
  117.     inputs->pad_idx = 0;  
  118.     inputs->next = NULL;  
  119.   
  120.     if ((ret = avfilter_graph_parse_ptr(filter_graph, filters_descr,  
  121.         &inputs, &outputs, NULL)) < 0)  
  122.         goto end;  
  123.   
  124.     if ((ret = avfilter_graph_config(filter_graph, NULL)) < 0)  
  125.         goto end;  
  126.   
  127. end:  
  128.     avfilter_inout_free(&inputs);  
  129.     avfilter_inout_free(&outputs);  
  130.   
  131.     return ret;  
  132. }  
  133.   
  134. static void display_frame(const AVFrame *frame, AVRational time_base)  
  135. {  
  136.     int x, y;  
  137.     uint8_t *p0, *p;  
  138.     int64_t delay;  
  139.     AVRational ar_base_q = { 1, AV_TIME_BASE };  
  140.     if (frame->pts != AV_NOPTS_VALUE) {  
  141.         if (last_pts != AV_NOPTS_VALUE) {  
  142.             /* sleep roughly the right amount of time; 
  143.             * usleep is in microseconds, just like AV_TIME_BASE. */  
  144.             delay = av_rescale_q(frame->pts - last_pts,  
  145.                 time_base, ar_base_q);  
  146.             if (delay > 0 && delay < 1000000)  
  147.                 //usleep(delay);  
  148.                 Sleep(delay);  
  149.         }  
  150.         last_pts = frame->pts;  
  151.     }  
  152.   
  153.     /* Trivial ASCII grayscale display. */  
  154.     p0 = frame->data[0];  
  155.     puts("\033c");  
  156.     for (y = 0; y < frame->height; y++) {  
  157.         p = p0;  
  158.         for (x = 0; x < frame->width; x++)  
  159.             putchar(" .-+#"[*(p++) / 52]);  
  160.         putchar('\n');  
  161.         p0 += frame->linesize[0];  
  162.     }  
  163.     fflush(stdout);  
  164. }  
  165.   
  166. int main(int argc, char **argv)  
  167. {  
  168.     int ret;  
  169.     AVPacket packet;  
  170.     AVFrame *frame = av_frame_alloc();  
  171.     AVFrame *filt_frame = av_frame_alloc();  
  172.     int got_frame;  
  173.   
  174.     if (!frame || !filt_frame) {  
  175.         perror("Could not allocate frame");  
  176.         exit(1);  
  177.     }  
  178.   
  179.     av_register_all();  
  180.     avfilter_register_all();  
  181.   
  182.     if ((ret = open_input_file("style.ts")) < 0)  
  183.         goto end;  
  184.     if ((ret = init_filters(filter_descr)) < 0)  
  185.         goto end;  
  186.   
  187.     /* read all packets */  
  188.     while (1) {  
  189.         if ((ret = av_read_frame(fmt_ctx, &packet)) < 0)  
  190.             break;  
  191.   
  192.         if (packet.stream_index == video_stream_index) {  
  193.             got_frame = 0;  
  194.             ret = avcodec_decode_video2(dec_ctx, frame, &got_frame, &packet);  
  195.             if (ret < 0) {  
  196.                 av_log(NULL, AV_LOG_ERROR, "Error decoding video\n");  
  197.                 break;  
  198.             }  
  199.   
  200.             if (got_frame) {  
  201.                 frame->pts = av_frame_get_best_effort_timestamp(frame);  
  202.   
  203.                 /* push the decoded frame into the filtergraph */  
  204.                 if (av_buffersrc_add_frame_flags(buffersrc_ctx, frame, AV_BUFFERSRC_FLAG_KEEP_REF) < 0) {  
  205.                     av_log(NULL, AV_LOG_ERROR, "Error while feeding the filtergraph\n");  
  206.                     break;  
  207.                 }  
  208.   
  209.                 /* pull filtered frames from the filtergraph */  
  210.                 while (1) {  
  211.                     ret = av_buffersink_get_frame(buffersink_ctx, filt_frame);  
  212.                     if (ret == AVERROR(EAGAIN) || ret == AVERROR_EOF)  
  213.                         break;  
  214.                     if (ret < 0)  
  215.                         goto end;  
  216.                     display_frame(filt_frame, buffersink_ctx->inputs[0]->time_base);  
  217.                     av_frame_unref(filt_frame);  
  218.                 }  
  219.                 av_frame_unref(frame);  
  220.             }  
  221.         }  
  222.         av_free_packet(&packet);  
  223.     }  
  224. end:  
  225.     avfilter_graph_free(&filter_graph);  
  226.     avcodec_close(dec_ctx);  
  227.     avformat_close_input(&fmt_ctx);  
  228.     av_frame_free(&frame);  
  229.     av_frame_free(&filt_frame);  
  230.   
  231.     if (ret < 0 && ret != AVERROR_EOF) {  
  232.         fprintf(stderr, "Error occurred: %s\n"); //av_err2str(ret));  
  233.         exit(1);  
  234.     }  
  235.   
  236.     exit(0);  
  237. }  

未完待续。。。。

目录
相关文章
|
2月前
|
Android开发 计算机视觉 C++
FFmpeg开发笔记(五十一)适合学习研究的几个音视频开源框架
音视频编程对许多程序员来说是一片充满挑战的领域,但借助如OpenCV、LearnOpenGL、FFmpeg、OBS Studio及VLC media player等强大的开源工具,可以降低入门门槛。这些框架不仅覆盖了计算机视觉、图形渲染,还包括多媒体处理与直播技术,通过多种编程语言如Python、C++的应用,使得音视频开发更为便捷。例如,OpenCV支持跨平台的视觉应用开发,FFmpeg则擅长多媒体文件的处理与转换,而VLC media player则是验证音视频文件质量的有效工具。
85 0
FFmpeg开发笔记(五十一)适合学习研究的几个音视频开源框架
|
编解码
Ffmpeg转码研究一
Ffmpeg是一款功能强大的视频处理工具,那么转码肯定不是问题的,因为项目的需求,对转码进行了研究。刚开始首先去看了ffmpeg源代码中的一个例子transcode.c,但是发现该例子更应该称之为remux的一个例子,并没有具体的涉及到转码。
1793 0
|
18天前
|
Linux 开发工具 Android开发
FFmpeg开发笔记(六十)使用国产的ijkplayer播放器观看网络视频
ijkplayer是由Bilibili基于FFmpeg3.4研发并开源的播放器,适用于Android和iOS,支持本地视频及网络流媒体播放。本文详细介绍如何在新版Android Studio中导入并使用ijkplayer库,包括Gradle版本及配置更新、导入编译好的so文件以及添加直播链接播放代码等步骤,帮助开发者顺利进行App调试与开发。更多FFmpeg开发知识可参考《FFmpeg开发实战:从零基础到短视频上线》。
82 2
FFmpeg开发笔记(六十)使用国产的ijkplayer播放器观看网络视频
|
25天前
|
编解码 语音技术 内存技术
FFmpeg开发笔记(五十八)把32位采样的MP3转换为16位的PCM音频
《FFmpeg开发实战:从零基础到短视频上线》一书中的“5.1.2 把音频流保存为PCM文件”章节介绍了将媒体文件中的音频流转换为原始PCM音频的方法。示例代码直接保存解码后的PCM数据,保留了原始音频的采样频率、声道数量和采样位数。但在实际应用中,有时需要特定规格的PCM音频。例如,某些语音识别引擎仅接受16位PCM数据,而标准MP3音频通常采用32位采样,因此需将32位MP3音频转换为16位PCM音频。
45 0
FFmpeg开发笔记(五十八)把32位采样的MP3转换为16位的PCM音频
|
1月前
|
XML 开发工具 Android开发
FFmpeg开发笔记(五十六)使用Media3的Exoplayer播放网络视频
ExoPlayer最初是为了解决Android早期MediaPlayer控件对网络视频兼容性差的问题而推出的。现在,Android官方已将其升级并纳入Jetpack的Media3库,使其成为音视频操作的统一引擎。新版ExoPlayer支持多种协议,解决了设备和系统碎片化问题,可在整个Android生态中一致运行。通过修改`build.gradle`文件、布局文件及Activity代码,并添加必要的权限,即可集成并使用ExoPlayer进行网络视频播放。具体步骤包括引入依赖库、配置播放界面、编写播放逻辑以及添加互联网访问权限。
120 1
FFmpeg开发笔记(五十六)使用Media3的Exoplayer播放网络视频
|
1月前
|
Web App开发 安全 程序员
FFmpeg开发笔记(五十五)寒冬里的安卓程序员可进阶修炼的几种姿势
多年的互联网寒冬在今年尤为凛冽,坚守安卓开发愈发不易。面对是否转行或学习新技术的迷茫,安卓程序员可从三个方向进阶:1)钻研谷歌新技术,如Kotlin、Flutter、Jetpack等;2)拓展新功能应用,掌握Socket、OpenGL、WebRTC等专业领域技能;3)结合其他行业,如汽车、游戏、安全等,拓宽职业道路。这三个方向各有学习难度和保饭碗指数,助你在安卓开发领域持续成长。
60 1
FFmpeg开发笔记(五十五)寒冬里的安卓程序员可进阶修炼的几种姿势
|
2月前
|
XML Java Android开发
FFmpeg开发笔记(五十二)移动端的国产视频播放器GSYVideoPlayer
GSYVideoPlayer是一款国产移动端视频播放器,支持弹幕、滤镜、广告等功能,采用IJKPlayer、Media3(EXOPlayer)、MediaPlayer及AliPlayer多种内核。截至2024年8月,其GitHub星标数达2万。集成时需使用新版Android Studio,并按特定步骤配置依赖与权限。提供了NormalGSYVideoPlayer、GSYADVideoPlayer及ListGSYVideoPlayer三种控件,支持HLS、RTMP等多种直播链接。
90 18
FFmpeg开发笔记(五十二)移动端的国产视频播放器GSYVideoPlayer
|
22天前
|
Linux API 开发工具
FFmpeg开发笔记(五十九)Linux编译ijkplayer的Android平台so库
ijkplayer是由B站研发的移动端播放器,基于FFmpeg 3.4,支持Android和iOS。其源码托管于GitHub,截至2024年9月15日,获得了3.24万星标和0.81万分支,尽管已停止更新6年。本文档介绍了如何在Linux环境下编译ijkplayer的so库,以便在较新的开发环境中使用。首先需安装编译工具并调整/tmp分区大小,接着下载并安装Android SDK和NDK,最后下载ijkplayer源码并编译。详细步骤包括环境准备、工具安装及库编译等。更多FFmpeg开发知识可参考相关书籍。
67 0
FFmpeg开发笔记(五十九)Linux编译ijkplayer的Android平台so库
|
2月前
|
Linux 开发工具 Android开发
FFmpeg开发笔记(五十三)移动端的国产直播录制工具EasyPusher
EasyPusher是一款国产RTSP直播录制推流客户端工具,支持Windows、Linux、Android及iOS等系统。尽管其GitHub仓库(安卓版:https://github.com/EasyDarwin/EasyPusher-Android)已多年未更新,但通过一系列改造,如升级SDK版本、迁移到AndroidX、指定本地NDK版本及更新Gradle版本等,仍可在最新Android Studio上运行。以下是针对Android Studio Dolphin版本的具体改造步骤。
58 3
FFmpeg开发笔记(五十三)移动端的国产直播录制工具EasyPusher
|
29天前
|
Android开发 开发者
FFmpeg开发笔记(五十七)使用Media3的Transformer加工视频文件
谷歌推出的Transformer,作为Jetpack Media3架构的一部分,助力开发者实现音视频格式转换与编辑。Media3简化了媒体处理流程,提升了定制性和可靠性。Transformer可用于剪辑、添加滤镜等操作,其示例代码可在指定GitHub仓库中找到。要使用Transformer,需在`build.gradle`中添加相关依赖,并按文档编写处理逻辑,最终完成音视频转换任务。具体步骤包括配置剪辑参数、设置空间效果以及监听转换事件等。
45 0
FFmpeg开发笔记(五十七)使用Media3的Transformer加工视频文件
下一篇
无影云桌面