windows平台ffmpeg学习笔记(一)

简介: 笔记

一、音视频基础


  1. mux封装:复用,按一定格式组织原音视频流,例如进行时间同步等
    demux解封装:解复用,按一定格式解出音视频流
  2. ES流,原始流,直接从编码器出来的数据流。
    PES流,P(packet),ES形成的分组称为PES分组,是用来传递ES的一种数据布局。
    TS流:ES形成的分组称为TS分组,是用来传递ES的一种数据布局。可以被任意截断
    rtsp流:RTSP(Real Time Streaming Protocol),RFC2326,实时流传输协议,是TCP/IP协议
    体系中的一个应用层协议。
    rtmp流:Real Time Messaging Protocol(实时消息传输协议),是abobe公司的协议
    hls流:苹果流,是Apple的动态码率自适应技术。主要用于PC和Apple终端的音视频服务。
    包括一个m3u8索引文件,TS媒体分片文件。
  3. 服务端:为客户端提供服务,提供数据服务
    客户端:为客户提供本地服务
    流媒体:采用酒店式传输方式在Internet播放的媒体格式。
  4. 推模式:当通知消息来之时,把所有样信息都通过参数的形式"推给"观察者
    拉模式:当通知消息来之时,通知的函数不带任何相关的信息,而是要观察者主动
    去"拉"信息
    实时流:Real Time stream实时传输的音视频流


二、FFmpeg基础


  1. 开源库,支持Windows,Android,IOS等
  2. 音视频处理
  3. 开发语言C
  4. 源码下载:https://ffmpeg.zeranoe.com/builds/win64/static/
    可以下载源码,动态库,静态库等
  5. 基础流程:
    input file---demuxer--->encoded data packets---decoder--->decoded frames---encoder--->encoded data packets---muxer--->output file
  6. 为什么用ffmpeg?例如手机获取rtsp视频流保存到本地,要实现以下方案:
    1)实现rtsp客户端,接收音视频包
    2)解视频包(rtp->h264)
    3)解音频包(rtp->PCM(alaw))
    4)音频转码(PCM->AAC)
    5)重新封装音视频包
    而ffmpeg的调用流程:
    1)avformat_open_input   打开文件
    2)avforamt_find_stream_info     读取文件格式信息
    3)av_read_frame
    4)avforamt_alloc_output_context2 创建输出上下文
    5)av_write_frame    写输出


三、环境搭建


  1. 下载源码,下载windows源码及动态库
  2. 新建VS项目,把源码中的include文件夹下面的头文件,lib下面的静态库.lib,以及下载的动态库中的dll库文件拷贝到工程目录下
    分别新建include,lib,bin目录存放。
  3. 项目中引入静态库:
    A、添加工程的头文件目录:工程---属性---配置属性---c/c++---常规---附加包含目录:加上头文件存放目录。
    B、添加文件引用的lib静态库路径:工程---属性---配置属性---链接器---常规---附加库目录:加上lib文件存放目录。
    C  然后添加工程引用的lib文件名:工程---属性---配置属性---链接器---输入---附加依赖项:加上lib文件名
  4. 写测试代码,例如引入extern "C" {#include "libavcodec/avcodec.h"},main方法调用av_register_all(),运行报错找不到dll动态库,
    这时需要把动态库拷贝到工程目录的运行目录,也就是生成.exe的目录。
  5. 注意,ffmpeg是C语言开发的,而VS工程是cpp语言,所以引入头文件应该使用extern "C"
    Demo源码的github地址


四、保存网络流到本地


ffmpeg基本工作流程:

50.png



ffmpeg方法流程:

1. avformat_alloc_context();//创建输入上下文
2. avformat_open_input();  //打开输入流
3. avformat_find_stream_info();  //查找音视频信息
4. avforamt_alloc_output_context2();  //创建输出上下文 
5. avio_open();  //打开avio
6. avformat_new_stream();  //从输入流创建输出流
    avcodec_copy_context();  //拷贝到输出流,根据nb_streams循环
7. avformat_write_header();  //写头信息
8. while(true){
        av_init_packet(); //初始化packet,用来存放编码过的数据
        av_read_frame();//读取帧数据
        av_interleaved_write_frame();//写数据
    }
9. avformat_close_input();//关闭输入输出流
    avcodec_close();

一些异常处理:

  1. ffmpeg avformat_open_input always returns “Protocol not found” rv=(-1330794744),在初始化的时候忘记调用av_register_all();
  2. VS引发了异常: 读取访问权限冲突,这是数组越界报的错误,点击调用堆栈可以跳到出错位置。

关于RTSP流:

RTSP流地址可以在网上查找,应该有很多的,当然也不仅仅限于rtsp,其它形式的流也是可以的,我使用的是:rtsp://wowzaec2demo.streamlock.net/vod/mp4:BigBuckBunny_115k.mov,是可以使用的,但是过一段时间就不确定了,所以还是要多找找。如果不确定某个网络流是否可用,可以ping一下IP或者网址,也可以使用potPlayer打开,能ping通或者可以播放就证明流地址没问题。

下面附上本章的Demo github地址


五、网络流转发


网络流转发的基本流程与上一章的网络流保存到本地类似,只不过最后输出是网络流。基本流程如下:

51.png


转发网络流到本地UDP端口

  1. 基于四章的工程,只需要修改OpenOutput(outputUrl)的地址即可,代码如下:

//写到udp端口
OpenOutput("udp://127.0.0.1:1234");     //打开输出流
  1. 还记得刚开始下载的ffmpeg的动态库吗,里面的bin目录下有ffplay.ext文件,这时使用cmd执行ffplay.exe udp://127.0.0.1:1234,来测试转发,
    但是报了如下错误:

[udp @ 00000173c61ab540] bind failed: Error number -10048 occurred
udp://127.0.0.1:1234: I/O error

这是因为OpenOutput方法中的如下代码导致的:

ret = avio_open2(&outputContext->pb, outputUrl.c_str(), AVIO_FLAG_READ_WRITE, nullptr, nullptr);

我们其实只需要写权限即可,改成如下:

ret = avio_open2(&outputContext->pb, outputUrl.c_str(), AVIO_FLAG_WRITE, nullptr, nullptr);

再次重新运行就能播放转发的UDP流了。如下图所示:


52.png


红箭头指的窗口即为从UDP端口读取的流数据进行播放。

  1. 当然也可以使用其它播放器进行测试,我使用PotPlayer测试的,如下:
    打开输入地址:播放效果:
  2. 2.png

3.png


3.png

转发为RTMP流

需要修改两个地方:

  1. 修改OpenInput的地址

OpenOutput("rtmp://127.0.0.1:1935/live/stream0");       //打开输出流
  1. 修改OpenInut方法中avformat_alloc_output_context2中的视频格式为flv

int ret = avformat_alloc_output_context2(&outputContext, nullptr, "flv", outputUrl.c_str());

另外如果要转发rtmp流,需要打开rtmp server,关于rtmp server的详情后面再述,现提供一个现成的可执行文件下载地址,打开crtmpserver.exe后,再使用ffplay.exe或者potplayer等播放器测试即可。

附上本节github源码地址,upd-stream分支是转发为udp的,master是转发为rtmp的。

使用ffmpeg的命令行实现上述功能

其实ffmpeg的命令行即可完成我们所做的保存网络流,网络流转码等功能。

进入下载的动态库的bin目录下cmd执行:

  1. 保存网络流命令

./ffmpeg.exe -i rtsp://wowzaec2demo.streamlock.net/vod/mp4:BigBuckBunny_115k.mov -vcodec copy -acodec copy -f mpegts C:/Users/bian/Desktop/test2.mp4

命令解释:

-vcodec copy  表示视频格式直接拷贝,不做转码

-acodec copy  表示音频格式直播拷贝,不做转码

-f mpegts  表示输出格式

最后加保存文件路径

2.转发为UDP流

./ffmpeg.exe -i rtsp://wowzaec2demo.streamlock.net/vod/mp4:BigBuckBunny_115k.mov -vcodec copy -acodec copy -f mpegts udp://127.0.0.1:1234
  1. 转发为rtmp流
    注意在转发前也要先运行crtmpserver.exe

./ffmpeg.exe -i rtsp://wowzaec2demo.streamlock.net/vod/mp4:BigBuckBunny_115k.mov -vcodec copy -acodec copy -f flv rtmp://127.0.0.1:1935/live/stream0


目录
相关文章
|
19天前
|
编解码 5G Linux
FFmpeg开发笔记(二十一)Windows环境给FFmpeg集成AVS3解码器
AVS3是中国首个8K及5G视频编码标准,相比AVS2和HEVC性能提升约30%。解码器libuavs3d支持8K/60P视频实时解码,兼容多种平台。《FFmpeg开发实战》书中介绍了在Windows环境下如何集成libuavs3d到FFmpeg。集成步骤包括下载源码、使用Visual Studio 2022编译、调整配置、安装库文件和头文件,以及重新配置和编译FFmpeg以启用libuavs3d。
35 0
FFmpeg开发笔记(二十一)Windows环境给FFmpeg集成AVS3解码器
|
22天前
|
数据库 Windows
第五十章 使用 ^SystemPerformance 监视性能 - Microsoft Windows 平台的 InterSystems IRIS 性能数据报告
第五十章 使用 ^SystemPerformance 监视性能 - Microsoft Windows 平台的 InterSystems IRIS 性能数据报告
23 0
|
30天前
|
算法 Linux Windows
FFmpeg开发笔记(十七)Windows环境给FFmpeg集成字幕库libass
在Windows环境下为FFmpeg集成字幕渲染库libass涉及多个步骤,包括安装freetype、libxml2、gperf、fontconfig、fribidi、harfbuzz和libass。每个库的安装都需要下载源码、配置、编译和安装,并更新PKG_CONFIG_PATH环境变量。最后,重新配置并编译FFmpeg以启用libass及相关依赖。完成上述步骤后,通过`ffmpeg -version`确认libass已成功集成。
40 1
FFmpeg开发笔记(十七)Windows环境给FFmpeg集成字幕库libass
|
30天前
|
Windows
LabVIEW在Windows平台上的图形导入
LabVIEW在Windows平台上的图形导入
24 0
|
30天前
|
编解码 Linux Windows
FFmpeg开发笔记(十三)Windows环境给FFmpeg集成libopus和libvpx
本文档介绍了在Windows环境下如何为FFmpeg集成libopus和libvpx库。首先,详细阐述了安装libopus的步骤,包括下载源码、配置、编译和安装,并更新环境变量。接着,同样详细说明了libvpx的安装过程,注意需启用--enable-pic选项以避免编译错误。最后,介绍了重新配置并编译FFmpeg以启用这两个库,通过`ffmpeg -version`检查是否成功集成。整个过程参照了《FFmpeg开发实战:从零基础到短视频上线》一书的相关章节。
48 0
FFmpeg开发笔记(十三)Windows环境给FFmpeg集成libopus和libvpx
|
30天前
|
编解码 Linux Windows
FFmpeg开发笔记(十一)Windows环境给FFmpeg集成vorbis和amr
在Windows环境下,为FFmpeg集成音频编解码库,包括libogg、libvorbis和opencore-amr,涉及下载源码、配置、编译和安装步骤。首先,安装libogg,通过配置、make和make install命令完成,并更新PKG_CONFIG_PATH。接着,安装libvorbis,同样配置、编译和安装,并修改pkgconfig文件。之后,安装opencore-amr。最后,重新配置并编译FFmpeg,启用ogg和amr支持,通过ffmpeg -version检查是否成功。整个过程需确保环境变量设置正确,并根据路径添加相应库。
41 1
FFmpeg开发笔记(十一)Windows环境给FFmpeg集成vorbis和amr
|
30天前
|
Linux 编译器 C语言
FFmpeg开发笔记(二)搭建Windows系统的开发环境
在Windows上学习FFmpeg通常较困难,但通过安装预编译的FFmpeg开发包可以简化流程。首先需要安装MSYS2来模拟Linux环境。下载并执行MSYS2安装包,然后修改msys2_shell.cmd以继承Windows的Path变量。使用pacman安装必要的编译工具。接着,下载预编译的FFmpeg Windows包,解压并配置系统Path。最后,在MSYS2环境中运行`ffmpeg -version`确认安装成功。欲深入学习FFmpeg开发,推荐阅读《FFmpeg开发实战:从零基础到短视频上线》。
48 4
FFmpeg开发笔记(二)搭建Windows系统的开发环境
|
30天前
|
网络协议 Shell vr&ar
某教程学习笔记(一):1、windows基础
某教程学习笔记(一):1、windows基础
20 0
|
30天前
|
编解码 数据挖掘 异构计算
Windows平台实现超高分辨率或帧率硬编码
Windows平台实现超高分辨率或帧率硬编码
|
3天前
|
编解码 安全 网络安全
RealVNC的 VNC server在windows7系统下无法正确运行
在Windows 7上运行旧版VNC Server(如4.1.2)可能存在兼容性问题,但可通过调整配置解决。步骤包括:安装VNC Server,设置兼容性模式(选择Windows XP SP3),启动VNC Server,配置VNC连接参数。若遇到问题,检查防火墙设置,确保系统更新,并考虑升级到新版VNC Server以提高性能和兼容性。