跨平台低延迟RTSP转RTMP推送技术方案探讨

简介: 实现RTSP摄像头数据转RTMP推送到服务器,可以用第三方库或者工具实现,总体设计架构如下:

实现RTSP摄像头数据转RTMP推送到服务器,可以用第三方库或者工具实现,总体设计架构如下:

cf21cae503594363b34d82dcbbd67c03.png

一个好的转发模块,首先要低延迟!其次足够稳定、灵活、有状态反馈机制、资源占用低,跨平台,最好以接口形式提供,便于第三方系统集成,整体功能设计如下:


1. 拉流:通过RTSP直播播放SDK的数据回调接口,拿到音视频数据;


2. 转推:通过RTMP直播推送SDK的编码后数据输入接口,把回调上来的数据,传给RTMP直播推送模块,实现RTSP数据流到RTMP服务器的转发;


3. 录像:如果需要录像,借助RTSP直播播放SDK,拉到音视频数据后,直接存储MP4文件即可;


4. 快照:如果需要实时快照,拉流后,解码调用播放端快照接口,生成快照,因为快照涉及到video数据解码,如无必要,可不必开启,不然会额外消耗性能。


5. 拉流预览:如需预览拉流数据,只要调用播放端的播放接口,即可实现拉流数据预览;


6. 数据转AAC后转发:考虑到好多监控设备出来的音频可能是PCMA/PCMU的,如需要更通用的音频格式,可以转AAC后,在通过RTMP推送;


7. 转推RTMP实时静音:只需要在传audio数据的地方,加个判断即可;


8. 拉流速度反馈:通过RTSP播放端的实时码率反馈event,拿到实时带宽占用即可;


9. 整体网络状态反馈:考虑到有些摄像头可能会临时或异常关闭,RTMP服务器亦是,可以通过推拉流的event回调状态,查看那整体网络情况,如此界定:是拉不到流,还是推不到RTMP服务器。


下面分别介绍下两种技术方案:

FFmpeg技术方案

  1. 安装FFmpeg:首先,您需要安装FFmpeg。FFmpeg是一个开源的跨平台视频和音频处理工具,它支持将RTSP流转换为RTMP流。您可以从FFmpeg官方网站下载适用于Windows的二进制安装程序,并按照说明进行安装。
  2. 配置FFmpeg:安装完FFmpeg后,您需要配置其命令行参数,以便将RTSP流转换为RTMP流,并将其推送到目标服务器。您可以使用以下命令行参数:
 ffmpeg -i rtsp://[摄像头地址]/[流媒体地址] -f flv rtmp://[服务器地址]/[直播频道]

其中,rtsp://[摄像头地址]/[流媒体地址]是摄像头的RTSP流地址,rtmp://[服务器地址]/[直播频道]是目标服务器的RTMP流地址。您可以根据实际情况修改这些参数。


1.运行FFmpeg:配置完FFmpeg后,您可以使用命令行或脚本文件来运行FFmpeg。您可以在命令行中直接运行上述命令,或者将命令写入脚本文件(例如bat文件),然后运行脚本文件。需要注意的是,上述方案中的摄像头地址、流媒体地址、服务器地址和直播频道都需要替换为实际的地址和信息。此外,您还需要确保摄像头的RTSP流可公开访问,并且目标服务器的RTMP流地址已经配置正确。


2.集成到应用程序中:如果您需要在应用程序中实现实时视频流推送,您可以将FFmpeg集成到应用程序中。您可以使用FFmpeg的API或命令行接口,通过编程方式调用FFmpeg的功能,并将摄像头的RTSP流转换为RTMP流,并将其推送到目标服务器。

SDK技术方案

以大牛直播SDK的Windows平台RTSP转RTMP推送C++的demo为例:


1. 拉流:拉流和播放有些类似,但不需要播放(也就是说不要解码,资源消耗非常低),在做过基础的参数配置之后(对应demo里面OpenPullHandle()),设置音视频数据回调,然后调用StartPullStream()即可:


1.1 基础参数设置:

bool nt_stream_relay_wrapper::OpenPullHandle(const std::string& url, bool is_rtsp_tcp_mode, bool is_mute)
{
  if ( pull_handle_ != NULL )
    return true;
  if ( url.empty() )
    return false;
  duration_ = 0;
  NT_HANDLE pull_handle = NULL;
  ASSERT( pull_api_ != NULL );
  if (NT_ERC_OK != pull_api_->Open(&pull_handle, render_wnd_, 0, NULL))
  {
    return false;
  }
  ASSERT(pull_handle != NULL);
  pull_api_->SetEventCallBack(pull_handle, this, &NT_Pull_SDKEventHandle);
  pull_api_->SetBuffer(pull_handle, 0);
  pull_api_->SetFastStartup(pull_handle, 1);
  pull_api_->SetRTSPTcpMode(pull_handle, is_rtsp_tcp_mode ? 1 : 0);
  pull_api_->SetMute(pull_handle, is_mute ? 1 : 0);
  if ( NT_ERC_OK != pull_api_->SetURL(pull_handle, url.c_str()) )
  {
    pull_api_->Close(pull_handle);
    pull_handle = NULL;
    return false;
  }
  if ( setting_pos_ >= 0ll )
  {
    pull_api_->SetPos(pull_handle, setting_pos_);
  }
  pull_handle_ = pull_handle;
  return true;
}

1.2 设置音视频数据回调:

pull_api_->SetPullStreamVideoDataCallBack(pull_handle_, this, &SP_SDKPullStreamVideoDataHandle);
pull_api_->SetPullStreamAudioDataCallBack(pull_handle_, this, &SP_SDKPullStreamAudioDataHandle);


1.3 开始拉流:

auto ret = pull_api_->StartPullStream(pull_handle_);
  if ( NT_ERC_OK != ret )
  {
    if ( !is_playing_ )
    {
      pull_api_->Close(pull_handle_);
      pull_handle_ = NULL;
    }
    return false;
  }


拉流整体代码如下:

bool nt_stream_relay_wrapper::StartPull(const std::string& url, bool is_rtsp_tcp_mode, bool is_transcode_aac)
{
  if ( is_pulling_ )
    return false;
  if ( !OpenPullHandle(url, is_rtsp_tcp_mode) )
    return false;
  pull_api_->SetPullStreamVideoDataCallBack(pull_handle_, this, &SP_SDKPullStreamVideoDataHandle);
  pull_api_->SetPullStreamAudioDataCallBack(pull_handle_, this, &SP_SDKPullStreamAudioDataHandle);
  pull_api_->SetPullStreamAudioTranscodeAAC(pull_handle_, is_transcode_aac? 1: 0);
  auto ret = pull_api_->StartPullStream(pull_handle_);
  if ( NT_ERC_OK != ret )
  {
    if ( !is_playing_ )
    {
      pull_api_->Close(pull_handle_);
      pull_handle_ = NULL;
    }
    return false;
  }
  is_pulling_ = true;
  return true;
}


2. 停止拉流:


停止拉流流程比较简单,先判断是否在拉流状态,如果拉流,调用StopPullStream() 即可,如没有预览画面,调用Close()接口关闭拉流实例。

void nt_stream_relay_wrapper::StopPull()
{
  if ( !is_pulling_ )
    return;
  pull_api_->StopPullStream(pull_handle_);
  if ( !is_playing_ )
  {
    pull_api_->Close(pull_handle_);
    pull_handle_ = NULL;
  }
  is_pulling_ = false;
}


3. 拉流端预览:


拉流端预览,说白了就是播放拉流数据,流程比较简单,demo调用如下,如不需要播放声音,调用SetMute(),实时打开/关闭即可:

bool nt_stream_relay_wrapper::StartPlay(const std::string& url, bool is_rtsp_tcp_mode, bool is_mute)
{
  if ( is_playing_ )
    return false;
  if ( !OpenPullHandle(url, is_rtsp_tcp_mode, is_mute) )
    return false;
  pull_api_->SetMute(pull_handle_, is_mute ? 1 : 0);
  auto ret = pull_api_->StartPlay(pull_handle_);
  if ( NT_ERC_OK != ret )
  {
    if ( !is_pulling_ )
    {
      pull_api_->Close(pull_handle_);
      pull_handle_ = NULL;
    }
    return false;
  }
  is_playing_ = true;
  return true;
}


4. 拉流端关闭预览:

void nt_stream_relay_wrapper::StopPlay()
{
  if ( !is_playing_ )
    return;
  pull_api_->StopPlay(pull_handle_);
  if ( !is_pulling_ )
  {
    pull_api_->Close(pull_handle_);
    pull_handle_ = NULL;
  }
  is_playing_ = false;
}


5. 开始推流到RTMP服务器:


推流的流程,如之前所述,调用RTMP推送模块,然后数据源传编码后的音视频数据即可,下图的demo源码,同时展示了,RTSP流获取到后,转推RTMP的时候,数据解密的处理:

bool nt_stream_relay_wrapper::StartPush(const std::string& url)
{
  if ( is_pushing_ )
    return false;
  if ( url.empty() )
    return false;
  if ( !OpenPushHandle() )
    return false;
  auto push_handle = GetPushHandle();
  ASSERT(push_handle != nullptr);
  ASSERT(push_api_ != NULL);
  if ( NT_ERC_OK != push_api_->SetURL(push_handle, url.c_str(), NULL) )
  {
    if ( !is_started_rtsp_stream_ )
    {
      push_api_->Close(push_handle);
      SetPushHandle(nullptr);
    }
    return false;
  }
  if ( NT_ERC_OK != push_api_->StartPublisher(push_handle, NULL) )
  {
    if ( !is_started_rtsp_stream_ )
    {
      push_api_->Close(push_handle);
      SetPushHandle(nullptr);
    }
    return false;
  }
  is_pushing_ = true;
  return true;
}


6. 传递转推RTMP数据:

void nt_stream_relay_wrapper::OnVideoDataHandle(NT_HANDLE handle, NT_UINT32 video_codec_id, 
  NT_BYTE* data, NT_UINT32 size, NT_SP_PullStreamVideoDataInfo* info)
{
  if (!is_pushing_ && !is_started_rtsp_stream_)
    return;
  if ( pull_handle_ != handle )
    return;
  if (data == NULL)
    return;
  if (size < 1)
    return;
  if (info == NULL)
    return;
  std::unique_lock<std::recursive_mutex> lock(push_handle_mutex_);
  if (!is_pushing_ && !is_started_rtsp_stream_)
    return;
  if (push_handle_ == NULL)
    return;
  push_api_->PostVideoEncodedDataV2(push_handle_, video_codec_id,
    data, size, info->is_key_frame_, info->timestamp_, info->presentation_timestamp_);
}
void nt_stream_relay_wrapper::OnAudioDataHandle(NT_HANDLE handle, NT_UINT32 auido_codec_id,
  NT_BYTE* data, NT_UINT32 size, NT_SP_PullStreamAuidoDataInfo* info)
{
  if (!is_pushing_ && !is_started_rtsp_stream_)
    return;
  if (pull_handle_ != handle)
    return;
  if (data == NULL)
    return;
  if (size < 1)
    return;
  if (info == NULL)
    return;
  std::unique_lock<std::recursive_mutex> lock(push_handle_mutex_);
  if (!is_pushing_ && !is_started_rtsp_stream_)
    return;
  if (push_handle_ == NULL)
    return;
  push_api_->PostAudioEncodedData(push_handle_, auido_codec_id, data, size,
    info->is_key_frame_, info->timestamp_, 
    info->parameter_info_, info->parameter_info_size_);
}


7. 关闭实时RTMP转推

void nt_stream_relay_wrapper::StopPush()
{
  if ( !is_pushing_ )
    return;
  is_pushing_ = false;
  std::unique_lock<std::recursive_mutex> lock(push_handle_mutex_);
  if ( nullptr == push_handle_ )
    return;
  push_api_->StopPublisher(push_handle_);
  if ( !is_started_rtsp_stream_ )
  {
    push_api_->Close(push_handle_);
    push_handle_ = nullptr;
  }
}

总结

无论您选择哪种方案,需要确保以下几点:


  1. 选择一个稳定可靠的第三方库或服务,以确保转换的质量和可靠性;
  2. 了解和掌握相关的技术和协议,例如RTSP和RTMP,以及如何使用相关的库和工具进行转换和处理;
  3. 考虑性能和资源的问题,特别是在处理大量视频流或高并发的场景下。需要确保系统具有足够的处理能力和带宽,以避免延迟或丢帧等问题。


Windows平台上的RTSP转RTMP推送需要一些技术准备和规划,以及对相关协议和工具的理解和使用经验,做个基础的demo,用FFmpeg就可以,但是如果产品话,需要考虑的点实在太多了。

相关文章
|
Web App开发 数据采集 物联网
Android平台基于RTMP或RTSP的一对一音视频互动技术方案探讨
随着智能门禁等物联网产品的普及,越来越多的开发者对音视频互动体验提出了更高的要求。目前市面上大多一对一互动都是基于WebRTC,优点不再赘述,我们这里先说说可能需要面临的问题:WebRTC的服务器部署非常复杂,可以私有部署,但是非常复杂。传输基于UDP,很难保证传输质量,由于UDP是不可靠的传输协议,在复杂的公网网络环境下,各种突发流量、偶尔的传输错误、网络抖动、超时等等都会引起丢包异常,都会在一定程度上影响音视频通信的质量,难以应对复杂的互联网环境,如跨区跨运营商、低带宽、高丢包等场景,行话说的好:从demo到实用,中间还差1万个WebRTC。
187 0
|
3月前
|
编解码
RTMP 和 HLS 协议的实时性和稳定性哪个更好?
【10月更文挑战第26天】RTMP和HLS协议在实时性和稳定性方面各有优劣,具体选择哪种协议应根据直播的具体需求和应用场景来决定。如果注重实时互动,RTMP可能是更好的选择;如果考虑到兼容性和在不同网络条件下的稳定播放,HLS则更为合适。
106 10
|
3月前
|
Web App开发 网络协议 算法
WebRTC 和一些常见的直播方案
【10月更文挑战第25天】
|
5月前
|
编解码 Dart 网络协议
Flutter如何玩转超低延迟RTSP/RTMP播放,跨平台视频流体验大升级,让你的应用秒变直播神器!
【9月更文挑战第3天】Flutter作为谷歌推出的跨平台移动UI框架,凭借高性能和丰富的生态系统广受好评。本文详细介绍如何在Flutter应用中实现低延迟的跨平台RTSP/RTMP播放,并提供具体示例代码。首先介绍了如何使用`flutter_vlc_player`播放RTSP流,然后讨论了优化视频播放以降低延迟的方法,包括调整播放器配置等。通过选用合适的播放器插件并进行优化,Flutter可在视频流播放领域提供卓越的用户体验。随着生态的发展,Flutter有望成为视频流媒体开发的首选框架。
569 6
|
5月前
|
XML 编解码 开发工具
多路RTSP转RTMP推送方案的两个选择
RTSP转RTMP模块设计,可以用ffmpeg直接命令行转发,也可以用方案二的非常成熟的转发设计,ffmpeg转发,需要有一定的代码基础,有问题的话,bug修复需要对底层逻辑非常了解才行,方案二,技术成熟,二次开发难度不大,很容易集成到自己现有系统
107 2
|
6月前
|
编解码 开发工具 Android开发
iOS平台如何实现毫秒级延迟的RTMP|RTSP播放器
在我的blog里面,最近很少有提到iOS平台RTMP推送|轻量级RTSP服务和RTMP|RTSP直播播放模块,实际上,我们在2016年就发布了iOS平台直播推拉流、转发模块,只是因为传统行业,对iOS的需求比较少,所以一直没单独说明,本文主要介绍下,如何在iOS平台播放RTMP或RTSP流。
128 6
|
6月前
|
数据采集 编解码 开发工具
Android平台实现无纸化同屏并推送RTMP或轻量级RTSP服务(毫秒级延迟)
一个好的无纸化同屏系统,需要考虑的有整体组网、分辨率、码率、实时延迟、音视频同步和连续性等各个指标,做容易,做好难
|
6月前
|
Linux 开发工具 图形学
Unity下实现跨平台的RTMP推流|轻量级RTSP服务|RTMP播放|RTSP播放低延迟解决方案
自2018年起,我们成功实现了Unity环境下的低延迟RTSP|RTMP播放,达到毫秒级延迟,获得业界广泛认可。现已覆盖Windows、Android、iOS与Linux平台的RTMP推送、轻量级RTSP服务及RTSP|RTMP播放。通过高效采集Unity窗口或摄像头数据,并利用原生SDK进行编码与推送,确保了数据传输的高速性。此外,播放器支持多路视频同时播放,适应不同分辨率,并保持长时间运行稳定。更多技术细节和技术博文,请参考相关链接。
325 1
|
6月前
|
编解码 Dart 网络协议
"震撼揭秘!Flutter如何玩转超低延迟RTSP/RTMP播放,跨平台视频流体验大升级,让你的应用秒变直播神器!"
【8月更文挑战第15天】Flutter作为跨平台UI框架,以其高效性和丰富生态著称。本文详述如何利用flutter_vlc_player等插件在Flutter中实现低延迟RTSP/RTMP播放,并提供代码示例。通过优化播放器设置,如禁用缓冲、启用帧丢弃等,可进一步减少延迟,提升用户观看体验,展现了Flutter在视频流媒体应用中的强大潜力。
178 0
|
9月前
|
Web App开发 移动开发 前端开发
web端实现rtsp实时推流视频播放可行性方案
总之,要在Web端实现RTSP实时推流视频播放,需要使用适当的前端技术(如HTML5 Video或WebRTC),以及媒体服务器或流转换器来处理RTSP流。这需要一些开发和配置工作,但是可以实现实时视频流的播放。具体的实现方案可能会根据您的需求和技术栈而有所不同,所以需要仔细评估和选择适合您的解决方案。
906 0

热门文章

最新文章