低延迟播放超高分辨率(4K+)帧率(50帧+)RTSP|RTMP流技术探讨和实现

本文涉及的产品
视觉智能开放平台,视频通用资源包5000点
视觉智能开放平台,图像通用资源包5000点
视觉智能开放平台,分割抠图1万点
简介: 为满足安检等场景需求,需支持4K+分辨率与50帧以上的高帧率视频流播放。实现这一目标的关键步骤包括:确保视频源支持高帧率输出、选用高性能RTSP/RTMP播放器以处理高负载视频解码、采用硬件解码以降低CPU负担、保证充足的网络带宽以维持流畅播放并控制延迟、合理配置播放器缓冲策略以适应网络波动、进行性能监控与调试以优化播放效果,以及确保播放器在多平台上的良好兼容性和表现。例如,大牛直播SDK的SmartPlayer在不同平台上实现了稳定且低延迟(150-300ms)的播放体验,支持多种视频和音频格式及多种功能,如多实例播放、事件回调、视频快照等。

技术背景

我们在对接RTSP、RTMP推拉流播放的时候,开发者提到这样的技术诉求,他们在用于安检等场景的时候,采集分辨率甚至需要4K+,帧率需要达到50帧以上,码率也非常高,这就对推流和播放模块,提出了更高的要求。

以播放端为例,如果需要播放50帧以上高帧率高码率高分辨率的RTSP或RTMP流,以下是一些关键的步骤和考虑因素:

1. 确保视频源支持高帧率

  • 视频源设备:确保你的视频源设备(如摄像头、摄像机等)能够输出50帧的视频流。
  • 编码器设置:如果视频流在传输前经过编码器,需要确保编码器支持并配置为输出50帧的视频。

2. 选择合适的RTSP播放器

  • 播放器性能:选择一款性能强大的RTSP|RTMP播放器,能够处理高帧率视频流的解码和渲染。
  • 硬解码支持:超高帧率码率和分辨率的RTSP|RTMP视频流播放,由于解码非常耗费性能,建议采用硬解码模式。

3. 网络条件

  • 带宽:高帧率视频流需要更高的带宽来保持流畅的播放。确保你的网络环境能够提供足够的带宽来支持50帧的视频流。
  • 延迟:低延迟是直播和实时视频传输的重要要求。

4. 播放器配置

  • 软硬解码设置:根据设备性能,选择软解或硬解码。
  • 缓冲设置:合理配置播放器的缓冲策略,以应对网络波动和视频流中的突发情况。

5. 优化和调试

  • 性能监控:使用性能监控工具来评估播放器的性能,包括CPU使用率、内存占用和帧率等。
  • 调试工具:利用播放器的调试工具来诊断和解决可能出现的问题,如解码错误、同步问题等。

6. 跨平台兼容性

  • 多平台支持:如果你需要在不同的平台上播放高帧率视频(如Windows、Linux、Android、iOS等),需要确保播放器在这些平台上都有良好的表现和兼容性。

技术实现

以大牛直播SDK的SmartPlayer为例,目前实现的功能如下,如不单独介绍,Windows、Linux、Android、iOS均支持,现场测试,超过1080p,50帧以上,依然可以达到150-300ms延迟:

image.gif

  • [支持播放协议]高稳定、超低延迟、业内首屈一指的RTSP直播播放器SDK;
  • [多实例播放]支持多实例播放;
  • [事件回调]支持网络状态、buffer状态等回调;
  • [视频格式]支持H.265、H.264,此外,还支持RTSP MJPEG播放;
  • [音频格式]支持AAC/PCMA/PCMU;
  • [H.264/H.265软解码]支持H.264/H.265软解;
  • [H.264硬解码]Windows/Android/iOS支持特定机型H.264硬解;
  • [H.265硬解]Windows/Android/iOS支持特定机型H.265硬解;
  • [H.264/H.265硬解码]Android支持设置Surface模式硬解和普通模式硬解码;
  • [RTSP模式设置]支持RTSP TCP/UDP模式设置;
  • [RTSP TCP/UDP自动切换]支持RTSP TCP、UDP模式自动切换;
  • [RTSP超时设置]支持RTSP超时时间设置,单位:秒;
  • [RTSP 401认证处理]支持上报RTSP 401事件,如URL携带鉴权信息,会自动处理;
  • [缓冲时间设置]支持buffer time设置;
  • [首屏秒开]支持首屏秒开模式;
  • [复杂网络处理]支持断网重连等各种网络环境自动适配;
  • [快速切换URL]支持播放过程中,快速切换其他URL,内容切换更快;
  • [音视频多种render机制]Android平台,视频:surfaceview/OpenGL ES,音频:AudioTrack/OpenSL ES;
  • [实时静音]支持播放过程中,实时静音/取消静音;
  • [实时音量调节]支持播放过程中实时调节音量;
  • [实时快照]支持播放过程中截取当前播放画面;
  • [只播关键帧]Windows平台支持实时设置是否只播放关键帧;
  • [渲染角度]支持0°,90°,180°和270°四个视频画面渲染角度设置;
  • [渲染镜像]支持水平反转、垂直反转模式设置;
  • [等比例缩放]支持图像等比例缩放绘制(Android设置surface模式硬解模式不支持);
  • [实时下载速度更新]支持当前下载速度实时回调(支持设置回调时间间隔);
  • [解码前视频数据回调]支持H.264/H.265数据回调;
  • [解码后视频数据回调]支持解码后YUV/RGB数据回调;
  • [解码前音频数据回调]支持AAC/PCMA/PCMU数据回调;
  • [音视频自适应]支持播放过程中,音视频信息改变后自适应;
  • [扩展录像功能]完美支持和录像SDK组合使用。

对应Demo:

  • Windows测试程序:SmartPlayer.exe;
  • Windows C++工程:WIN-PlayerSDK-CPP-Demo;
  • Windows C#工程:WIN-PlayerSDK-CSharp-Demo;
  • Linux工程:single_playerdemo|multi_playerdemo;
  • Android工程:SmartPlayerV2;
  • iOS工程:SmartiOSPlayerV2。

以Winodws平台为例,开始播放实现如下:

/*
 * SmartPlayerForm.cs
 * Author:daniusdk.com
 * QQ 89030985
 */
private void btn_play_Click(object sender, EventArgs e)
{
    if (btn_play.Text == "播放")
    {
        if (!is_recording_)
        {
            if (!InitCommonSDKParam())
            {
                MessageBox.Show("设置参数错误!");
                return;
            }
        }
        //video resolution callback
        video_size_call_back_ = new SP_SDKVideoSizeCallBack(SP_SDKVideoSizeHandle);
        NTSmartPlayerSDK.NT_SP_SetVideoSizeCallBack(player_handle_, IntPtr.Zero, video_size_call_back_);
        bool is_support_d3d_render = false;
        Int32 in_support_d3d_render = 0;
        if (NT.NTBaseCodeDefine.NT_ERC_OK == NTSmartPlayerSDK.NT_SP_IsSupportD3DRender(player_handle_, playWnd.Handle, ref in_support_d3d_render))
        {
            if (1 == in_support_d3d_render)
            {
                is_support_d3d_render = true;
            }
        }
        //is_support_d3d_render = false;
        if (is_support_d3d_render)
        {
            is_gdi_render_ = false;
            // 支持d3d绘制的话,就用D3D绘制
            NTSmartPlayerSDK.NT_SP_SetRenderWindow(player_handle_, playWnd.Handle);
            if (btn_check_render_scale_mode.Checked)
            {
                NTSmartPlayerSDK.NT_SP_SetRenderScaleMode(player_handle_, 1);
            }
            else
            {
                NTSmartPlayerSDK.NT_SP_SetRenderScaleMode(player_handle_, 0);
            }
            
        }
        else
        {
            is_gdi_render_ = true;
            playWnd.Visible = false;
            // 不支持D3D就让播放器吐出数据来,用GDI绘制
            //video frame callback (YUV/RGB)
            //format请参见 NT_SP_E_VIDEO_FRAME_FORMAT,如需回调YUV,请设置为 NT_SP_E_VIDEO_FRAME_FROMAT_I420
            video_frame_call_back_ = new SP_SDKVideoFrameCallBack(SetVideoFrameCallBack);
            NTSmartPlayerSDK.NT_SP_SetVideoFrameCallBack(player_handle_, (Int32)NT.NTSmartPlayerDefine.NT_SP_E_VIDEO_FRAME_FORMAT.NT_SP_E_VIDEO_FRAME_FORMAT_RGB32, IntPtr.Zero, video_frame_call_back_);
        }
        user_data_call_back_ = new SP_SDKUserDataCallBack(SDKUserDataCallBack);
        NTSmartPlayerSDK.NT_SP_SetUserDataCallBack(player_handle_, IntPtr.Zero, user_data_call_back_);
        if (btn_check_add_osd.Checked)
        {
            DrawOSD("叠加字符展示");
        }
        else
        {
            DrawOSD(null);
        }
        UInt32 ret_start = NTSmartPlayerSDK.NT_SP_StartPlay(player_handle_);
        if (ret_start != 0)
        {
            MessageBox.Show("播放失败..");
            return;
        }
        //转发相关,具体参见转发demo
        /*
        pull_stream_video_data_call_back_ = new SP_SDKPullStreamVideoDataCallBack(OnVideoDataHandle);
        pull_stream_audio_data_call_back_ = new SP_SDKPullStreamAudioDataCallBack(OnAudioDataHandle);
        NTSmartPlayerSDK.NT_SP_SetPullStreamVideoDataCallBack(pull_handle_, IntPtr.Zero, pull_stream_video_data_call_back_);
        NTSmartPlayerSDK.NT_SP_SetPullStreamAudioDataCallBack(pull_handle_, IntPtr.Zero, pull_stream_audio_data_call_back_);
        UInt32 ret = NTSmartPlayerSDK.NT_SP_StartPullStream(pull_handle_);
         */
        btn_capture_image.Enabled = true;
        is_playing_ = true;
        btn_play.Text = "停止";
    }
    else
    {
        StopPlayback();
    }
    
}

image.gif

停止播放:

private void StopPlayback()
{
    if (player_handle_ == IntPtr.Zero)
    {
        return;
    }
    if (is_playing_)
    {
        NTSmartPlayerSDK.NT_SP_StopPlay(player_handle_);
        is_playing_ = false;
        //playWnd.Invalidate();   //清空最后一帧数据,如不加,默认保留最后一帧画面
    }
    if (cur_video_frame_.plane0_ != IntPtr.Zero)
    {
        Marshal.FreeHGlobal(cur_video_frame_.plane0_);
        cur_video_frame_.plane0_ = IntPtr.Zero;
    }
    btn_full_screen_.Enabled = false;
    btn_capture_image.Enabled = false;
    textBox_resolution.Text = "";
    btn_play.Text = "播放";
    lable_cur_status_txt.Text = "";
    edit_player_msg_.Text = "";
    DrawOSD(null);
}

image.gif

如需要实时快照:

private void btn_capture_image_Click(object sender, EventArgs e)
{
    if ( String.IsNullOrEmpty(capture_image_path_) )
    {
        MessageBox.Show("请先设置保存截图文件的目录! 点击截图左边的按钮设置!");
        return;
    }
    if ( player_handle_ == IntPtr.Zero )
    {
        return;
    }
    if ( !is_playing_)
    {
        MessageBox.Show("请在播放状态下截图!");
        return;
    }
    String name = capture_image_path_ + "\\" +  DateTime.Now.ToString("hh-mm-ss") + ".png";
    byte[] buffer1 = Encoding.Default.GetBytes(name);
    byte[] buffer2 = Encoding.Convert(Encoding.Default, Encoding.UTF8, buffer1, 0, buffer1.Length);
    byte[] buffer3 = new byte[buffer2.Length + 1];
    buffer3[buffer2.Length] = 0;
    Array.Copy(buffer2, buffer3, buffer2.Length);
    IntPtr file_name_ptr = Marshal.AllocHGlobal(buffer3.Length);
    Marshal.Copy(buffer3, 0, file_name_ptr, buffer3.Length);
    capture_image_call_back_ = new SP_SDKCaptureImageCallBack(SDKCaptureImageCallBack);
    UInt32 ret = NTSmartPlayerSDK.NT_SP_CaptureImage(player_handle_, file_name_ptr, IntPtr.Zero, capture_image_call_back_);
    Marshal.FreeHGlobal(file_name_ptr);
    if (NT.NTBaseCodeDefine.NT_ERC_OK == ret)
    {
        // 发送截图请求成功
    }
    else if ((UInt32)NT.NTSmartPlayerDefine.SP_E_ERROR_CODE.NT_ERC_SP_TOO_MANY_CAPTURE_IMAGE_REQUESTS == ret)
    {
        // 通知用户延时
        MessageBox.Show("Too many capture image requests!");
    }
    else
    {
        // 其他失败
    }
}

image.gif

如果需要实时录像:

private void btn_record_Click(object sender, EventArgs e)
{
    if (player_handle_ == IntPtr.Zero)
        return;
    if (btn_record.Text == "录像")
    {
        if (!is_rec_video_ && !is_rec_audio_)
        {
            MessageBox.Show("音频录制选项和视频录制选项至少需要选择一个!");
            return;
        }
        if (!is_playing_)
        {
            if (!InitCommonSDKParam())
            {
                MessageBox.Show("设置参数错误!");
                return;
            }
        }
        NTSmartPlayerSDK.NT_SP_SetRecorderVideo(player_handle_, is_rec_video_ ? 1 : 0);
        NTSmartPlayerSDK.NT_SP_SetRecorderAudio(player_handle_, is_rec_audio_ ? 1 : 0);
        UInt32 ret = NTSmartPlayerSDK.NT_SP_SetRecorderDirectoryW(player_handle_, rec_dir_);
        if (NT.NTBaseCodeDefine.NT_ERC_OK != ret)
        {
            MessageBox.Show("设置录像目录失败");
            return;
        }
        NTSmartPlayerSDK.NT_SP_SetRecorderFileMaxSize(player_handle_, max_file_size_);
        NT_SP_RecorderFileNameRuler rec_name_ruler = new NT_SP_RecorderFileNameRuler();
        rec_name_ruler.type_ = 0;
        rec_name_ruler.file_name_prefix_ = rec_name_file_prefix_;
        rec_name_ruler.append_date_ = is_append_date_ ? 1 : 0;
        rec_name_ruler.append_time_ = is_append_time_ ? 1 : 0;
        NTSmartPlayerSDK.NT_SP_SetRecorderFileNameRuler(player_handle_, ref rec_name_ruler);
        record_call_back_ = new SP_SDKRecorderCallBack(SDKRecorderCallBack);
        NTSmartPlayerSDK.NT_SP_SetRecorderCallBack(player_handle_, IntPtr.Zero, record_call_back_);
        NTSmartPlayerSDK.NT_SP_SetRecorderAudioTranscodeAAC(player_handle_, is_audio_transcode_aac_ ? 1 : 0);
        if (NT.NTBaseCodeDefine.NT_ERC_OK != NTSmartPlayerSDK.NT_SP_StartRecorder(player_handle_))
        {
            MessageBox.Show("录像失败!");
            return;
        }
        btn_record.Text = "停止录像";
        is_recording_ = true;
    }
    else
    {
        StopRecorder();
    }
}

image.gif

停止录像:

private void StopRecorder()
{
    if (player_handle_ == IntPtr.Zero)
    {
        return;
    }
    NTSmartPlayerSDK.NT_SP_StopRecorder(player_handle_);
    btn_record.Text = "录像";
    is_recording_ = false;
}

image.gif

总结

RTSP|RTMP播放器,如果需要低延迟的播放50帧以上的高帧率码率的数据,需要有好的解码性能、做好音视频的同步处理,确保播放器的每个环节可控。才可以达到高稳定、低延迟的播放体验,感兴趣的开发者,可以单独跟我沟通讨论。

相关文章
|
Linux Android开发 编解码
VLC播放RTSP视频延迟问题
之前写过一篇关于在Linux平台上编译Android平台上VLC播放器源代码的文章,vlc这款播放器非常优秀而且是开源的,它的核心是开源视频编解码库ffmpeg。而且这款播放器还支持RTSP协议,这个主要是用开源的live555来实现的,live555这个库以后还需要认真研习。
5426 0
|
Web App开发 编解码 安全
【WebRTC 入门教程】全面解析WebRTC:从底层原理到Qt和FFmpeg的集成应用
【WebRTC 入门教程】全面解析WebRTC:从底层原理到Qt和FFmpeg的集成应用
5681 2
|
存储 编解码 调度
剖析ffmpeg视频解码播放:时间戳的处理
剖析ffmpeg视频解码播放:时间戳的处理
1139 0
|
11月前
|
Ubuntu 网络安全 图形学
Ubuntu学习笔记(二):ubuntu20.04解决右上角网络图标激活失败或者消失,无法连接有线问题。
在Ubuntu 20.04系统中解决网络图标消失和无法连接有线网络问题的方法,其中第三种方法通过检查并确保Windows防火墙中相关服务开启后成功恢复了网络连接。
3561 0
Ubuntu学习笔记(二):ubuntu20.04解决右上角网络图标激活失败或者消失,无法连接有线问题。
|
编解码 监控 网络协议
如何用魔法般的步骤实现RTSP推送H.264与H.265(HEVC),打造震撼视听盛宴,让每一帧都充满魔力!
【9月更文挑战第3天】实现RTSP流媒体服务推送H.264和H.265编码视频是现代视频监控及直播平台的关键技术。本文详细介绍环境搭建、编码配置及服务器与客户端实现方法。首先,通过FFmpeg捕获视频并编码成RTSP流,接着使用VLC等工具接收播放。此外,还提供了C++示例代码,演示如何利用libv4l2和FFmpeg自定义服务器端实现。希望本文能帮助读者成功搭建RTSP视频流系统。
1883 1
|
编解码 监控 网络协议
【绝密技巧】揭秘!如何用魔法般的步骤实现RTSP推送H.264与H.265(HEVC),打造震撼视听盛宴,让每一帧都充满魔力!
【8月更文挑战第15天】本文详述了如何使用RTSP流媒体服务推送H.264及H.265编码视频,适用于视频监控和直播平台。首先需确保环境支持这两种编码格式,可通过FFmpeg实现。在Ubuntu上安装FFmpeg后,可配置从摄像头捕获视频并推流至RTSP服务器。针对H.265编码,只需更改视频编码器为`libx265`。客户端可使用VLC播放器接收流。此外,还提供了C++示例代码用于自定义服务器实现,包括初始化上下文、打开编码器和循环编码视频帧。此教程旨在助力实现RTSP推送目标。
447 0
|
存储 编解码 API
【视频花屏问题】解码天书:深入理解视频流花屏现象及其解决方案
【视频花屏问题】解码天书:深入理解视频流花屏现象及其解决方案
2332 8
|
机器学习/深度学习 人工智能 自然语言处理
技术小白能看懂的ChatGPT原理介绍
网上有关 ChatGPT 的原理介绍文章一大堆,要么是从 NLP 的历史开始讲起,要么是上数 GPT 3 代,内容都相对冗长和复杂。其实 ChatGPT 的原理并不难理解,我将以最通俗易懂的方式为技术小白解读,帮助大家更好地了解这一技术
889 1
技术小白能看懂的ChatGPT原理介绍
|
应用服务中间件 nginx Windows
ffmpeg推流到nginx服务器,并使用vlc播放rtmp视频
ffmpeg推流到nginx服务器,并使用vlc播放rtmp视频
894 0
|
Web App开发 监控 算法
详解 WebRTC 高音质低延时的背后 — AGC(自动增益控制)
本文将结合实例全面解析 WebRTC AGC 的基本框架,一起探索其基本原理、模式的差异、存在的问题以及优化方向。
详解 WebRTC 高音质低延时的背后 — AGC(自动增益控制)

热门文章

最新文章