Windows平台RTMP推送|轻量级RTSP服务如何实现摄像头叠加到屏幕输出

本文涉及的产品
视觉智能开放平台,分割抠图1万点
视觉智能开放平台,视频资源包5000点
视觉智能开放平台,图像资源包5000点
简介: 大牛直播SDK采用先进的图层概念实现视频叠加,如将摄像头画面实时叠加到屏幕输出,以C#为例展示了具体的配置方法。用户可在推送RTMP或启动RTSP服务前选择“摄像头叠加到屏幕”的选项,并调整位置。SDK还支持摄像头的开启与关闭、水平垂直翻转及旋转等功能。此外,该SDK提供了丰富的特性,包括但不限于视频和音频采集处理、硬编码与软编码支持、多实例推送、水印添加、网络适应性调整等,几乎涵盖了RTMP推送的所有常规需求,并能与播放器协同工作达到毫秒级的低延迟,非常适合无纸化同屏、智慧教室等应用场景。

技术背景

我们在用Windows平台RTMP推送、轻量级RTSP服务实现无纸化同屏、智慧教室等场景的时候,有个需求是,需要主讲人(或老师)的摄像头数据,叠加到屏幕上输出出去,这就是今天我们需要讲的视频视频叠加。

技术实现

实际上,大牛直播SDK的视频叠加这块做的非常先进,采用类似于Photoshop图层的概念,比如如需要摄像头实时叠加到屏幕,那么第0层,可以设置屏幕数据,第1层可以设置摄像头数据,以C#为例,设置如下:

/* SmartPublisherDemoDlg.cs
 * Author: daniusdk.com
 */
//摄像头overlay到桌面
int left = Int32.Parse(edit_clip_left_.Text);
int top = Int32.Parse(edit_clip_top_.Text);
int w = Int32.Parse(edit_clip_width_.Text);
int h = Int32.Parse(edit_clip_height_.Text);
// 有一个是0, 就使用全屏
if ( w == 0 || h == 0 )
{
    left = 0;
    top = 0;
    GetScreenSize(ref w, ref h);
}
else
{
    // 保证4字节对齐
    w = NT_ByteAlign(w, 4);
    h = NT_ByteAlign(h, 4);
}
NTSmartPublisherSDK.NT_PB_ClearLayersConfig(publisher_handle_, 0, 0, IntPtr.Zero);
//第一层:屏幕
NT_PB_ScreenLayerConfig screen_layer_c0 = new NT_PB_ScreenLayerConfig();
type = (Int32)NTSmartPublisherDefine.NT_PB_E_LAYER_TYPE.NT_PB_E_LAYER_TYPE_SCREEN;
fill_layer_base(screen_layer_c0, out screen_layer_c0.base_, type, index, true, left, top, w, h);
screen_layer_index_ = screen_layer_c0.base_.index_;
screen_layer_c0.clip_region_.x_ = left;
screen_layer_c0.clip_region_.y_ = top;
screen_layer_c0.clip_region_.width_ = w;
screen_layer_c0.clip_region_.height_ = h;
screen_layer_c0.reserve_ = IntPtr.Zero;
if (add_layer_config(screen_layer_c0, type))
    index++;
//第二层:摄像头
if (-1 != cur_sel_camera_index_)
{
    int c_l = Int32.Parse(edit_camera_overlay_left_.Text);
    int c_t = Int32.Parse(edit_camera_overlay_top_.Text);
    int c_w = Int32.Parse(edit_camera_overlay_width_.Text);
    int c_h = Int32.Parse(edit_camera_overlay_height_.Text);
    if (c_w == 0)
    {
        c_w = w / 2;
    }
    if (c_h == 0)
    {
        c_h = h / 2;
    }
    ctos_camera_layer_c1_ = new NT_PB_CameraLayerConfigV2();
    CameraInfo camera = cameras_[cur_sel_camera_index_];
    NT_PB_VideoCaptureCapability cap = camera.capabilities_[cur_sel_camera_resolutions_index_];
    ctos_camera_layer_c1_.device_unique_id_utf8_ = camera.id_;
    type = (Int32)NTSmartPublisherDefine.NT_PB_E_LAYER_TYPE.NT_PB_E_LAYER_TYPE_CAMERA;
    fill_layer_base(ctos_camera_layer_c1_, out ctos_camera_layer_c1_.base_, type, index, true, c_l, c_t, c_w, c_h);
    camera_layer_index_ = ctos_camera_layer_c1_.base_.index_;
    if (btn_check_flip_horizontal_camera_.Checked)
    {
        ctos_camera_layer_c1_.is_flip_horizontal_ = 1;
    }
    else
    {
        ctos_camera_layer_c1_.is_flip_horizontal_ = 0;
    }
    if (btn_check_flip_vertical_camera_.Checked)
    {
        ctos_camera_layer_c1_.is_flip_vertical_ = 1;
    }
    else
    {
        ctos_camera_layer_c1_.is_flip_vertical_ = 0;
    }
    ctos_camera_layer_c1_.rotate_degress_ = GetCameraRotateDegress();
    if (add_layer_config(ctos_camera_layer_c1_, type))
        index++;
}
NTSmartPublisherSDK.NT_PB_SetFrameRate(publisher_handle_, UInt32.Parse(edit_frame_rate_.Text));

image.gif

界面设置如下,推送RTMP或启动轻量级RTSP服务之前,选择“摄像头叠加到屏幕”选项,然后,如果需要设置位置,可以设置摄像头的位置:

image.gif

如果需要实时关闭或打开叠加的摄像头:

private void btn_disable_camera_overlay__Click(object sender, EventArgs e)
{
    if (btn_camera_overlay_to_desktop.Checked)
    {
        if (publisher_handle_ != IntPtr.Zero)
        {
            String str_btn_text = btn_disable_camera_overlay_.Text;
            String strStopOverlayCmr = "停止叠加摄像头";
            if (str_btn_text.Equals(strStopOverlayCmr))
            {
                if (NTBaseCodeDefine.NT_ERC_OK == NTSmartPublisherSDK.NT_PB_EnableLayer(publisher_handle_, 0,
                    camera_layer_index_, 0))
                {
                    btn_disable_camera_overlay_.Text = "叠加摄像头";
                }
            }
            else
            {
                if (NTBaseCodeDefine.NT_ERC_OK == NTSmartPublisherSDK.NT_PB_EnableLayer(publisher_handle_, 0,
                    camera_layer_index_, 1))
                {
                    btn_disable_camera_overlay_.Text = "停止叠加摄像头";
                }
            }
        }
    }
}

image.gif

叠加后输出的效果如下:

image.gif

技术总结

无论是摄像头叠加屏幕,还是屏幕叠加摄像头,亦或屏幕或摄像头添加动态图片或文字水印,大牛直播SDK都是采用图层设计,很容易扩展,也很容易随时隐藏某个图层,确保整体设计更灵活,满足大多数图像叠加场景的技术诉求。

以RTMP推送模块为例,我们目前功能设计如下:

  • [视频采集处理]Windows平台涵盖“Windows视频采集处理SDK”功能;
  • [音频采集处理]Windows平台涵盖“Windows音频采集处理SDK”功能;
  • [本地预览]Windows平台支持摄像头/屏幕/合成数据实时预览功能,Android/iOS平台支持本地前后置摄像头预览;
  • [摄像头反转/旋转]Windows平台支持摄像头水平反转、垂直反转、0°/90°/180°/270°旋转;
  • [摄像头采集]除常规YUV格式外,Windows平台还支持MJPEG格式的摄像头采集;
  • [麦克风/扬声器采集]Windows平台音频输入端支持麦克风、扬声器,或麦克风和扬声器混音输入;
  • [RTMP推流]超低延时的RTMP协议直播推流SDK(Windows/Android/iOS支持RTMP扩展H.265推送);
  • [视频格式]Windows/Android平台支持H.264/H.265编码(Android H.265硬编码),iOS平台支持H.264编码;
  • [音频格式]Windows/Android/iOS平台支持AAC编码,Windows/Android平台支持Speex编码;
  • [音频编码]Windows/Android平台支持Speex推送、Speex编码质量设置;
  • [音量调节]Windows/Android平台采集端支持实时音量调节(其中,Windows平台混音模式下支持单独控制麦克风、扬声器音量);
  • [H.264硬编码]Windows/Android/iOS平台支持H.264特定机型硬编码;
  • [H.265硬编码]Android/iOS平台支持H.265特定机型硬编码;
  • [硬编码自适应]Android/iOS平台支持硬编码自适应,如检测到硬编码不支持,自动切换到软编(iOS如H.265硬编,先切换到H.264硬编码,如不支持再尝试H.264软编);
  • [软硬编码参数配置]支持gop间隔、帧率、bit-rate设置;
  • [软编码参数配置]支持软编码profile、软编码速度、可变码率设置;
  • [多实例推送]支持多实例推送(如同时推送屏幕/摄像头和外部数据);
  • [RTMP扩展H.265]Windows/Android/iOS推送SDK支持RTMP扩展H.265推送和Enhanced RTMP H.265,Windows针对摄像头采集软编码,使用H.265可变码率,带宽大幅节省,效果直逼传统H.265编码摄像头,Android/iOS平台支持H.265硬编码;
  • [横竖屏推流]Android/iOS平台支持支持横屏、竖屏推流;
  • [多分辨率支持]支持摄像头或屏幕多种分辨率设置;
  • [Windows推屏]Windows平台支持屏幕裁剪、窗口采集、屏幕/摄像头数据合成等多种模式推送;
  • [移动端推屏]Android平台支持后台service推送屏幕(推送屏幕需要5.0+版本);
  • [移动端推屏]iOS平台支持后台推送屏幕(基于ReplayKit,需要iOS 10.0+版本);
  • [事件回调]支持各种状态实时回调;
  • [水印]Windows平台支持文字水印、png水印、实时遮挡,Android平台支持文字水印、png水印;
  • [RTMP推送模式]支持RTMP推送 live|record模式设置(需服务器支持);
  • [镜像]Android/iOS平台支持前置摄像头实时镜像功能;
  • [前后摄像头实时切换]Android/iOS平台支持采集过程中,前后摄像头切换;
  • [复杂网络处理]支持断网重连等各种网络环境自动适配;
  • [动态码率]支持根据网络情况自动调整推流码率;
  • [实时静音]支持推送过程中,实时静音/取消静音;
  • [实时快照]支持推流过程中,实时快照;
  • [纯音频推流]支持仅采集音频流并发起推流功能;
  • [纯视频推流]支持特殊场景下的纯视频推流功能;
  • [降噪]Windows/Android平台支持环境音、手机干扰等引起的噪音降噪处理、自动增益、VAD检测;
  • [回音消除]Android平台支持实时传递远端PCM数据,方便回音消除处理;
  • [外部编码前视频数据对接]支持YUV数据对接;
  • [外部编码前音频数据对接]支持PCM对接;
  • [外部编码后视频数据对接]支持外部H.264数据对接;
  • [外部编码后音频数据对接]外部AAC/PCMA/PCMU/SPEEX数据对接;
  • [推送端休眠设置]Windows平台支持休眠接口(设置成休眠模式后CPU会适当降低);
  • [编码后数据输出]Android平台支持输出编码后的H264/AAC数据到上层,方便对接第三方平台(如GB28181)对接;
  • [扩展录像功能]完美支持和录像SDK组合使用,录像相关功能,可参见”Windows/Android/iOS录像SDK“;
  • [裁剪模式]Android/iOS平台支持特定分辨率摄像头裁剪模式设置;
  • [服务器兼容]支持自建服务器(如Nginx、SRS)或CDN。

几乎覆盖了RTMP推送所能涉及到的所有常规功能点,配合我们的RTMP或RTSP播放器,整体延迟在毫秒级,足以满足同屏叠加的技术诉求。

相关文章
|
2月前
|
XML C# 数据格式
掌握了在Windows平台上查看DLL依赖的方法
掌握了在Windows平台上查看DLL依赖的方法
303 4
|
2月前
|
NoSQL Shell MongoDB
Windows 平台安装 MongoDB
10月更文挑战第10天
63 0
Windows 平台安装 MongoDB
|
3月前
|
监控 C# 块存储
Windows平台RTSP|RTMP播放器如何叠加OSD文字
做Windows平台RTSP|RTMP播放器的时候,特别是多路播放场景下,开发者希望可以给每一路RTSP或RTMP流添加个额外的OSD台标,以区分不同的设备信息(比如添加摄像头所在位置),本文主要探讨,如何动态添加OSD台标。
Windows平台RTSP|RTMP播放器如何叠加OSD文字
|
2月前
|
并行计算 开发工具 异构计算
在Windows平台使用源码编译和安装PyTorch3D指定版本
【10月更文挑战第6天】在 Windows 平台上,编译和安装指定版本的 PyTorch3D 需要先安装 Python、Visual Studio Build Tools 和 CUDA(如有需要),然后通过 Git 获取源码。建议创建虚拟环境以隔离依赖,并使用 `pip` 安装所需库。最后,在源码目录下运行 `python setup.py install` 进行编译和安装。完成后即可在 Python 中导入 PyTorch3D 使用。
273 0
|
27天前
|
网络安全 Windows
Windows server 2012R2系统安装远程桌面服务后无法多用户同时登录是什么原因?
【11月更文挑战第15天】本文介绍了在Windows Server 2012 R2中遇到的多用户无法同时登录远程桌面的问题及其解决方法,包括许可模式限制、组策略配置问题、远程桌面服务配置错误以及网络和防火墙问题四个方面的原因分析及对应的解决方案。
|
1月前
|
监控 安全 网络安全
使用EventLog Analyzer日志分析工具监测 Windows Server 安全威胁
Windows服务器面临多重威胁,包括勒索软件、DoS攻击、内部威胁、恶意软件感染、网络钓鱼、暴力破解、漏洞利用、Web应用攻击及配置错误等。这些威胁严重威胁服务器安全与业务连续性。EventLog Analyzer通过日志管理和威胁分析,有效检测并应对上述威胁,提升服务器安全性,确保服务稳定运行。
|
1月前
|
监控 安全 网络安全
Windows Server管理:配置与管理技巧
Windows Server管理:配置与管理技巧
76 3

热门文章

最新文章