Windows平台RTMP推送|轻量级RTSP服务如何实现摄像头叠加到屏幕输出

本文涉及的产品
视觉智能开放平台,图像资源包5000点
视觉智能开放平台,分割抠图1万点
视觉智能开放平台,视频资源包5000点
简介: 大牛直播SDK采用先进的图层概念实现视频叠加,如将摄像头画面实时叠加到屏幕输出,以C#为例展示了具体的配置方法。用户可在推送RTMP或启动RTSP服务前选择“摄像头叠加到屏幕”的选项,并调整位置。SDK还支持摄像头的开启与关闭、水平垂直翻转及旋转等功能。此外,该SDK提供了丰富的特性,包括但不限于视频和音频采集处理、硬编码与软编码支持、多实例推送、水印添加、网络适应性调整等,几乎涵盖了RTMP推送的所有常规需求,并能与播放器协同工作达到毫秒级的低延迟,非常适合无纸化同屏、智慧教室等应用场景。

技术背景

我们在用Windows平台RTMP推送、轻量级RTSP服务实现无纸化同屏、智慧教室等场景的时候,有个需求是,需要主讲人(或老师)的摄像头数据,叠加到屏幕上输出出去,这就是今天我们需要讲的视频视频叠加。

技术实现

实际上,大牛直播SDK的视频叠加这块做的非常先进,采用类似于Photoshop图层的概念,比如如需要摄像头实时叠加到屏幕,那么第0层,可以设置屏幕数据,第1层可以设置摄像头数据,以C#为例,设置如下:

/* SmartPublisherDemoDlg.cs
 * Author: daniusdk.com
 */
//摄像头overlay到桌面
int left = Int32.Parse(edit_clip_left_.Text);
int top = Int32.Parse(edit_clip_top_.Text);
int w = Int32.Parse(edit_clip_width_.Text);
int h = Int32.Parse(edit_clip_height_.Text);
// 有一个是0, 就使用全屏
if ( w == 0 || h == 0 )
{
    left = 0;
    top = 0;
    GetScreenSize(ref w, ref h);
}
else
{
    // 保证4字节对齐
    w = NT_ByteAlign(w, 4);
    h = NT_ByteAlign(h, 4);
}
NTSmartPublisherSDK.NT_PB_ClearLayersConfig(publisher_handle_, 0, 0, IntPtr.Zero);
//第一层:屏幕
NT_PB_ScreenLayerConfig screen_layer_c0 = new NT_PB_ScreenLayerConfig();
type = (Int32)NTSmartPublisherDefine.NT_PB_E_LAYER_TYPE.NT_PB_E_LAYER_TYPE_SCREEN;
fill_layer_base(screen_layer_c0, out screen_layer_c0.base_, type, index, true, left, top, w, h);
screen_layer_index_ = screen_layer_c0.base_.index_;
screen_layer_c0.clip_region_.x_ = left;
screen_layer_c0.clip_region_.y_ = top;
screen_layer_c0.clip_region_.width_ = w;
screen_layer_c0.clip_region_.height_ = h;
screen_layer_c0.reserve_ = IntPtr.Zero;
if (add_layer_config(screen_layer_c0, type))
    index++;
//第二层:摄像头
if (-1 != cur_sel_camera_index_)
{
    int c_l = Int32.Parse(edit_camera_overlay_left_.Text);
    int c_t = Int32.Parse(edit_camera_overlay_top_.Text);
    int c_w = Int32.Parse(edit_camera_overlay_width_.Text);
    int c_h = Int32.Parse(edit_camera_overlay_height_.Text);
    if (c_w == 0)
    {
        c_w = w / 2;
    }
    if (c_h == 0)
    {
        c_h = h / 2;
    }
    ctos_camera_layer_c1_ = new NT_PB_CameraLayerConfigV2();
    CameraInfo camera = cameras_[cur_sel_camera_index_];
    NT_PB_VideoCaptureCapability cap = camera.capabilities_[cur_sel_camera_resolutions_index_];
    ctos_camera_layer_c1_.device_unique_id_utf8_ = camera.id_;
    type = (Int32)NTSmartPublisherDefine.NT_PB_E_LAYER_TYPE.NT_PB_E_LAYER_TYPE_CAMERA;
    fill_layer_base(ctos_camera_layer_c1_, out ctos_camera_layer_c1_.base_, type, index, true, c_l, c_t, c_w, c_h);
    camera_layer_index_ = ctos_camera_layer_c1_.base_.index_;
    if (btn_check_flip_horizontal_camera_.Checked)
    {
        ctos_camera_layer_c1_.is_flip_horizontal_ = 1;
    }
    else
    {
        ctos_camera_layer_c1_.is_flip_horizontal_ = 0;
    }
    if (btn_check_flip_vertical_camera_.Checked)
    {
        ctos_camera_layer_c1_.is_flip_vertical_ = 1;
    }
    else
    {
        ctos_camera_layer_c1_.is_flip_vertical_ = 0;
    }
    ctos_camera_layer_c1_.rotate_degress_ = GetCameraRotateDegress();
    if (add_layer_config(ctos_camera_layer_c1_, type))
        index++;
}
NTSmartPublisherSDK.NT_PB_SetFrameRate(publisher_handle_, UInt32.Parse(edit_frame_rate_.Text));

image.gif

界面设置如下,推送RTMP或启动轻量级RTSP服务之前,选择“摄像头叠加到屏幕”选项,然后,如果需要设置位置,可以设置摄像头的位置:

image.gif

如果需要实时关闭或打开叠加的摄像头:

private void btn_disable_camera_overlay__Click(object sender, EventArgs e)
{
    if (btn_camera_overlay_to_desktop.Checked)
    {
        if (publisher_handle_ != IntPtr.Zero)
        {
            String str_btn_text = btn_disable_camera_overlay_.Text;
            String strStopOverlayCmr = "停止叠加摄像头";
            if (str_btn_text.Equals(strStopOverlayCmr))
            {
                if (NTBaseCodeDefine.NT_ERC_OK == NTSmartPublisherSDK.NT_PB_EnableLayer(publisher_handle_, 0,
                    camera_layer_index_, 0))
                {
                    btn_disable_camera_overlay_.Text = "叠加摄像头";
                }
            }
            else
            {
                if (NTBaseCodeDefine.NT_ERC_OK == NTSmartPublisherSDK.NT_PB_EnableLayer(publisher_handle_, 0,
                    camera_layer_index_, 1))
                {
                    btn_disable_camera_overlay_.Text = "停止叠加摄像头";
                }
            }
        }
    }
}

image.gif

叠加后输出的效果如下:

image.gif

技术总结

无论是摄像头叠加屏幕,还是屏幕叠加摄像头,亦或屏幕或摄像头添加动态图片或文字水印,大牛直播SDK都是采用图层设计,很容易扩展,也很容易随时隐藏某个图层,确保整体设计更灵活,满足大多数图像叠加场景的技术诉求。

以RTMP推送模块为例,我们目前功能设计如下:

  • [视频采集处理]Windows平台涵盖“Windows视频采集处理SDK”功能;
  • [音频采集处理]Windows平台涵盖“Windows音频采集处理SDK”功能;
  • [本地预览]Windows平台支持摄像头/屏幕/合成数据实时预览功能,Android/iOS平台支持本地前后置摄像头预览;
  • [摄像头反转/旋转]Windows平台支持摄像头水平反转、垂直反转、0°/90°/180°/270°旋转;
  • [摄像头采集]除常规YUV格式外,Windows平台还支持MJPEG格式的摄像头采集;
  • [麦克风/扬声器采集]Windows平台音频输入端支持麦克风、扬声器,或麦克风和扬声器混音输入;
  • [RTMP推流]超低延时的RTMP协议直播推流SDK(Windows/Android/iOS支持RTMP扩展H.265推送);
  • [视频格式]Windows/Android平台支持H.264/H.265编码(Android H.265硬编码),iOS平台支持H.264编码;
  • [音频格式]Windows/Android/iOS平台支持AAC编码,Windows/Android平台支持Speex编码;
  • [音频编码]Windows/Android平台支持Speex推送、Speex编码质量设置;
  • [音量调节]Windows/Android平台采集端支持实时音量调节(其中,Windows平台混音模式下支持单独控制麦克风、扬声器音量);
  • [H.264硬编码]Windows/Android/iOS平台支持H.264特定机型硬编码;
  • [H.265硬编码]Android/iOS平台支持H.265特定机型硬编码;
  • [硬编码自适应]Android/iOS平台支持硬编码自适应,如检测到硬编码不支持,自动切换到软编(iOS如H.265硬编,先切换到H.264硬编码,如不支持再尝试H.264软编);
  • [软硬编码参数配置]支持gop间隔、帧率、bit-rate设置;
  • [软编码参数配置]支持软编码profile、软编码速度、可变码率设置;
  • [多实例推送]支持多实例推送(如同时推送屏幕/摄像头和外部数据);
  • [RTMP扩展H.265]Windows/Android/iOS推送SDK支持RTMP扩展H.265推送和Enhanced RTMP H.265,Windows针对摄像头采集软编码,使用H.265可变码率,带宽大幅节省,效果直逼传统H.265编码摄像头,Android/iOS平台支持H.265硬编码;
  • [横竖屏推流]Android/iOS平台支持支持横屏、竖屏推流;
  • [多分辨率支持]支持摄像头或屏幕多种分辨率设置;
  • [Windows推屏]Windows平台支持屏幕裁剪、窗口采集、屏幕/摄像头数据合成等多种模式推送;
  • [移动端推屏]Android平台支持后台service推送屏幕(推送屏幕需要5.0+版本);
  • [移动端推屏]iOS平台支持后台推送屏幕(基于ReplayKit,需要iOS 10.0+版本);
  • [事件回调]支持各种状态实时回调;
  • [水印]Windows平台支持文字水印、png水印、实时遮挡,Android平台支持文字水印、png水印;
  • [RTMP推送模式]支持RTMP推送 live|record模式设置(需服务器支持);
  • [镜像]Android/iOS平台支持前置摄像头实时镜像功能;
  • [前后摄像头实时切换]Android/iOS平台支持采集过程中,前后摄像头切换;
  • [复杂网络处理]支持断网重连等各种网络环境自动适配;
  • [动态码率]支持根据网络情况自动调整推流码率;
  • [实时静音]支持推送过程中,实时静音/取消静音;
  • [实时快照]支持推流过程中,实时快照;
  • [纯音频推流]支持仅采集音频流并发起推流功能;
  • [纯视频推流]支持特殊场景下的纯视频推流功能;
  • [降噪]Windows/Android平台支持环境音、手机干扰等引起的噪音降噪处理、自动增益、VAD检测;
  • [回音消除]Android平台支持实时传递远端PCM数据,方便回音消除处理;
  • [外部编码前视频数据对接]支持YUV数据对接;
  • [外部编码前音频数据对接]支持PCM对接;
  • [外部编码后视频数据对接]支持外部H.264数据对接;
  • [外部编码后音频数据对接]外部AAC/PCMA/PCMU/SPEEX数据对接;
  • [推送端休眠设置]Windows平台支持休眠接口(设置成休眠模式后CPU会适当降低);
  • [编码后数据输出]Android平台支持输出编码后的H264/AAC数据到上层,方便对接第三方平台(如GB28181)对接;
  • [扩展录像功能]完美支持和录像SDK组合使用,录像相关功能,可参见”Windows/Android/iOS录像SDK“;
  • [裁剪模式]Android/iOS平台支持特定分辨率摄像头裁剪模式设置;
  • [服务器兼容]支持自建服务器(如Nginx、SRS)或CDN。

几乎覆盖了RTMP推送所能涉及到的所有常规功能点,配合我们的RTMP或RTSP播放器,整体延迟在毫秒级,足以满足同屏叠加的技术诉求。

相关文章
|
13天前
|
边缘计算 安全 网络安全
|
13天前
|
开发框架 .NET API
Windows Forms应用程序中集成一个ASP.NET API服务
Windows Forms应用程序中集成一个ASP.NET API服务
61 9
|
13天前
|
弹性计算 关系型数据库 网络安全
阿里云国际版无法连接和访问Windows服务器中的FTP服务
阿里云国际版无法连接和访问Windows服务器中的FTP服务
|
6天前
|
数据安全/隐私保护 Windows
安装 Windows Server 2019
安装 Windows Server 2019
|
9天前
|
网络协议 Windows
Windows Server 2019 DHCP服务器搭建
Windows Server 2019 DHCP服务器搭建
|
9天前
|
网络协议 定位技术 Windows
Windows Server 2019 DNS服务器搭建
Windows Server 2019 DNS服务器搭建
|
6天前
|
安全 网络协议 数据安全/隐私保护
Windows Server 2019 搭建并加入域
Windows Server 2019 搭建并加入域
|
9天前
|
网络协议 文件存储 Windows
Windows Server 2019 FTP服务器搭建
Windows Server 2019 FTP服务器搭建
|
9天前
|
网络协议 Windows
Windows Server 2019 Web服务器搭建
Windows Server 2019 Web服务器搭建