技术背景
我们在用Windows平台RTMP推送、轻量级RTSP服务实现无纸化同屏、智慧教室等场景的时候,有个需求是,需要主讲人(或老师)的摄像头数据,叠加到屏幕上输出出去,这就是今天我们需要讲的视频视频叠加。
技术实现
实际上,大牛直播SDK的视频叠加这块做的非常先进,采用类似于Photoshop图层的概念,比如如需要摄像头实时叠加到屏幕,那么第0层,可以设置屏幕数据,第1层可以设置摄像头数据,以C#为例,设置如下:
/* SmartPublisherDemoDlg.cs * Author: daniusdk.com */ //摄像头overlay到桌面 int left = Int32.Parse(edit_clip_left_.Text); int top = Int32.Parse(edit_clip_top_.Text); int w = Int32.Parse(edit_clip_width_.Text); int h = Int32.Parse(edit_clip_height_.Text); // 有一个是0, 就使用全屏 if ( w == 0 || h == 0 ) { left = 0; top = 0; GetScreenSize(ref w, ref h); } else { // 保证4字节对齐 w = NT_ByteAlign(w, 4); h = NT_ByteAlign(h, 4); } NTSmartPublisherSDK.NT_PB_ClearLayersConfig(publisher_handle_, 0, 0, IntPtr.Zero); //第一层:屏幕 NT_PB_ScreenLayerConfig screen_layer_c0 = new NT_PB_ScreenLayerConfig(); type = (Int32)NTSmartPublisherDefine.NT_PB_E_LAYER_TYPE.NT_PB_E_LAYER_TYPE_SCREEN; fill_layer_base(screen_layer_c0, out screen_layer_c0.base_, type, index, true, left, top, w, h); screen_layer_index_ = screen_layer_c0.base_.index_; screen_layer_c0.clip_region_.x_ = left; screen_layer_c0.clip_region_.y_ = top; screen_layer_c0.clip_region_.width_ = w; screen_layer_c0.clip_region_.height_ = h; screen_layer_c0.reserve_ = IntPtr.Zero; if (add_layer_config(screen_layer_c0, type)) index++; //第二层:摄像头 if (-1 != cur_sel_camera_index_) { int c_l = Int32.Parse(edit_camera_overlay_left_.Text); int c_t = Int32.Parse(edit_camera_overlay_top_.Text); int c_w = Int32.Parse(edit_camera_overlay_width_.Text); int c_h = Int32.Parse(edit_camera_overlay_height_.Text); if (c_w == 0) { c_w = w / 2; } if (c_h == 0) { c_h = h / 2; } ctos_camera_layer_c1_ = new NT_PB_CameraLayerConfigV2(); CameraInfo camera = cameras_[cur_sel_camera_index_]; NT_PB_VideoCaptureCapability cap = camera.capabilities_[cur_sel_camera_resolutions_index_]; ctos_camera_layer_c1_.device_unique_id_utf8_ = camera.id_; type = (Int32)NTSmartPublisherDefine.NT_PB_E_LAYER_TYPE.NT_PB_E_LAYER_TYPE_CAMERA; fill_layer_base(ctos_camera_layer_c1_, out ctos_camera_layer_c1_.base_, type, index, true, c_l, c_t, c_w, c_h); camera_layer_index_ = ctos_camera_layer_c1_.base_.index_; if (btn_check_flip_horizontal_camera_.Checked) { ctos_camera_layer_c1_.is_flip_horizontal_ = 1; } else { ctos_camera_layer_c1_.is_flip_horizontal_ = 0; } if (btn_check_flip_vertical_camera_.Checked) { ctos_camera_layer_c1_.is_flip_vertical_ = 1; } else { ctos_camera_layer_c1_.is_flip_vertical_ = 0; } ctos_camera_layer_c1_.rotate_degress_ = GetCameraRotateDegress(); if (add_layer_config(ctos_camera_layer_c1_, type)) index++; } NTSmartPublisherSDK.NT_PB_SetFrameRate(publisher_handle_, UInt32.Parse(edit_frame_rate_.Text));
界面设置如下,推送RTMP或启动轻量级RTSP服务之前,选择“摄像头叠加到屏幕”选项,然后,如果需要设置位置,可以设置摄像头的位置:
如果需要实时关闭或打开叠加的摄像头:
private void btn_disable_camera_overlay__Click(object sender, EventArgs e) { if (btn_camera_overlay_to_desktop.Checked) { if (publisher_handle_ != IntPtr.Zero) { String str_btn_text = btn_disable_camera_overlay_.Text; String strStopOverlayCmr = "停止叠加摄像头"; if (str_btn_text.Equals(strStopOverlayCmr)) { if (NTBaseCodeDefine.NT_ERC_OK == NTSmartPublisherSDK.NT_PB_EnableLayer(publisher_handle_, 0, camera_layer_index_, 0)) { btn_disable_camera_overlay_.Text = "叠加摄像头"; } } else { if (NTBaseCodeDefine.NT_ERC_OK == NTSmartPublisherSDK.NT_PB_EnableLayer(publisher_handle_, 0, camera_layer_index_, 1)) { btn_disable_camera_overlay_.Text = "停止叠加摄像头"; } } } } }
叠加后输出的效果如下:
技术总结
无论是摄像头叠加屏幕,还是屏幕叠加摄像头,亦或屏幕或摄像头添加动态图片或文字水印,大牛直播SDK都是采用图层设计,很容易扩展,也很容易随时隐藏某个图层,确保整体设计更灵活,满足大多数图像叠加场景的技术诉求。
以RTMP推送模块为例,我们目前功能设计如下:
- [视频采集处理]Windows平台涵盖“Windows视频采集处理SDK”功能;
- [音频采集处理]Windows平台涵盖“Windows音频采集处理SDK”功能;
- [本地预览]Windows平台支持摄像头/屏幕/合成数据实时预览功能,Android/iOS平台支持本地前后置摄像头预览;
- [摄像头反转/旋转]Windows平台支持摄像头水平反转、垂直反转、0°/90°/180°/270°旋转;
- [摄像头采集]除常规YUV格式外,Windows平台还支持MJPEG格式的摄像头采集;
- [麦克风/扬声器采集]Windows平台音频输入端支持麦克风、扬声器,或麦克风和扬声器混音输入;
- [RTMP推流]超低延时的RTMP协议直播推流SDK(Windows/Android/iOS支持RTMP扩展H.265推送);
- [视频格式]Windows/Android平台支持H.264/H.265编码(Android H.265硬编码),iOS平台支持H.264编码;
- [音频格式]Windows/Android/iOS平台支持AAC编码,Windows/Android平台支持Speex编码;
- [音频编码]Windows/Android平台支持Speex推送、Speex编码质量设置;
- [音量调节]Windows/Android平台采集端支持实时音量调节(其中,Windows平台混音模式下支持单独控制麦克风、扬声器音量);
- [H.264硬编码]Windows/Android/iOS平台支持H.264特定机型硬编码;
- [H.265硬编码]Android/iOS平台支持H.265特定机型硬编码;
- [硬编码自适应]Android/iOS平台支持硬编码自适应,如检测到硬编码不支持,自动切换到软编(iOS如H.265硬编,先切换到H.264硬编码,如不支持再尝试H.264软编);
- [软硬编码参数配置]支持gop间隔、帧率、bit-rate设置;
- [软编码参数配置]支持软编码profile、软编码速度、可变码率设置;
- [多实例推送]支持多实例推送(如同时推送屏幕/摄像头和外部数据);
- [RTMP扩展H.265]Windows/Android/iOS推送SDK支持RTMP扩展H.265推送和Enhanced RTMP H.265,Windows针对摄像头采集软编码,使用H.265可变码率,带宽大幅节省,效果直逼传统H.265编码摄像头,Android/iOS平台支持H.265硬编码;
- [横竖屏推流]Android/iOS平台支持支持横屏、竖屏推流;
- [多分辨率支持]支持摄像头或屏幕多种分辨率设置;
- [Windows推屏]Windows平台支持屏幕裁剪、窗口采集、屏幕/摄像头数据合成等多种模式推送;
- [移动端推屏]Android平台支持后台service推送屏幕(推送屏幕需要5.0+版本);
- [移动端推屏]iOS平台支持后台推送屏幕(基于ReplayKit,需要iOS 10.0+版本);
- [事件回调]支持各种状态实时回调;
- [水印]Windows平台支持文字水印、png水印、实时遮挡,Android平台支持文字水印、png水印;
- [RTMP推送模式]支持RTMP推送 live|record模式设置(需服务器支持);
- [镜像]Android/iOS平台支持前置摄像头实时镜像功能;
- [前后摄像头实时切换]Android/iOS平台支持采集过程中,前后摄像头切换;
- [复杂网络处理]支持断网重连等各种网络环境自动适配;
- [动态码率]支持根据网络情况自动调整推流码率;
- [实时静音]支持推送过程中,实时静音/取消静音;
- [实时快照]支持推流过程中,实时快照;
- [纯音频推流]支持仅采集音频流并发起推流功能;
- [纯视频推流]支持特殊场景下的纯视频推流功能;
- [降噪]Windows/Android平台支持环境音、手机干扰等引起的噪音降噪处理、自动增益、VAD检测;
- [回音消除]Android平台支持实时传递远端PCM数据,方便回音消除处理;
- [外部编码前视频数据对接]支持YUV数据对接;
- [外部编码前音频数据对接]支持PCM对接;
- [外部编码后视频数据对接]支持外部H.264数据对接;
- [外部编码后音频数据对接]外部AAC/PCMA/PCMU/SPEEX数据对接;
- [推送端休眠设置]Windows平台支持休眠接口(设置成休眠模式后CPU会适当降低);
- [编码后数据输出]Android平台支持输出编码后的H264/AAC数据到上层,方便对接第三方平台(如GB28181)对接;
- [扩展录像功能]完美支持和录像SDK组合使用,录像相关功能,可参见”Windows/Android/iOS录像SDK“;
- [裁剪模式]Android/iOS平台支持特定分辨率摄像头裁剪模式设置;
- [服务器兼容]支持自建服务器(如Nginx、SRS)或CDN。
几乎覆盖了RTMP推送所能涉及到的所有常规功能点,配合我们的RTMP或RTSP播放器,整体延迟在毫秒级,足以满足同屏叠加的技术诉求。