AI 助理
备案控制台
开发者社区 视觉智能 文章 正文

RTSP协议探究和RTSP播放器技术实现

2024-08-30 151
版权
版权声明：
本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《 阿里云开发者社区用户服务协议》和 《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写 侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。
本文涉及的产品
视觉智能开放平台，分割抠图1万点
视觉智能开放平台，图像资源包5000点
视觉智能开放平台，视频资源包5000点
简介： RTSP播放器可广泛应用于对延迟要求比较高的场景下，比如协同操控相关的智能机器人或无人机、实时视频监控、远程视频会议、网络电视等。通过控制信令实现对流媒体数据的远程控制和传输管理。

RTSP协议探究

RTSP播放器可广泛应用于对延迟要求比较高的场景下，比如协同操控相关的智能机器人或无人机、实时视频监控、远程视频会议、网络电视等。通过控制信令实现对流媒体数据的远程控制和传输管理。

一、协议基础

  • 定义与目的：RTSP建立并控制一个或多个时间同步流，尽管交错（interleaving）媒体流和控制流是可行的，但RTSP通常不直接参与数据传送，而是作为“网络远程控制”功能存在。
  • 标准规范：遵循IETF RFC 2326等规范，其语法和操作参考了HTTP/1.1。
  • 字符集与编码：采用ISO 10646字符集，使用UTF-8编码。

二、协议特性

  • 有状态协议：与HTTP的无状态特性不同，RTSP是一个有状态的协议，服务器需要维护关于客户端会话的状态信息。
  • 可扩展性：RTSP支持新方法和参数的添加，具有良好的可扩展性。
  • 多服务器兼容：呈现中的各个媒体流可以分布在不同服务器上，客户端会自动与不同服务器建立多个并行的控制会话。
  • 安全性：RTSP重用了Web安全机制，如HTTP的授权机制（basic、digest等）均可直接使用。

三、协议功能

  • 播放控制：客户端可以通过RTSP命令控制媒体流的播放，如播放、暂停、停止、快进和快退等。
  • 媒体描述：RTSP支持通过DESCRIBE方法从服务器获取媒体流的描述信息，通常使用SDP（Session Description Protocol）格式。
  • 会话管理：RTSP支持通过SETUP方法建立会话并准备传输，以及通过TEARDOWN方法结束会话并释放资源。

四、传输机制

  • 传输层协议：RTSP通常基于TCP协议进行交互，默认端口为554。同时，RTSP也可以基于HTTP进行隧道传输（RTSP-over-HTTP tunneling），此时默认端口为8080。
  • 数据流传输：实际的流媒体数据（如音频、视频流）通常通过RTP/RTCP协议进行传输。RTP负责数据传输，RTCP负责传输控制信息。

五、RTSP请求与响应

  • 请求方法：RTSP定义了多种请求方法，包括OPTIONS、DESCRIBE、SETUP、PLAY、PAUSE、TEARDOWN等。这些方法用于实现不同的功能，如查询服务器支持的方法、获取媒体描述、建立会话、控制媒体播放等。
  • 响应状态码：RTSP的响应状态码与HTTP类似，用于表示请求的成功或失败。

六、应用场景

  • 实时流媒体传输：RTSP广泛应用于实时流媒体传输场景，如视频会议、网络摄像头直播、视频点播系统等。
  • 远程控制：RTSP允许客户端远程控制媒体服务器上的流媒体播放，提供了灵活的媒体控制功能。

如何实现RTSP播放器

本文以大牛直播SDK的Windows平台RTSP直播播放器为例，大概介绍下，如何集成RTSP直播播放能力。

image.gif

  • 大牛直播SDK提供C++/C#两套接口，对外提供32/64位debug/release库，C++和C#接口一一对应，C#接口比C++接口增加前缀NT_PB_；
  • WIN-PlayerSDK-CPP-Demo：播放端SDK对应的C++接口的demo；
  • WIN-PlayerSDK-CSharp-Demo：播放端SDK对应的C#接口的demo；
  • 播放端SDK支持Win7及以上系统；
  • demo基于VS2013开发。

集成说明

C++头文件：

  • [类型定义]nt_type_define.h
  • [Log定义]smart_log.h
  • [Log定义]smart_log_define.h
  • [base code定义]nt_base_code_define.h
  • [player接口]smart_player_define.h
  • [player参数定义]smart_player_sdk.h

C#头文件：

  • [base code定义]nt_base_code_define.cs
  • [player接口]smart_player_define.cs
  • [player参数定义]smart_player_sdk.cs

相关Lib：

  • SmartLog.dll
  • SmartLog.lib
  • SmartPlayerSDK.dll
  • SmartPlayerSDK.lib
  • avcodec-56.dll
  • avdevice-56.dll
  • avfilter-5.dll
  • avformat-56.dll
  • avutil-54.dll
  • postproc-53.dll
  • swresample-1.dll
  • swscale-3.dll

集成步骤：

1. 把lib目录下debug/release库拷贝到需要集成的工程对应的debug或release目录下（确保32位/64位库debug/release目录一一对应）；

lib目录如下：

  • 32位debug库：debug
  • 32位release库：release
  • 64位debug库：x64\debug
  • 64位release库：x64\release

2. 相关cs头文件，加入需要集成的工程；

3. 在需要集成的工程，右键->Properties->

Application->Assembly name，大牛直播SDK按照APP名称授权，未授权版本，此处请改成“SmartPlayer”，如需授权，可直接联系商务；

image.gif

4. 正式授权版，需要在Init()接口调用之前添加设置license的代码（相关Key和CID请根据正式授权版邮件说明填写）：

接口调用时序(以C#为例)

设置授权license

C#的SDK，请在在NT.NTSmartPlayerSDK.NT_SP_Init之前添加下面的代码：

NT.NTSmartPlayerSDK.NT_SP_SetSDKClientKey("xxxxxxxxxx", "xxxxxxxxxx", 0, IntPtr.Zero);
UInt32 isInited = NT.NTSmartPlayerSDK.NT_SP_Init(0, IntPtr.Zero);
if (isInited != 0)
{
    MessageBox.Show("调用NT_SP_Init失败..");
    return;
}

image.gif

C++的SDK，请在player_api_.Init之前添加下面的代码：

NT_SP_SetSDKClientKey(NT_SP_SetSDKClientKey("xxxxxxxxxx", "xxxxxxxxxx", 0, nullptr);
if ( NT_ERC_OK != player_api_.Init(0, NULL) )
{
    return FALSE;
}

image.gif

设置日志存放路径

需要在player_api_.Init之前添加下面的代码：

// 设置日志路径(请确保目录存在)
String log_path = "D:\\playerlog";
NTSmartLog.NT_SL_SetPath(log_path);

image.gif

如目录存在，并具备文件写入权限，关闭应用程序后，相关文件夹下会有smart_sdk.log生成。

初始化SDK

NT_SP_Init：SDK初始化，多实例播放，此接口仅需调用一次即可。

特定机型硬解码检测

如系统用于特定机型环境下，特别是多路播放场景，需用到硬解码的话，可以用以下两组接口检测系统是否支持硬解。

注：在软解性能满足系统需求的前提下，一般建议优先使用软解。

/*
 * 检查是否支持H264硬解码
 * 如果支持的话返回NT_ERC_OK
 */
[DllImport(@"SmartPlayerSDK.dll")]
public static extern UInt32 NT_SP_IsSupportH264HardwareDecoder();
/*
  * 检查是否支持H265硬解码
  * 如果支持的话返回NT_ERC_OK
  */
[DllImport(@"SmartPlayerSDK.dll")]
public static extern UInt32 NT_SP_IsSupportH265HardwareDecoder();

image.gif

如需使用硬解码，调用如下接口即可：

NTSmartPlayerSDK.NT_SP_SetH264HardwareDecoder(player_handle_, is_support_h264_hardware_decoder_ ? 1 : 0, 0);
NTSmartPlayerSDK.NT_SP_SetH265HardwareDecoder(player_handle_, is_support_h265_hardware_decoder_ ? 1 : 0, 0);

image.gif

Open生成播放实例

NT_SP_Open：每调用一次Open接口，对应一个播放实例，如需播放多实例，对应多个player handler。

if (player_handle_ == IntPtr.Zero)
{
    player_handle_ = new IntPtr();
    UInt32 ret_open = NTSmartPlayerSDK.NT_SP_Open(out player_handle_, IntPtr.Zero, 0, IntPtr.Zero);
    if (ret_open != 0)
    {
        player_handle_ = IntPtr.Zero;
        MessageBox.Show("调用NT_SP_Open失败..");
        return;
    }
}

image.gif

设置回调事件

  1. NT_SP_SetEventCallBack：用于回调网络链接状态、buffer状态(开始、buffer比例、结束)、实时带宽等，对应EventID如下：
/*事件ID*/
public enum NT_SP_E_EVENT_ID : uint
{
        NT_SP_E_EVENT_ID_BASE = NTBaseCodeDefine.NT_EVENT_ID_SMART_PLAYER_SDK,
        NT_SP_E_EVENT_ID_CONNECTING          = NT_SP_E_EVENT_ID_BASE | 0x2, /*连接中*/
        NT_SP_E_EVENT_ID_CONNECTION_FAILED = NT_SP_E_EVENT_ID_BASE | 0x3, /*连接失败*/
        NT_SP_E_EVENT_ID_CONNECTED       = NT_SP_E_EVENT_ID_BASE | 0x4, /*已连接*/
        NT_SP_E_EVENT_ID_DISCONNECTED     = NT_SP_E_EVENT_ID_BASE | 0x5, /*断开连接*/
        NT_SP_E_EVENT_ID_NO_MEDIADATA_RECEIVED = NT_SP_E_EVENT_ID_BASE | 0x8,  /*收不到RTMP数据*/
        NT_SP_E_EVENT_ID_RTSP_STATUS_CODE   = NT_SP_E_EVENT_ID_BASE | 0xB,  /*rtsp status code上报, 目前只上报401, param1表示status code*/
        /* 接下来请从0x81开始*/
        NT_SP_E_EVENT_ID_START_BUFFERING = NT_SP_E_EVENT_ID_BASE | 0x81, /*开始缓冲*/
        NT_SP_E_EVENT_ID_BUFFERING     = NT_SP_E_EVENT_ID_BASE | 0x82, /*缓冲中, param1 表示百分比进度*/
        NT_SP_E_EVENT_ID_STOP_BUFFERING  = NT_SP_E_EVENT_ID_BASE | 0x83, /*停止缓冲*/
        NT_SP_E_EVENT_ID_DOWNLOAD_SPEED  = NT_SP_E_EVENT_ID_BASE | 0x91, /*下载速度， param1表示下载速度，单位是(Byte/s)*/
        NT_SP_E_EVENT_ID_PLAYBACK_REACH_EOS = NT_SP_E_EVENT_ID_BASE | 0xa1,     /*播放结束, 直播流没有这个事件，点播流才有*/
        NT_SP_E_EVENT_ID_RECORDER_REACH_EOS = NT_SP_E_EVENT_ID_BASE | 0xa2,     /*录像结束, 直播流没有这个事件, 点播流才有*/
        NT_SP_E_EVENT_ID_PULLSTREAM_REACH_EOS = NT_SP_E_EVENT_ID_BASE | 0xa3,   /*拉流结束, 直播流没有这个事件，点播流才有*/
        NT_SP_E_EVENT_ID_DURATION = NT_SP_E_EVENT_ID_BASE | 0xa8, /*视频时长，如果是直播，则不上报，如果是点播的话, 若能从视频源获取视频时长的话，则上报， param1表示视频时长，单位是毫秒(ms)*/
}

image.gif

  1. NT_SP_SetVideoSizeCallBack：设置视频分辨率回调，如流数据携带视频数据，SDK会回上来视频宽高信息：
//video resolution callback
video_size_call_back_ = new SP_SDKVideoSizeCallBack(SP_SDKVideoSizeHandle);
NTSmartPlayerSDK.NT_SP_SetVideoSizeCallBack(player_handle_, IntPtr.Zero, video_size_call_back_);

image.gif

注意：视频宽高回上来或绘制窗口发生变化时，记得调用NT_SP_OnWindowSize()更新，如不调用可能会引起视频模糊。

private void PlaybackWindowResized(Int32 width,Int32 height)
{
    width_=width;
    height_=height;
    int left=playWnd.Left;
    int top=playWnd.Top;
    textBox_resolution.Text=width+"*"+height;
    if(player_handle_==IntPtr.Zero)
    {
       return;
    }
    NTSmartPlayerSDK.NT_SP_OnWindowSize(player_handle_,playWnd.Width,playWnd.Height);
}

image.gif

  1. NT_SP_SetVideoFrameCallBack：设置YUV/RGB32数据回调，可用于对接第三方视频分析，或自行绘制等，如系统不支持D3D绘制，可设置回调数据，上层GDI模式绘制：
/*定义视频帧图像格式*/
public enum NT_SP_E_VIDEO_FRAME_FORMAT : uint
{
      NT_SP_E_VIDEO_FRAME_FORMAT_RGB32 = 1, // 32位的rgb格式, r, g, b各占8, 另外一个字节保留, 内存字节格式为: bb gg rr xx, 主要是和windows位图匹配, 在小端模式下，按DWORD类型操作，最高位是xx, 依次是rr, gg, bb
      NT_SP_E_VIDEO_FRAME_FORMAT_ARGB = 2, // 32位的argb格式，内存字节格式是: bb gg rr aa 这种类型，和windows位图匹配
      NT_SP_E_VIDEO_FRAME_FROMAT_I420 = 3, // YUV420格式, 三个分量保存在三个面上
}

image.gif

  1. NT_SP_SetVideoFrameCallBackV2：设置YUV/RGB32数据回调，与NT_SP_SetVideoFrameCallBack接口的不同在于，吐出来的视频数据, 可以指定宽高；
  2. NT_SP_SetRenderVideoFrameTimestampCallBack：设置绘制视频帧时，视频帧时间戳回调，一般播放器无时间戳回调需求的话，无需设置：
//video timestamp callback
video_frame_ts_callback_ = new SP_SDKRenderVideoFrameTimestampCallBack(SP_SDKRenderVideoFrameTimestampCallBack);
NTSmartPlayerSDK.NT_SP_SetRenderVideoFrameTimestampCallBack(player_handle_, IntPtr.Zero, video_frame_ts_callback_);

image.gif

  1. NT_SP_SetAudioPCMFrameCallBack：设置音频PCM帧回调, 吐PCM数据出来，目前每帧大小是10ms，一般播放器无使用需求的话，无需设置；
  1. NT_SP_SetUserDataCallBack：设置用户数据回调，此接口需要和推送端SDK配套使用，用于返回推送端设定的实时用户数据（如时间戳、经纬度等各种扩展指令或信息），如只是单纯使用播放SDK，无需设置；
  1. NT_SP_SetSEIDataCallBack：设置视频SEI数据回调，如只是单纯使用播放SDK，不需要额外处理扩展SEI数据的话，无需设置。

D3DRender检测

目前，几乎很少存在不支持D3D绘制的情况，考虑到系统通用性，我们在播放之前，先做检测，具体调用接口如下：

/*
 * handle: 播放句柄
 * hwnd: 这个要传入真正用来绘制的窗口句柄
 * is_support: 如果支持的话 *is_support 为1， 不支持的话为0
 * 接口调用成功返回NT_ERC_OK
 */
[DllImport(@"SmartPlayerSDK.dll")]
public static extern UInt32 NT_SP_IsSupportD3DRender(IntPtr handle, IntPtr hwnd, ref Int32 is_support);

image.gif

对于不支持D3D绘制的情况下，设置回调YUV数据，上层直接用GDI模式绘制，注意：GDI绘制效率偏低。

Int32 in_support_d3d_render = 0;
if (NT.NTBaseCodeDefine.NT_ERC_OK == NTSmartPlayerSDK.NT_SP_IsSupportD3DRender(player_handle_, playWnd.Handle, ref in_support_d3d_render))
{
    if (1 == in_support_d3d_render)
    {
        is_support_d3d_render = true;
    }
}
if (is_support_d3d_render)
{
    is_gdi_render_ = false;
    // 支持d3d绘制的话，就用D3D绘制
    NTSmartPlayerSDK.NT_SP_SetRenderWindow(player_handle_, playWnd.Handle);
    if (btn_check_render_scale_mode.Checked)
    {
        NTSmartPlayerSDK.NT_SP_SetRenderScaleMode(player_handle_, 1);
    }
    else
    {
        NTSmartPlayerSDK.NT_SP_SetRenderScaleMode(player_handle_, 0);
    }
}
else
{
    is_gdi_render_ = true;
    playWnd.Visible = false;
    // 不支持D3D就让播放器吐出数据来，用GDI绘制
    //video frame callback (YUV/RGB)
    //format请参见 NT_SP_E_VIDEO_FRAME_FORMAT，如需回调YUV，请设置为 NT_SP_E_VIDEO_FRAME_FROMAT_I420
    video_frame_call_back_ = new SP_SDKVideoFrameCallBack(SetVideoFrameCallBack);
NTSmartPlayerSDK.NT_SP_SetVideoFrameCallBack(player_handle_, (Int32)NT.NTSmartPlayerDefine.NT_SP_E_VIDEO_FRAME_FORMAT.NT_SP_E_VIDEO_FRAME_FORMAT_RGB32, IntPtr.Zero, video_frame_call_back_);
}

image.gif

设置播放URL

NT_SP_SetURL：支持rtsp/rtmp/本地FLV文件(全路径)。

设置回调PCM

NT_SP_SetIsOutputAudioDevice：设置是否播放出声音，这个和静音接口是有区别的，这个接口的主要目的是为了用户设置了外部PCM回调接口后，又不想让SDK播放出声音时使用。

RTMP/RTSP播放参数设置

具体可参照Demo源码里面InitCommonSDKParam()：

播放前可选设置接口

  1. NT_SP_SetBuffer：设置视频播放缓冲buffer大小，单位：毫秒；
  2. NT_SP_SetRTSPTcpMode：设置RTSP TCP 模式, 1为TCP, 0为UDP, 此接口仅RTSP有效；
  3. NT_SP_SetRtspTimeout：设置RTSP超时时间, timeout单位为秒，必须大于0；
  4. NT_SP_SetRtspAutoSwitchTcpUdp：对于RTSP来说，有些可能支持rtp over udp方式，有些可能支持使用rtp over tcp方式. 为了方便使用，有些场景下可以开启自动尝试切换开关, 打开后如果udp无法播放，sdk会自动尝试tcp, 如果tcp方式播放不了,sdk会自动尝试udp， is_auto_switch_tcp_udp： 如果设置1的话, sdk将在tcp和udp之间尝试切换播放，如果设置为0，则不尝试切换；
  5. NT_SP_SetFastStartup：设置秒开, 1为秒开, 0为不秒开，此接口用于如RTMP服务器缓存GOP时，酌情使用；
  6. NT_SP_SetLowLatencyMode：设置低延时播放模式，默认是正常播放模式，mode: 1为低延时模式， 0为正常模式，低延迟模式下，可能会导致音视频不同步，或视频帧不均匀；
  7. NT_SP_SetReportDownloadSpeed：设置下载速度上报, 默认不上报下载速度；

* is_report: 上报开关, 1: 表上报. 0: 表示不上报. 其他值无效.

* report_interval： 上报时间间隔（上报频率），单位是秒，最小值是1秒1次. 如果小于1且设置了上报，将调用失败

* 注意：如果设置上报的话，请设置SetEventCallBack, 然后在回调函数里面处理这个事件.

* 上报事件是：NT_SP_E_EVENT_ID_DOWNLOAD_SPEED

  1. NT_SP_GetDownloadSpeed：主动获取下载速度，speed： 返回下载速度，单位是Byte/s；
  2. NT_SP_SetParam：万能接口, 设置参数， 大多数问题， 这些接口都能解决；
  3. NT_SP_GetParam：万能接口, 得到参数， 大多数问题，这些接口都能解决；

播放前后可实时调用的接口

  1. NT_SP_SetMute：播放过程中，实时静音、取消静音，可播放之前调用，亦或播放过程中实时调用；
  2. NT_SP_SetAudioVolume：不同于实时静音接口，此接口可以更细粒度的控制音量，默认范围[0,100]，其中0是静音，100是最大音量, 默认是100；
  3. NT_SP_SetOnlyDecodeVideoKeyFrame：多窗口播放场景下，部分窗口可能只需要播放关键帧，如有类似场景需求，可用此接口；
  4. NT_SP_SetRotation：设置视频View旋转，顺时针旋转，degress： 设置0， 90， 180， 270度有效，其他值无效，注意：除了0度，其他角度播放会耗费更多CPU；
  5. NT_SP_SetFlipVertical：设置视频View上下反转(垂直反转)；
  6. NT_SP_SetFlipHorizontal：设置视频View水平反转；
  7. NT_SP_SetRenderScaleMode:设置视频画面的填充模式，如填充整个绘制窗口、等比例填充绘制窗口，如不设置，默认填充整个绘制窗口；

开始播放

NT_SP_StartPlay

开始播放RTMP或RTSP流数据。

RTMP/RTSP拉流端录像

  1. NT_SP_SetRecorderDirectory：设置录像目录
  2. NT_SP_SetRecorderFileMaxSize：设置单个文件最大大小
  3. NT_SP_SetRecorderFileNameRuler：设置录像文件名生成规则
  4. NT_SP_SetRecorderCallBack：设置录像回调接口
  5. NT_SP_SetRecorderAudioTranscodeAAC：设置录像时音频转AAC编码的开关, aac比较通用，sdk增加其他音频编码(比如speex, pcmu, pcma等)转aac的功能
  6. NT_SP_SetRecorderVideo：设置是否录视频，默认的话，如果视频源有视频就录，没有就没得录, 但有些场景下可能不想录制视频，只想录音频，所以增加个开关
  7. NT_SP_SetRecorderAudio：设置是否录音频，默认的话，如果视频源有音频就录，没有就没得录, 但有些场景下可能不想录制音频，只想录视频，所以增加个开关
  8. NT_SP_StartRecorder：启动录像
  9. NT_SP_StopRecorder：停止录像

实时快照

NT_SP_CaptureImage

用于播放端实时截取当前播放图片，图片以PNG形式保存至本地。

String name = capture_image_path_ + "\\" +  DateTime.Now.ToString("hh-mm-ss") + ".png";
byte[] buffer1 = Encoding.Default.GetBytes(name);
byte[] buffer2 = Encoding.Convert(Encoding.Default, Encoding.UTF8, buffer1, 0, buffer1.Length);
byte[] buffer3 = new byte[buffer2.Length + 1];
buffer3[buffer2.Length] = 0;
Array.Copy(buffer2, buffer3, buffer2.Length);
IntPtr file_name_ptr = Marshal.AllocHGlobal(buffer3.Length);
Marshal.Copy(buffer3, 0, file_name_ptr, buffer3.Length);
capture_image_call_back_ = new SP_SDKCaptureImageCallBack(SDKCaptureImageCallBack);
UInt32 ret = NTSmartPlayerSDK.NT_SP_CaptureImage(player_handle_, file_name_ptr, IntPtr.Zero, capture_image_call_back_);
Marshal.FreeHGlobal(file_name_ptr);
if (NT.NTBaseCodeDefine.NT_ERC_OK == ret)
{
    // 发送截图请求成功
}
else if ((UInt32)NT.NTSmartPlayerDefine.SP_E_ERROR_CODE.NT_ERC_SP_TOO_MANY_CAPTURE_IMAGE_REQUESTS == ret)
{
    // 通知用户延时
    MessageBox.Show("Too many capture image requests!");
}
else
{
    // 其他失败
}

image.gif

快速切换URL

NT_SP_SwitchURL

快速切换URL，用于不用析构整个player实例的前提下，实时切换播放的URL。

用户数据回调

NT_SP_SetUserDataCallBack

设置用户数据回调，用于接收扩展SEI模块发送的用户数据信息，如不是配合我们扩展SEI发送DK，此接口无需调用。

SEI数据回调

NT_SP_SetSEIDataCallBack

设置视频sei数据回调，用于接收SEI数据回调，如流数据不存在SEI或不准备处理SEI数据，此接口无需调用。

停止播放

NT_SP_StopPlay

停止播放RTMP或RTSP流数据。

关闭播放实例

NT_SP_Close

调用Close接口后，player handler置空。

if ( player_handle_ != IntPtr.Zero)
{
     NTSmartPlayerSDK.NT_SP_Close(player_handle_);
     player_handle_ = IntPtr.Zero;
}

image.gif

Uninit

NT_SP_UnInit

UnInit() 是SDK最后一个调用的接口，多实例环境下，只需要调用一次即可。

文章标签：
开发工具
C#
网络协议
C++
内存技术
音视频牛哥
目录
相关文章
john散漫
|
1月前
|
编解码 监控 网络协议
HLS 和 RTSP 的优势
【10月更文挑战第25天】HLS和RTSP各自的优势使其在不同的应用场景中发挥着重要作用。HLS适用于需要广泛兼容性、自适应码率和简单部署的场景，如在线视频点播、直播等；而RTSP则更适合对实时性、精确播放控制和互操作性要求较高的专业级实时流媒体应用。了解它们的优势有助于根据具体的项目需求选择最合适的流媒体传输协议。
john散漫
52 6
音视频牛哥
|
4月前
|
编解码 网络协议 开发工具
Android平台如何实现多路低延迟RTSP|RTMP播放？
本文档详细介绍了大牛直播SDK在Android平台上实现RTSP与RTMP流媒体播放及录像功能的技术细节。早在2015年，SDK的第一版就已经支持了多实例播放，并且通过简单的实例封装就能轻松实现。文档中提供了代码示例，展示了如何开启播放、停止播放以及开始和停止录像等功能。此外，SDK还提供了丰富的配置选项，例如设置录像目录、文件大小限制、转码选项等。总结部分列出了该SDK的关键特性，包括但不限于高稳定性和低延迟的播放能力、多实例支持、事件回调、硬解码支持、网络状态监控以及复杂的网络环境处理等。这些功能使得SDK能够应对各种应用场景，特别是在对延迟和稳定性有极高要求的情况下表现优异。
音视频牛哥
105 5
音视频牛哥
|
4月前
|
监控 开发工具 Android开发
Android平台实现RTSP拉流转发至轻量级RTSP服务
为满足Android平台上从外部RTSP摄像头拉流并提供轻量级RTSP服务的需求，利用大牛直播SDK实现了相关功能。SDK支持开始与停止拉流、音频视频数据回调处理及RTSP服务的启动与发布等操作。拉流仅需将未解码数据回调，对性能影响小。音频和视频数据经由特定接口传递给发布端进行处理。此外，SDK还提供了获取RTSP会话数量的功能。此方案适用于监控和巡检等低延迟应用场景，并支持二次水印添加等功能。
音视频牛哥
93 1
音视频牛哥
|
4月前
|
Linux 开发工具 图形学
Unity下实现跨平台的RTMP推流|轻量级RTSP服务|RTMP播放|RTSP播放低延迟解决方案
自2018年起，我们成功实现了Unity环境下的低延迟RTSP|RTMP播放，达到毫秒级延迟，获得业界广泛认可。现已覆盖Windows、Android、iOS与Linux平台的RTMP推送、轻量级RTSP服务及RTSP|RTMP播放。通过高效采集Unity窗口或摄像头数据，并利用原生SDK进行编码与推送，确保了数据传输的高速性。此外，播放器支持多路视频同时播放，适应不同分辨率，并保持长时间运行稳定。更多技术细节和技术博文，请参考相关链接。
音视频牛哥
265 1
音视频牛哥
|
4月前
|
监控 开发工具 数据安全/隐私保护
Windows平台如何实现多路RTSP|RTMP流合成后录像或转发RTMP服务
本文介绍了在Windows平台上实现多路RTSP/RTMP视频流的合并技术。主要应用场景包括驾考、全景摄像头以及多路会议录制等。技术实现上，文章详细展示了如何使用特定的SDK来解码并回调YUV或RGB数据，再将这些数据按照图层形式进行合成。示例代码中给出了初始化参数、设置视频帧回调函数、以及如何配置不同图层的具体步骤。最终，合成后的视频可以推送到RTMP服务器、注入到本地RTSP服务，或是直接录制为MP4文件。此外，还提供了添加实时文字水印的方法，并展示了四路视频流合成后的“四宫格”效果。
音视频牛哥
97 0
土木林森
|
7月前
|
监控 网络协议 网络安全
【专栏】RTMP和RTSP是流媒体传输常用的协议：秒懂
【4月更文挑战第28天】RTMP和RTSP是流媒体传输常用的协议。RTMP由Adobe开发，适合低延迟的实时通信，常用于网络直播和在线游戏；而RTSP是IETF定义的协议，侧重于流媒体播放控制，适用于视频监控和VoD服务。RTMP在业界普及度高，RTSP则在专业领域更常见。选择时需考虑延迟、应用场景和安全性等因素。
土木林森
884 1
yun6853992
|
7月前
|
存储 网络协议 视频直播
音视频学习之rtsp学习rtp协议的理解（rtp）
音视频学习之rtsp学习rtp协议的理解（rtp）
yun6853992
121 0
二进制怪兽
[笔记]音视频学习之RTSP篇《一》rtsp协议简介
[笔记]音视频学习之RTSP篇《一》rtsp协议简介
二进制怪兽
52 0
音视频牛哥
|
Linux 图形学 Android开发
Unity3D下如何实现跨平台低延迟的RTMP、RTSP播放
好多开发者，希望我们能探讨下Unity平台RTMP或RTSP直播流数据播放和录制相关的模块，实际上，这块流程我们已经聊过多次，无非就是通过原生的RTMP或者RTSP模块，先从协议层拉取到数据，并解包解码，回调YUV或RGB数据，然后，在Unity创建响应的shader，获取图像数据填充纹理即可，说起来流程很简单，但是每个环节，如果做到极致体验，都非常难。简单来说，多一次拷贝，都会增大性能瓶颈或延迟。
音视频牛哥
185 0
hbstream
|
编解码 应用服务中间件 nginx
RTSP协议转换RTMP直播协议
RTSP协议转换RTMP直播协议
hbstream
561 1

视觉智能

热门文章

最新文章

  • 1
    基于深度学习的自然场景文字检测及端到端的OCR中文文字识别
  • 2
    OpenCV+深度学习预训练模型，简单搞定图像识别 | 教程
  • 3
    [AR]ImageTarget(图像识别)
  • 4
    Python黑科技：50行代码运用Python＋OpenCV实现人脸追踪+详细教程+快速入门+图像识别+人脸识别+大神讲解
  • 5
    图像识别试验 - 字符验证码、车牌号、身份证号
  • 6
    浪潮发布业界最高GPU密度的SR-AI整机柜
  • 7
    【图像识别】白天鹅黑天鹅灰天鹅？卷积神经网络帮你识别
  • 8
    图像识别试验 - 字符验证码、车牌号、身份证号
  • 9
    详解阿里99大促活动页内容识别技术实现
  • 10
    图像识别DM8127开发攻略——MCFW架构中Link相关概念
  • 1
    【一步步开发AI运动小程序】十七、如何识别用户上传视频中的人体、运动、动作、姿态？
    39
  • 2
    uni-app开发AI康复锻炼小程序，帮助肢体受伤患者康复！
    36
  • 3
    【一步步开发AI运动小程序】十六、AI运动识别中，如何判断人体站位？
    57
  • 4
    【一步步开发AI运动小程序】十五、AI运动识别中，如何判断人体站位的远近？
    123
  • 5
    【一步步开发AI运动小程序】十四、主包超出2M大小限制，如何将插件分包发布？
    26
  • 6
    【一步步开发AI运动小程序】十三、自定义一个运动分析器，实现计时计数02
    41
  • 7
    【一步步开发AI运动小程序】十二、自定义一个运动分析器，实现计时计数01
    39
  • 8
    【一步步开发AI运动小程序】十一、人体关键点跳跃追踪
    27
  • 9
    【一步步开发AI运动小程序】十、姿态动作相似度比较
    38
  • 10
    用PDF转换图片的方式弥补通义千问在扫描版PDF支持方面的缺失
    38

    • 相关电子书

    更多
  • 低代码开发师（初级）实战教程
  • 冬季实战营第三期：MySQL数据库进阶实战
  • 阿里巴巴DevOps 最佳实践手册
    • 下一篇
    DataWorks