跨平台轻量级RTSP服务模块设计思路及实现探讨

简介: 为满足内网无纸化/电子教室等内网超低延迟需求,避免让用户配置单独的服务器,我们发布了轻量级RTSP服务模块,轻量级RTSP服务解决的核心痛点是避免用户或者开发者单独部署RTSP或者RTMP服务,实现本地的音视频数据(如摄像头、麦克风),编码后,汇聚到内置RTSP服务,对外提供可供拉流的RTSP URL,轻量级RTSP服务,适用于内网环境下,对并发要求不高的场景,支持H.264/H.265,支持RTSP鉴权、单播、组播模式,考虑到单个服务承载能力,我们支持同时创建多个RTSP服务,并支持获取当前RTSP服务会话连接数。

技术背景

为满足内网无纸化/电子教室等内网超低延迟需求,避免让用户配置单独的服务器,我们发布了轻量级RTSP服务模块,轻量级RTSP服务解决的核心痛点是避免用户或者开发者单独部署RTSP或者RTMP服务实现本地的音视频数据(如摄像头、麦克风),编码后,汇聚到内置RTSP服务,对外提供可供拉流的RTSP URL,轻量级RTSP服务,适用于内网环境下,对并发要求不高的场景,支持H.264/H.265,支持RTSP鉴权、单播、组播模式,考虑到单个服务承载能力,我们支持同时创建多个RTSP服务,并支持获取当前RTSP服务会话连接数。



532e94cfc7114afc8449b662b85c158a.png

以下是轻量级RTSP服务的一些特点:


1. 简单易用:SDK 提供了完整的 RTSP服务功能,包括音频格式、视频格式、传输模式、端口设置、鉴权设置等,开发者可以轻松地使用这些功能进行 RTSP服务开发。


2. 跨平台支持:SDK 支持 Windows、Android 和 iOS 平台,开发者可以在不同的平台上进行 RTSP服务开发,并且可以使用多种编程语言进行开发。


3. 音频和视频处理:SDK 提供了音频和视频的处理功能,包括采集麦克风、采集扬声器、音频格式转换、视频格式转换等,开发者可以使用这些功能实现音视频的采集和处理。


4. 摄像头和屏幕合成:SDK 支持摄像头和屏幕的实时切换,可以单画面显示摄像头或屏幕,并且支持摄像头和屏幕的合成处理,让开发者能够实现更多的监控和展示功能。


5. 音频处理:SDK 支持音频的噪音抑制、自动增益控制等功能,可以帮助开发者实现更好的音频处理效果。


6. 安全性:SDK 支持密码验证和鉴权设置,可以保护 RTSP服务的网络安全和数据安全。


7. 多服务支持:SDK 支持同时创建多个内置 RTSP 服务,并且支持 H.265 视频编码,可以帮助开发者实现更多的监控和服务需求。


功能支持:


  • [音频格式]AAC、PCMA;
  • [视频格式]H.264、H.265;
  • [协议类型]RTSP;
  • [传输模式]支持单播和组播模式;
  • [端口设置]支持RTSP端口设置;
  • [鉴权设置]支持RTSP鉴权用户名、密码设置;
  • [获取session连接数]支持获取当前RTSP服务会话连接数;
  • [多服务支持]支持同时创建多个内置RTSP服务;
  • [H.265支持]Windows内置rtsp server支持发布H.265视频(64位库);
  • [RTSP url回调]支持设置后的rtsp url通过event回调到上层。

接口设计

以Android平台为例,接口设计如下:

  /*
   * SmartPublisherJniV2.java
   * Author: daniusdk.com
   * Created on 2015/09/20.
   */
  /*
   * Init rtsp server(和UnInitRtspServer配对使用,即便是启动多个RTSP服务,也只需调用一次InitRtspServer,请确保在OpenRtspServer之前调用)
   *
   * @param ctx: get by this.getApplicationContext()
   *
   * @return {0} if successful
   */
  public native int InitRtspServer(Object ctx);
  /*
   * 创建一个rtsp server
   *
     * @param reserve:保留参数传0
   *
   * @return rtsp server 句柄
   */
  public native long OpenRtspServer(int reserve);
  /*
   * 设置rtsp server 监听端口, 在StartRtspServer之前必须要设置端口
   *
     * @param rtsp_server_handle: rtsp server 句柄
   *
     * @param port: 端口号,可以设置为554,或者是1024到65535之间,其他值返回失败
   *
   * @return {0} if successful
   */
  public native int SetRtspServerPort(long rtsp_server_handle, int port);
  /*
   * 设置rtsp server 鉴权用户名和密码, 这个可以不设置,只有需要鉴权的再设置
   *
     * @param rtsp_server_handle: rtsp server 句柄
   *
     * @param user_name: 用户名(必须是英文)
   * 
     * @param password:密码(必须是英文)
   *
   * @return {0} if successful
   */
  public native int SetRtspServerUserNamePassword(long rtsp_server_handle, String user_name, String password);
  /*
   * 设置rtsp server 组播, 如果server设置成组播就不能单播,组播和单播只能选一个, 一般来说单播网络设备支持的好,wifi组播很多路由器不支持
   *
   * @param rtsp_server_handle: rtsp server 句柄
   *
   * @param is_multicast: 是否组播, 1为组播, 0为单播, 其他值接口返回错误, 默认是单播
   *
   * @return {0} if successful
   */
  public native int SetRtspServerMulticast(long rtsp_server_handle, int is_multicast);
  /*
   * 设置rtsp server 组播组播地址
   *
   * @param rtsp_server_handle: rtsp server 句柄
   *
   * @param multicast_address: 组播地址
   *
   * 如果设置的不是组播地址, 将返回错误
   * 组播地址范围说明: [224.0.0.0, 224.0.0.255] 为组播预留地址, 不能设置. 可设置范围为[224.0.1.0, 239.255.255.255], 其中SSM地址范围为[232.0.0.0, 232.255.255.255]
   *
   *  @return {0} if successful
   */
  public native int SetRtspServerMulticastAddress(long rtsp_server_handle, String multicast_address);
  /*
   * 获取rtsp server当前的客户会话数, 这个接口必须在StartRtspServer之后再调用
   *
     * @param rtsp_server_handle: rtsp server 句柄
   *
   * @return {当前rtsp server会话数}
   */
  public native int GetRtspServerClientSessionNumbers(long rtsp_server_handle);
  /*
   * 启动rtsp server
   *
     * @param rtsp_server_handle: rtsp server 句柄
   *
     * @param reserve: 保留参数传0
   *
   * @return {0} if successful
   */
  public native int StartRtspServer(long rtsp_server_handle, int reserve);
  /*
   * 停止rtsp server
   *
     * @param rtsp_server_handle: rtsp server 句柄
   *
   * @return {0} if successful
   */
  public native int StopRtspServer(long rtsp_server_handle);
  /*
   * 关闭rtsp server
   *
   * @param rtsp_server_handle: rtsp server 句柄
   *
   * NOTE: 调用这个接口之后rtsp_server_handle失效,
   *
   * @return {0} if successful
   */
  public native int CloseRtspServer(long rtsp_server_handle);
  /*
   * UnInit rtsp server(和InitRtspServer配对使用,即便是启动多个RTSP服务,也只需调用一次UnInitRtspServer)
   *
   * @return {0} if successful
   */
  public native int UnInitRtspServer();
  /*
   * 设置rtsp的流名称
   *
   * @param handle: 推送实例句柄
   *
     * @param stream_name: 流程名称,不能为空字符串,必须是英文
   *
   * 这个作用是: 比如rtsp的url是:rtsp://192.168.0.111/test, test就是设置下去的stream_name
   *
   * @return {0} if successful
   */
  public native int SetRtspStreamName(long handle, String stream_name);
  /*
   * 给要发布的rtsp流设置rtsp server, 一个流可以发布到多个rtsp server上,rtsp server的创建启动请参考OpenRtspServer和StartRtspServer接口
   *
     * @param handle: 推送实例句柄
   *
     * @param rtsp_server_handle:rtsp server句柄
     *
   * @param reserve:保留参数,传0
   *
   * @return {0} if successful
   */
  public native int AddRtspStreamServer(long handle, long rtsp_server_handle, int reserve);
  /*
   * 清除设置的rtsp server
   *
   * @param handle: 推送实例句柄
   *
   * @return {0} if successful
   */
  public native int ClearRtspStreamServer(long handle);
  /*
   * 启动rtsp流
   *
   * @param handle: 推送实例句柄
   *
   * @param reserve: 保留参数,传0
   *
   * @return {0} if successful
   */
  public native int StartRtspStream(long handle, int reserve);
  /*
   * 停止rtsp流
   *
   * @param handle: 推送实例句柄
   *
   * @return {0} if successful
   */
  public native int StopRtspStream(long handle);

接口调用示例

启动、停止RTSP服务

//启动/停止RTSP服务
class ButtonRtspServiceListener implements View.OnClickListener {
  public void onClick(View v) {
    if (isRTSPServiceRunning) {
      stopRtspService();
      btnRtspService.setText("启动RTSP服务");
      btnRtspPublisher.setEnabled(false);
      isRTSPServiceRunning = false;
      return;
    }
    Log.i(TAG, "onClick start rtsp service..");
    rtsp_handle_ = libPublisher.OpenRtspServer(0);
    if (rtsp_handle_ == 0) {
      Log.e(TAG, "创建rtsp server实例失败! 请检查SDK有效性");
    } else {
      int port = 8554;
      if (libPublisher.SetRtspServerPort(rtsp_handle_, port) != 0) {
        libPublisher.CloseRtspServer(rtsp_handle_);
        rtsp_handle_ = 0;
        Log.e(TAG, "创建rtsp server端口失败! 请检查端口是否重复或者端口不在范围内!");
      }
      if (libPublisher.StartRtspServer(rtsp_handle_, 0) == 0) {
        Log.i(TAG, "启动rtsp server 成功!");
      } else {
        libPublisher.CloseRtspServer(rtsp_handle_);
        rtsp_handle_ = 0;
        Log.e(TAG, "启动rtsp server失败! 请检查设置的端口是否被占用!");
      }
      btnRtspService.setText("停止RTSP服务");
      btnRtspPublisher.setEnabled(true);
      isRTSPServiceRunning = true;
    }
  }
}

发布RTSP流:

//发布/停止RTSP流
class ButtonRtspPublisherListener implements View.OnClickListener {
  public void onClick(View v) {
    if (isRTSPPublisherRunning) {
      stopRtspPublisher();
      btnRtspPublisher.setText("发布RTSP流");
      btnGetRtspSessionNumbers.setEnabled(false);
      btnRtspService.setEnabled(true);
      return;
    }
    Log.i(TAG, "onClick start rtsp publisher..");
    if (!isPushingRtmp && !isGB28181StreamRunning && !isRecording) {
      InitAndSetConfig();
    }
    if (publisherHandle == 0) {
      Log.e(TAG, "Start rtsp publisher, publisherHandle is null..");
      return;
    }
    String rtsp_stream_name = "stream1";
    libPublisher.SetRtspStreamName(publisherHandle, rtsp_stream_name);
    libPublisher.ClearRtspStreamServer(publisherHandle);
    libPublisher.AddRtspStreamServer(publisherHandle, rtsp_handle_, 0);
    if (libPublisher.StartRtspStream(publisherHandle, 0) != 0) {
      Log.e(TAG, "调用发布rtsp流接口失败!");
      return;
    }
    if (!isPushingRtmp && !isGB28181StreamRunning && !isRecording) {
      CheckInitAudioRecorder();    //enable pure video publisher..
    }
    startLayerPostThread();
    btnRtspPublisher.setText("停止RTSP流");
    btnGetRtspSessionNumbers.setEnabled(true);
    btnRtspService.setEnabled(false);
    isRTSPPublisherRunning = true;
  }
}


获取RTSP会话数:

//获取RTSP会话数
class ButtonGetRtspSessionNumbersListener implements View.OnClickListener {
  public void onClick(View v) {
    if (libPublisher != null && rtsp_handle_ != 0) {
      int session_numbers = libPublisher.GetRtspServerClientSessionNumbers(rtsp_handle_);
      Log.i(TAG, "GetRtspSessionNumbers: " + session_numbers);
      PopRtspSessionNumberDialog(session_numbers);
    }
  }
}
//当前RTSP会话数弹出框
private void PopRtspSessionNumberDialog(int session_numbers) {
  final EditText inputUrlTxt = new EditText(this);
  inputUrlTxt.setFocusable(true);
  inputUrlTxt.setEnabled(false);
  String session_numbers_tag = "RTSP服务当前客户会话数: " + session_numbers;
  inputUrlTxt.setText(session_numbers_tag);
  AlertDialog.Builder builderUrl = new AlertDialog.Builder(this);
  builderUrl
    .setTitle("内置RTSP服务")
    .setView(inputUrlTxt).setNegativeButton("确定", null);
  builderUrl.show();
}


总结

轻量级RTSP服务模块是一个跨平台的、简单易用的 RTSP 服务开发工具包,可以帮助开发者快速实现 RTSP 服务,并且提供多种音视频处理和安全性保障功能,无需单独部署RTSP服务,在内网环境特别是移动端,非常方便。

相关文章
|
7月前
|
API
开源! ! ! 轻量级多功能按键驱动-LiteButton
开源! ! ! 轻量级多功能按键驱动-LiteButton
|
3月前
|
JSON Dart Java
flutter开发多端平台应用的探索 下 (跨模块、跨语言通信之平台通道)
flutter开发多端平台应用的探索 下 (跨模块、跨语言通信之平台通道)
|
4月前
|
编解码 开发工具 Android开发
Android平台轻量级RTSP服务模块技术接入说明
为满足内网无纸化/电子教室等内网超低延迟需求,避免让用户配置单独的服务器,大牛直播SDK在推送端发布了轻量级RTSP服务SDK。 轻量级RTSP服务解决的核心痛点是避免用户或者开发者单独部署RTSP或者RTMP服务,实现本地的音视频数据(如摄像头、麦克风),编码后,汇聚到内置RTSP服务,对外提供可供拉流的RTSP URL,轻量级RTSP服务,适用于内网环境下,对并发要求不高的场景,支持H.264/H.265,支持RTSP鉴权、单播、组播模式,考虑到单个服务承载能力,我们支持同时创建多个RTSP服务,并支持获取当前RTSP服务会话连接数。
|
7月前
|
API 开发工具 C语言
【嵌入式开源库】EasyLogger的使用, 一款轻量级且高性能的日志库
【嵌入式开源库】EasyLogger的使用, 一款轻量级且高性能的日志库
784 0
|
7月前
|
开发工具 C语言 git
【嵌入式开源库】MultiButton的使用,简单易用的事件驱动型按键驱动模块
【嵌入式开源库】MultiButton的使用,简单易用的事件驱动型按键驱动模块
175 0
|
7月前
|
存储 传感器 缓存
面向嵌入式系统的轻量级框架分析
面向嵌入式系统的轻量级框架分析
134 1
|
Web App开发 JavaScript 算法
开源轻量级 IM 框架 MobileIMSDK 的Uniapp客户端库已发布
开源轻量级 IM 框架 MobileIMSDK 的Uniapp客户端库已发布
253 0
|
存储 缓存 安全
iOS-底层原理 35:组件化(二)组件间通讯方式
iOS-底层原理 35:组件化(二)组件间通讯方式
950 0
iOS-底层原理 35:组件化(二)组件间通讯方式
|
编译器 C语言
QT应用编程: QtCreate编译部署开源音视频框架模块QtAV
QT应用编程: QtCreate编译部署开源音视频框架模块QtAV
210 0
QT应用编程: QtCreate编译部署开源音视频框架模块QtAV