Linux|麒麟操作系统实现多路RTMP|RTSP播放

简介: 无论是Windows平台还是Linux,多路播放诉求非常普遍,比如针对智慧工地、展馆、教育等宏观场景下的摄像头展示,关于RTSP或RTMP直播播放器开发需要注意的点,可参考之前博客,总的来说有以下一些点:

技术背景

无论是Windows平台还是Linux,多路播放诉求非常普遍,比如针对智慧工地、展馆、教育等宏观场景下的摄像头展示,关于RTSP或RTMP直播播放器开发需要注意的点,可参考之前博客,总的来说有以下一些点:


1. 低延迟:大多数RTSP的播放都面向直播场景,所以,如果延迟过大,比如监控行业,小偷都走了,客户端才看到,或者别人已经按过门铃几秒,主人才看到图像,严重影响体验,所以,低延迟是衡量一个好的RTSP播放器非常重要的指标,目前大牛直播SDK的RTSP播放延迟控制在几百毫秒,VLC在几秒,这个延迟,是长时间的低延迟,比如运行1天、一周、一个月甚至更久;


2. 音视频同步或跳转:有些开发者为了追求低延迟体验,甚至不做音视频同步,拿到audio video直接播放,导致a/v不同步,还有就是时间戳乱跳;


3. 支持多实例:一个好的播放器,需要支持同时播放多路音视频数据,比如4-8-9-16-32窗口;


4. 支持buffer time设置:在一些有网络抖动的场景,播放器需要支持精准的buffer time设置,一般来说,以毫秒计;


5. H.265的播放和录制:除了H.264,还需要支持H.265,目前市面上的RTSP H.265摄像头越来越多,支持H.265的RTSP播放器迫在眉睫,此外,单纯的播放H.265还不够,还需要可以能把H.265的数据能录制下来;


6. TCP/UDP模式切换:考虑到好多服务器仅支持TCP或UDP模式,一个好的RTSP播放器需要支持TCP/UDP模式自动切换;


7. 静音支持:比如,多窗口播放RTSP流,如果每个audio都播放出来,体验非常不好,所以实时静音功能非常必要;


8. 视频view旋转:好多摄像头由于安装限制,导致图像倒置,所以一个好的RTSP播放器应该支持如视频view实时旋转(0° 90° 180° 270°)、水平反转、垂直反转;


9. 支持解码后audio/video数据输出(可选):大牛直播SDK接触到好多开发者,希望能在播放的同时,获取到YUV或RGB数据,进行人脸匹配等算法分析,所以音视频回调可选;


10. 快照:感兴趣或重要的画面,实时截取下来非常必要;


11. 网络抖动处理(如断网重连):基本功能,不再赘述;


12. 跨平台:一个好的播放器,跨平台(Windows/Android/iOS)很有必要,起码为了后续扩展性考虑,开发的时候,有这方面的考虑,目前大牛直播SDK的RTSP播放器,完美支持以上平台;


13. 长期运行稳定性:提到稳定性,好多开发者不以为然,实际上,一个好的产品,稳定是最基本的前提,不容忽视!


14. 可以录像:播放的过程中,随时录制下来感兴趣的视频片断,存档或其他二次处理;


15. log信息记录:整体流程机制实时反馈,不多打log,但是不能一些重要的log,如播放过程中出错等;


16. download速度实时反馈:可以看到实时下载速度反馈,以此来监听网络状态;


17. 异常状态处理:如播放的过程中,断网、网络抖动、来电话、切后台后返回等各种场景的处理。

代码实现

本文以大牛直播SDK(官方)的Linux平台为例,介绍下RTMP或RTSP流多路播放集成。

int main(int argc, char *argv[])
{
  XInitThreads(); // X支持多线程, 必须调用
  NT_SDKLogInit();
  // SDK初始化
  SmartPlayerSDKAPI player_api;
  if (!NT_PlayerSDKInit(player_api))
  {
    fprintf(stderr, "SDK init failed.\n");
    return 0;
  }
  auto display = XOpenDisplay(nullptr);
  if (!display)
  {
    fprintf(stderr, "Cannot connect to X server\n");
    player_api.UnInit();
    return 0;
  }
  auto screen = DefaultScreen(display);
  auto root = XRootWindow(display, screen);
  XWindowAttributes root_win_att;
  if (!XGetWindowAttributes(display, root, &root_win_att))
  {
    fprintf(stderr, "Get Root window attri failed\n");
    player_api.UnInit();
    XCloseDisplay(display);
    return 0;
  }
  if (root_win_att.width < 100 || root_win_att.height < 100)
  {
    fprintf(stderr, "Root window size error.\n");
    player_api.UnInit();
    XCloseDisplay(display);
    return 0;
  }
  fprintf(stdout, "Root Window Size:%d*%d\n", root_win_att.width, root_win_att.height);
  int main_w = root_win_att.width / 2, main_h = root_win_att.height/2;
  auto black_pixel = BlackPixel(display, screen);
  auto white_pixel = WhitePixel(display, screen);
  auto main_wid = XCreateSimpleWindow(display, root, 0, 0, main_w, main_h, 0, white_pixel, black_pixel);
  if (!main_wid)
  {
    player_api.UnInit();
    XCloseDisplay(display);
    fprintf(stderr, "Cannot create main windows\n");
    return 0;
  }
  XSelectInput(display, main_wid, StructureNotifyMask | KeyPressMask);
  XMapWindow(display, main_wid);
  XStoreName(display, main_wid, win_base_title);
  std::vector<std::shared_ptr<NT_PlayerSDKWrapper> > players;
  for (auto url: players_url_)
  {
    auto i = std::make_shared<NT_PlayerSDKWrapper>(&player_api);
    i->SetDisplay(display);
    i->SetScreen(screen);
    i->SetURL(url);
    players.push_back(i);
    if ( players.size() > 3 )
      break;
  }
  auto border_w = 2;
  std::vector<NT_LayoutRect> layout_rects;
  SubWindowsLayout(main_w, main_h, border_w, static_cast<int>(players.size()), layout_rects);
  for (auto i = 0; i < static_cast<int>(players.size()); ++i)
  {
    assert(players[i]);
    players[i]->SetWindow(CreateSubWindow(display, screen, main_wid, layout_rects[i], border_w));
  }
  for (const auto& i : players)
  {
    assert(i);
    if (i->GetWindow())
      XMapWindow(display, i->GetWindow());
  }
  for (auto i = 0; i < static_cast<int>(players.size()); ++i)
  {
    assert(players[i]);
    // 第一路不静音, 其他全部静音
    players[i]->Start(0, i!=0, 1, false);
    //players[i]->Start(0, false, 1, false);
  }
  while (true)
  {
    while (MY_X11_Pending(display, 10))
    {
      XEvent xev;
      memset(&xev, 0, sizeof(xev));
      XNextEvent(display, &xev);
      if (xev.type == ConfigureNotify)
      {
        if (xev.xconfigure.window == main_wid)
        {
          if (xev.xconfigure.width != main_w || xev.xconfigure.height != main_h)
          {
            main_w = xev.xconfigure.width;
            main_h = xev.xconfigure.height;
            SubWindowsLayout(main_w, main_h, border_w, static_cast<int>(players.size()), layout_rects);
            for (auto i = 0; i < static_cast<int>(players.size()); ++i)
            {
              if (players[i]->GetWindow())
              {
                XMoveResizeWindow(display, players[i]->GetWindow(), layout_rects[i].x_, layout_rects[i].y_, layout_rects[i].w_, layout_rects[i].h_);
              }
            }
          }
        }
        else
        {
          for (const auto& i: players)
          {
            assert(i);
            if (i->GetWindow() && i->GetWindow() == xev.xconfigure.window)
            {
              i->OnWindowSize(xev.xconfigure.width, xev.xconfigure.height);
            }
          }
        }
      }
      else if (xev.type == KeyPress)
      {
        if (xev.xkey.keycode == XKeysymToKeycode(display, XK_Escape))
        {
          fprintf(stdout, "ESC Key Press\n");
          for (const auto& i : players)
          {
            i->Stop();
            if (i->GetWindow())
            {
              XDestroyWindow(display, i->GetWindow());
              i->SetWindow(None);
            }
          }
          players.clear();
          XDestroyWindow(display, main_wid);
          XCloseDisplay(display);
          player_api.UnInit();
          fprintf(stdout, "Close Players....\n");
          return 0;
        }
      }
    }
  }
}

开始播放封装

bool NT_PlayerSDKWrapper::Start(int buffer, bool is_mute, int render_scale_mode, bool is_only_dec_key_frame)
{
  if (is_playing_)
    return false;
  if (url_.empty())
    return false;
  if (!OpenHandle(url_, buffer))
    return false;
  assert(handle_ && handle_->Handle());
  // 音频参数
  player_api_->SetMute(handle_->Handle(), is_mute ? 1 : 0);
  player_api_->SetIsOutputAudioDevice(handle_->Handle(), 1);
  player_api_->SetAudioOutputLayer(handle_->Handle(), 0); // 使用pluse 或者 alsa播放, 两个可以选择一个
  // 视频参数
  player_api_->SetVideoSizeCallBack(handle_->Handle(), this, &NT_Player_SDK_WRAPPER_OnVideoSizeHandle);
  player_api_->SetXDisplay(handle_->Handle(), display_);
  player_api_->SetXScreenNumber(handle_->Handle(),screen_);
  player_api_->SetRenderXWindow(handle_->Handle(), window_);
  player_api_->SetRenderScaleMode(handle_->Handle(), render_scale_mode);
  player_api_->SetRenderTextureScaleFilterMode(handle_->Handle(), 3);
  player_api_->SetOnlyDecodeVideoKeyFrame(handle_->Handle(), is_only_dec_key_frame ? 1 : 0);
  auto ret = player_api_->StartPlay(handle_->Handle());
  if (NT_ERC_OK != ret)
  {
    ResetHandle();
    return false;
  }
  is_playing_ = true;
  return true;
}

停止播放

void NT_PlayerSDKWrapper::Stop()
{
  if (!is_playing_)
    return;
  assert(handle_);
  player_api_->StopPlay(handle_->Handle());
  video_width_ = 0;
  video_height_ = 0;
  ResetHandle();
  is_playing_ = false;
}

视频宽高回调

extern "C" NT_VOID NT_CALLBACK NT_Player_SDK_WRAPPER_OnVideoSizeHandle(NT_HANDLE handle, NT_PVOID user_data,
  NT_INT32 width, NT_INT32 height)
{
  auto sdk_wrapper = reinterpret_cast<NT_PlayerSDKWrapper*>(user_data);
  if (nullptr == sdk_wrapper)
    return;
  sdk_wrapper->VideoSizeHandle(handle, width, height);
}

实时快照

extern "C" NT_VOID NT_CALLBACK NT_Player_SDK_WRAPPER_OnCaptureImageCallBack(NT_HANDLE handle, NT_PVOID user_data, NT_UINT32 result, NT_PCSTR file_name)
{
  auto sdk_wrapper = reinterpret_cast<NT_PlayerSDKWrapper*>(user_data);
  if (nullptr == sdk_wrapper)
    return;
  sdk_wrapper->CaptureImageHandle(handle, result, file_name);
}

实时静音

void NT_PlayerSDKWrapper::SetMute(bool is_mute)
{
  if (is_playing_ && handle_)
  {
    player_api_->SetMute(handle_->Handle(), is_mute?1:0);
  }
}

设置绘制模式

void NT_PlayerSDKWrapper::SetRenderScaleMode(int render_scale_mode)
{
  if (is_playing_ && handle_)
  {
    player_api_->SetRenderScaleMode(handle_->Handle(), render_scale_mode);
  }
}

设置只解关键帧

void NT_PlayerSDKWrapper::SetOnlyDecodeVideoKeyFrame(bool is_only_dec_key_frame)
{
  if (is_playing_ && handle_)
  {
    player_api_->SetOnlyDecodeVideoKeyFrame(handle_->Handle(), is_only_dec_key_frame ? 1 : 0);
  }
}

Handler管理

bool NT_PlayerSDKWrapper::OpenHandle(const std::string& url, int buffer)
{
  if (handle_)
  {
    if (handle_->IsOpened()
      && handle_->URL() == url)
    {
      return true;
    }
  }
  ResetHandle();
  auto handle = std::make_shared<NT_SDK_HandleWrapper>(player_api_);
  if (!handle->Open(url, buffer))
  {
    return false;
  }
  handle_ = handle;
  handle_->AddEventHandler(shared_from_this());
  return true;
}
void NT_PlayerSDKWrapper::ResetHandle()
{
  if (handle_)
  {
    handle_->RemoveHandler(this);
    handle_.reset();
  }
}

录像等其他接口不再赘述,可Windows平台一致。

总结

多路RTMP或RTSP播放,涉及到性能和多路之间音视频同步、长时间播放稳定性等问题,Linux平台可参考的资料比较少,可选的方案比较少,感兴趣的可酌情参考。

相关实践学习
CentOS 7迁移Anolis OS 7
龙蜥操作系统Anolis OS的体验。Anolis OS 7生态上和依赖管理上保持跟CentOS 7.x兼容,一键式迁移脚本centos2anolis.py。本文为您介绍如何通过AOMS迁移工具实现CentOS 7.x到Anolis OS 7的迁移。
相关文章
|
4天前
|
安全 Linux 数据安全/隐私保护
Vanilla OS:下一代安全 Linux 发行版
【10月更文挑战第30天】
14 0
Vanilla OS:下一代安全 Linux 发行版
|
7天前
|
人工智能 安全 Linux
|
28天前
|
Unix 物联网 大数据
操作系统的演化与比较:从Unix到Linux
本文将探讨操作系统的历史发展,重点关注Unix和Linux两个主要的操作系统分支。通过分析它们的起源、设计哲学、技术特点以及在现代计算中的影响,我们可以更好地理解操作系统在计算机科学中的核心地位及其未来发展趋势。
|
2月前
|
编解码 Linux 开发工具
Linux平台x86_64|aarch64架构RTMP推送|轻量级RTSP服务模块集成说明
支持x64_64架构、aarch64架构(需要glibc-2.21及以上版本的Linux系统, 需要libX11.so.6, 需要GLib–2.0, 需安装 libstdc++.so.6.0.21、GLIBCXX_3.4.21、 CXXABI_1.3.9)。
|
3月前
|
安全 Linux 图形学
Linux平台Unity下RTMP|RTSP低延迟播放器技术实现
本文介绍了在国产操作系统及Linux平台上,利用Unity实现RTMP/RTSP直播播放的方法。通过设置原生播放模块的回调函数,可将解码后的YUV数据传递给Unity进行渲染,实现低延迟播放。此外,还提供了播放器启动、参数配置及停止的相关代码示例,并概述了如何在Unity中更新纹理以显示视频帧。随着国产操作系统的发展,此类跨平台直播解决方案的需求日益增长,为开发者提供了灵活高效的开发方式。
|
3月前
|
编解码 算法 Linux
Linux平台下RTSP|RTMP播放器如何跟python交互投递RGB数据供视觉算法分析
在对接Linux平台的RTSP播放模块时,需将播放数据同时提供给Python进行视觉算法分析。技术实现上,可在播放时通过回调函数获取视频帧数据,并以RGB32格式输出。利用`SetVideoFrameCallBackV2`接口设定缩放后的视频帧回调,以满足算法所需的分辨率。回调函数中,每收到一帧数据即保存为bitmap文件。Python端只需读取指定文件夹中的bitmap文件,即可进行视频数据的分析处理。此方案简单有效,但应注意控制输出的bitmap文件数量以避免内存占用过高。
|
3月前
|
编解码 安全 Linux
基于arm64架构国产操作系统|Linux下的RTMP|RTSP低延时直播播放器开发探究
这段内容讲述了国产操作系统背景下,大牛直播SDK针对国产操作系统与Linux平台发布的RTMP/RTSP直播播放SDK。此SDK支持arm64架构,基于X协议输出视频,采用PulseAudio和Alsa Lib处理音频,具备实时静音、快照、缓冲时间设定等功能,并支持H.265编码格式。此外,提供了示例代码展示如何实现多实例播放器的创建与管理,包括窗口布局调整、事件监听、视频分辨率变化和实时快照回调等关键功能。这一技术实现有助于提高直播服务的稳定性和响应速度,适应国产操作系统在各行业中的应用需求。
105 3
|
3月前
|
编解码 Linux 数据安全/隐私保护
Linux平台x86_64|aarch64架构如何实现轻量级RTSP服务
为满足在Linux平台(x86_64与aarch64架构)上实现轻量级RTSP服务的需求,我们开发了一套解决方案。该方案通过调用`start_rtsp_server()`函数启动RTSP服务,并设置端口号及认证信息。支持AAC音频和H.264视频编码,可推送纯音频、纯视频或音视频流。此外,还支持X11屏幕采集、部分V4L2摄像头采集、帧率/GOP/码率调整、摄像头设备选择与预览等功能。对于音频采集,支持alsa-lib和libpulse接口。整体设计旨在提供150-400ms的低延迟体验,适用于多种应用场景。
|
3月前
|
编解码 Linux 开发工具
Linux平台x86_64(麒麟|统信UOS)|aarch64(飞腾)如何实现摄像头|屏幕和麦克风|扬声器采集推送RTMP服务或轻量级RTSP服务
国产化操作系统的发展,减少了外部依赖,更符合国家安全标准,并可提升自主研发能力,促进产业链发展,满足定制开发能力,减少了外部技术封锁的风险,提高了国际竞争力,推动了产业升级。目前大牛直播SDK针对Linux平台x86_64架构和aarch64架构的RTMP推送模块和轻量级RTSP服务模块
|
16天前
|
Linux
Linux系统之expr命令的基本使用
【10月更文挑战第18天】Linux系统之expr命令的基本使用
51 4