Linux|麒麟操作系统实现多路RTMP|RTSP播放

简介: 无论是Windows平台还是Linux,多路播放诉求非常普遍,比如针对智慧工地、展馆、教育等宏观场景下的摄像头展示,关于RTSP或RTMP直播播放器开发需要注意的点,可参考之前博客,总的来说有以下一些点:

技术背景

无论是Windows平台还是Linux,多路播放诉求非常普遍,比如针对智慧工地、展馆、教育等宏观场景下的摄像头展示,关于RTSP或RTMP直播播放器开发需要注意的点,可参考之前博客,总的来说有以下一些点:


1. 低延迟:大多数RTSP的播放都面向直播场景,所以,如果延迟过大,比如监控行业,小偷都走了,客户端才看到,或者别人已经按过门铃几秒,主人才看到图像,严重影响体验,所以,低延迟是衡量一个好的RTSP播放器非常重要的指标,目前大牛直播SDK的RTSP播放延迟控制在几百毫秒,VLC在几秒,这个延迟,是长时间的低延迟,比如运行1天、一周、一个月甚至更久;


2. 音视频同步或跳转:有些开发者为了追求低延迟体验,甚至不做音视频同步,拿到audio video直接播放,导致a/v不同步,还有就是时间戳乱跳;


3. 支持多实例:一个好的播放器,需要支持同时播放多路音视频数据,比如4-8-9-16-32窗口;


4. 支持buffer time设置:在一些有网络抖动的场景,播放器需要支持精准的buffer time设置,一般来说,以毫秒计;


5. H.265的播放和录制:除了H.264,还需要支持H.265,目前市面上的RTSP H.265摄像头越来越多,支持H.265的RTSP播放器迫在眉睫,此外,单纯的播放H.265还不够,还需要可以能把H.265的数据能录制下来;


6. TCP/UDP模式切换:考虑到好多服务器仅支持TCP或UDP模式,一个好的RTSP播放器需要支持TCP/UDP模式自动切换;


7. 静音支持:比如,多窗口播放RTSP流,如果每个audio都播放出来,体验非常不好,所以实时静音功能非常必要;


8. 视频view旋转:好多摄像头由于安装限制,导致图像倒置,所以一个好的RTSP播放器应该支持如视频view实时旋转(0° 90° 180° 270°)、水平反转、垂直反转;


9. 支持解码后audio/video数据输出(可选):大牛直播SDK接触到好多开发者,希望能在播放的同时,获取到YUV或RGB数据,进行人脸匹配等算法分析,所以音视频回调可选;


10. 快照:感兴趣或重要的画面,实时截取下来非常必要;


11. 网络抖动处理(如断网重连):基本功能,不再赘述;


12. 跨平台:一个好的播放器,跨平台(Windows/Android/iOS)很有必要,起码为了后续扩展性考虑,开发的时候,有这方面的考虑,目前大牛直播SDK的RTSP播放器,完美支持以上平台;


13. 长期运行稳定性:提到稳定性,好多开发者不以为然,实际上,一个好的产品,稳定是最基本的前提,不容忽视!


14. 可以录像:播放的过程中,随时录制下来感兴趣的视频片断,存档或其他二次处理;


15. log信息记录:整体流程机制实时反馈,不多打log,但是不能一些重要的log,如播放过程中出错等;


16. download速度实时反馈:可以看到实时下载速度反馈,以此来监听网络状态;


17. 异常状态处理:如播放的过程中,断网、网络抖动、来电话、切后台后返回等各种场景的处理。

代码实现

本文以大牛直播SDK(官方)的Linux平台为例,介绍下RTMP或RTSP流多路播放集成。

int main(int argc, char *argv[])
{
  XInitThreads(); // X支持多线程, 必须调用
  NT_SDKLogInit();
  // SDK初始化
  SmartPlayerSDKAPI player_api;
  if (!NT_PlayerSDKInit(player_api))
  {
    fprintf(stderr, "SDK init failed.\n");
    return 0;
  }
  auto display = XOpenDisplay(nullptr);
  if (!display)
  {
    fprintf(stderr, "Cannot connect to X server\n");
    player_api.UnInit();
    return 0;
  }
  auto screen = DefaultScreen(display);
  auto root = XRootWindow(display, screen);
  XWindowAttributes root_win_att;
  if (!XGetWindowAttributes(display, root, &root_win_att))
  {
    fprintf(stderr, "Get Root window attri failed\n");
    player_api.UnInit();
    XCloseDisplay(display);
    return 0;
  }
  if (root_win_att.width < 100 || root_win_att.height < 100)
  {
    fprintf(stderr, "Root window size error.\n");
    player_api.UnInit();
    XCloseDisplay(display);
    return 0;
  }
  fprintf(stdout, "Root Window Size:%d*%d\n", root_win_att.width, root_win_att.height);
  int main_w = root_win_att.width / 2, main_h = root_win_att.height/2;
  auto black_pixel = BlackPixel(display, screen);
  auto white_pixel = WhitePixel(display, screen);
  auto main_wid = XCreateSimpleWindow(display, root, 0, 0, main_w, main_h, 0, white_pixel, black_pixel);
  if (!main_wid)
  {
    player_api.UnInit();
    XCloseDisplay(display);
    fprintf(stderr, "Cannot create main windows\n");
    return 0;
  }
  XSelectInput(display, main_wid, StructureNotifyMask | KeyPressMask);
  XMapWindow(display, main_wid);
  XStoreName(display, main_wid, win_base_title);
  std::vector<std::shared_ptr<NT_PlayerSDKWrapper> > players;
  for (auto url: players_url_)
  {
    auto i = std::make_shared<NT_PlayerSDKWrapper>(&player_api);
    i->SetDisplay(display);
    i->SetScreen(screen);
    i->SetURL(url);
    players.push_back(i);
    if ( players.size() > 3 )
      break;
  }
  auto border_w = 2;
  std::vector<NT_LayoutRect> layout_rects;
  SubWindowsLayout(main_w, main_h, border_w, static_cast<int>(players.size()), layout_rects);
  for (auto i = 0; i < static_cast<int>(players.size()); ++i)
  {
    assert(players[i]);
    players[i]->SetWindow(CreateSubWindow(display, screen, main_wid, layout_rects[i], border_w));
  }
  for (const auto& i : players)
  {
    assert(i);
    if (i->GetWindow())
      XMapWindow(display, i->GetWindow());
  }
  for (auto i = 0; i < static_cast<int>(players.size()); ++i)
  {
    assert(players[i]);
    // 第一路不静音, 其他全部静音
    players[i]->Start(0, i!=0, 1, false);
    //players[i]->Start(0, false, 1, false);
  }
  while (true)
  {
    while (MY_X11_Pending(display, 10))
    {
      XEvent xev;
      memset(&xev, 0, sizeof(xev));
      XNextEvent(display, &xev);
      if (xev.type == ConfigureNotify)
      {
        if (xev.xconfigure.window == main_wid)
        {
          if (xev.xconfigure.width != main_w || xev.xconfigure.height != main_h)
          {
            main_w = xev.xconfigure.width;
            main_h = xev.xconfigure.height;
            SubWindowsLayout(main_w, main_h, border_w, static_cast<int>(players.size()), layout_rects);
            for (auto i = 0; i < static_cast<int>(players.size()); ++i)
            {
              if (players[i]->GetWindow())
              {
                XMoveResizeWindow(display, players[i]->GetWindow(), layout_rects[i].x_, layout_rects[i].y_, layout_rects[i].w_, layout_rects[i].h_);
              }
            }
          }
        }
        else
        {
          for (const auto& i: players)
          {
            assert(i);
            if (i->GetWindow() && i->GetWindow() == xev.xconfigure.window)
            {
              i->OnWindowSize(xev.xconfigure.width, xev.xconfigure.height);
            }
          }
        }
      }
      else if (xev.type == KeyPress)
      {
        if (xev.xkey.keycode == XKeysymToKeycode(display, XK_Escape))
        {
          fprintf(stdout, "ESC Key Press\n");
          for (const auto& i : players)
          {
            i->Stop();
            if (i->GetWindow())
            {
              XDestroyWindow(display, i->GetWindow());
              i->SetWindow(None);
            }
          }
          players.clear();
          XDestroyWindow(display, main_wid);
          XCloseDisplay(display);
          player_api.UnInit();
          fprintf(stdout, "Close Players....\n");
          return 0;
        }
      }
    }
  }
}

开始播放封装

bool NT_PlayerSDKWrapper::Start(int buffer, bool is_mute, int render_scale_mode, bool is_only_dec_key_frame)
{
  if (is_playing_)
    return false;
  if (url_.empty())
    return false;
  if (!OpenHandle(url_, buffer))
    return false;
  assert(handle_ && handle_->Handle());
  // 音频参数
  player_api_->SetMute(handle_->Handle(), is_mute ? 1 : 0);
  player_api_->SetIsOutputAudioDevice(handle_->Handle(), 1);
  player_api_->SetAudioOutputLayer(handle_->Handle(), 0); // 使用pluse 或者 alsa播放, 两个可以选择一个
  // 视频参数
  player_api_->SetVideoSizeCallBack(handle_->Handle(), this, &NT_Player_SDK_WRAPPER_OnVideoSizeHandle);
  player_api_->SetXDisplay(handle_->Handle(), display_);
  player_api_->SetXScreenNumber(handle_->Handle(),screen_);
  player_api_->SetRenderXWindow(handle_->Handle(), window_);
  player_api_->SetRenderScaleMode(handle_->Handle(), render_scale_mode);
  player_api_->SetRenderTextureScaleFilterMode(handle_->Handle(), 3);
  player_api_->SetOnlyDecodeVideoKeyFrame(handle_->Handle(), is_only_dec_key_frame ? 1 : 0);
  auto ret = player_api_->StartPlay(handle_->Handle());
  if (NT_ERC_OK != ret)
  {
    ResetHandle();
    return false;
  }
  is_playing_ = true;
  return true;
}

停止播放

void NT_PlayerSDKWrapper::Stop()
{
  if (!is_playing_)
    return;
  assert(handle_);
  player_api_->StopPlay(handle_->Handle());
  video_width_ = 0;
  video_height_ = 0;
  ResetHandle();
  is_playing_ = false;
}

视频宽高回调

extern "C" NT_VOID NT_CALLBACK NT_Player_SDK_WRAPPER_OnVideoSizeHandle(NT_HANDLE handle, NT_PVOID user_data,
  NT_INT32 width, NT_INT32 height)
{
  auto sdk_wrapper = reinterpret_cast<NT_PlayerSDKWrapper*>(user_data);
  if (nullptr == sdk_wrapper)
    return;
  sdk_wrapper->VideoSizeHandle(handle, width, height);
}

实时快照

extern "C" NT_VOID NT_CALLBACK NT_Player_SDK_WRAPPER_OnCaptureImageCallBack(NT_HANDLE handle, NT_PVOID user_data, NT_UINT32 result, NT_PCSTR file_name)
{
  auto sdk_wrapper = reinterpret_cast<NT_PlayerSDKWrapper*>(user_data);
  if (nullptr == sdk_wrapper)
    return;
  sdk_wrapper->CaptureImageHandle(handle, result, file_name);
}

实时静音

void NT_PlayerSDKWrapper::SetMute(bool is_mute)
{
  if (is_playing_ && handle_)
  {
    player_api_->SetMute(handle_->Handle(), is_mute?1:0);
  }
}

设置绘制模式

void NT_PlayerSDKWrapper::SetRenderScaleMode(int render_scale_mode)
{
  if (is_playing_ && handle_)
  {
    player_api_->SetRenderScaleMode(handle_->Handle(), render_scale_mode);
  }
}

设置只解关键帧

void NT_PlayerSDKWrapper::SetOnlyDecodeVideoKeyFrame(bool is_only_dec_key_frame)
{
  if (is_playing_ && handle_)
  {
    player_api_->SetOnlyDecodeVideoKeyFrame(handle_->Handle(), is_only_dec_key_frame ? 1 : 0);
  }
}

Handler管理

bool NT_PlayerSDKWrapper::OpenHandle(const std::string& url, int buffer)
{
  if (handle_)
  {
    if (handle_->IsOpened()
      && handle_->URL() == url)
    {
      return true;
    }
  }
  ResetHandle();
  auto handle = std::make_shared<NT_SDK_HandleWrapper>(player_api_);
  if (!handle->Open(url, buffer))
  {
    return false;
  }
  handle_ = handle;
  handle_->AddEventHandler(shared_from_this());
  return true;
}
void NT_PlayerSDKWrapper::ResetHandle()
{
  if (handle_)
  {
    handle_->RemoveHandler(this);
    handle_.reset();
  }
}

录像等其他接口不再赘述,可Windows平台一致。

总结

多路RTMP或RTSP播放,涉及到性能和多路之间音视频同步、长时间播放稳定性等问题,Linux平台可参考的资料比较少,可选的方案比较少,感兴趣的可酌情参考。

相关实践学习
CentOS 7迁移Anolis OS 7
龙蜥操作系统Anolis OS的体验。Anolis OS 7生态上和依赖管理上保持跟CentOS 7.x兼容,一键式迁移脚本centos2anolis.py。本文为您介绍如何通过AOMS迁移工具实现CentOS 7.x到Anolis OS 7的迁移。
相关文章
|
18天前
|
安全 Linux 数据安全/隐私保护
Vanilla OS:下一代安全 Linux 发行版
【10月更文挑战第30天】
41 0
Vanilla OS:下一代安全 Linux 发行版
|
12天前
|
缓存 资源调度 安全
深入探索Linux操作系统的心脏——内核配置与优化####
本文作为一篇技术性深度解析文章,旨在引领读者踏上一场揭秘Linux内核配置与优化的奇妙之旅。不同于传统的摘要概述,本文将以实战为导向,直接跳入核心内容,探讨如何通过精细调整内核参数来提升系统性能、增强安全性及实现资源高效利用。从基础概念到高级技巧,逐步揭示那些隐藏在命令行背后的强大功能,为系统管理员和高级用户打开一扇通往极致性能与定制化体验的大门。 --- ###
38 9
|
11天前
|
缓存 运维 网络协议
深入Linux内核架构:操作系统的核心奥秘
深入Linux内核架构:操作系统的核心奥秘
29 2
|
15天前
|
缓存 网络协议 Linux
Linux操作系统内核
Linux操作系统内核 1、进程管理: 进程调度 进程创建与销毁 进程间通信 2、内存管理: 内存分配与回收 虚拟内存管理 缓存管理 3、驱动管理: 设备驱动程序接口 硬件抽象层 中断处理 4、文件和网络管理: 文件系统管理 网络协议栈 网络安全及防火墙管理
36 4
|
14天前
|
安全 网络协议 Linux
Linux操作系统的内核升级与优化策略####
【10月更文挑战第29天】 本文深入探讨了Linux操作系统内核升级的重要性,并详细阐述了一系列优化策略,旨在帮助系统管理员和高级用户提升系统的稳定性、安全性和性能。通过实际案例分析,我们展示了如何安全有效地进行内核升级,以及如何利用调优技术充分发挥Linux系统的潜力。 ####
35 1
|
17天前
|
物联网 Linux 云计算
Linux操作系统的演变与未来趋势####
【10月更文挑战第29天】 本文深入探讨了Linux操作系统从诞生至今的发展历程,分析了其在服务器、桌面及嵌入式系统领域的应用现状,并展望了云计算、物联网时代下Linux的未来趋势。通过回顾历史、剖析现状、预测未来,本文旨在为读者提供一个全面而深入的视角,以理解Linux在当今技术生态中的重要地位及其发展潜力。 ####
|
22天前
|
边缘计算 人工智能 运维
Linux操作系统:开源力量的崛起与影响###
一场技术革命的回顾 回溯至1991年,当Linus Torvalds宣布Linux操作系统的诞生时,世界或许并未意识到这一举措将如何深刻地改变技术领域的面貌。本文旨在探讨Linux操作系统的发展历程、核心特性、以及它如何引领了一场开源运动,重塑了软件行业的生态。从最初的个人爱好项目成长为全球最广泛采用的服务器操作系统之一,Linux的故事是技术创新与社区精神共同推动下的辉煌篇章。 ###
|
21天前
|
人工智能 安全 Linux
|
24天前
|
物联网 Linux 5G
Linux操作系统的演变与未来趋势####
本文深入探讨了Linux操作系统的发展历程,从最初的一个学生项目到如今全球最流行的开源操作系统之一。文章将分析Linux的核心优势、关键特性以及它在云计算、物联网和嵌入式系统中的应用前景。通过具体案例展示Linux如何推动技术创新,并预测其在未来技术生态中的角色。本文旨在为读者提供一个全面而深入的理解,帮助他们认识到Linux在现代计算环境中的重要性及其未来的潜力。 ####
|
24天前
|
人工智能 安全 物联网
Linux操作系统的演变与未来:从开源精神到万物互联的基石###
本文是关于Linux操作系统的演变、现状与未来的深度探索。Linux,这一基于Unix的开源操作系统,自1991年由林纳斯·托瓦兹(Linus Torvalds)学生时代创造以来,已经彻底改变了我们的数字世界。文章首先追溯了Linux的起源,解析其作为开源项目的独特之处;随后,详细阐述了Linux如何从一个小众项目成长为全球最广泛采用的操作系统之一,特别是在服务器、云计算及嵌入式系统领域的主导地位。此外,文章还探讨了Linux在推动技术创新、促进协作开发模式以及保障信息安全方面的作用,最后展望了Linux在未来技术趋势中的角色,包括物联网、人工智能和量子计算等前沿领域的潜在影响。 ###
下一篇
无影云桌面