一次webrtc视频拉流的摸爬滚打全纪录

简介: 上周五的上午突然接到了一个需求,要在前端页面中增加的摄像头的画面预览功能,要在周一(昨天)完成,我本来以为接入视频流并不会很困难,毕竟之前也做过视频相关的需求。

1682516723(1).png

上周五的上午突然接到了一个需求,要在前端页面中增加的摄像头的画面预览功能,要在周一(昨天)完成,我本来以为接入视频流并不会很困难,毕竟之前也做过视频相关的需求。

但是,真正做起来却不是那么简单。因为底层的同学给的视频流地址是一个rtsp协议的(例:rtsp://192.168.0.123:8081),在跟百娘“缠绵”了一番之后,最终得出结论——前端无法直接使用rtsp流播放(可能有,如果知道的大佬请评论区告知)。

在告知底层同学之后,过了一会我收到了一个链接

1682516775(1).png

他们吧rtsp流转成了WebRTC,乍一看我还有点兴奋,因为不久前刚看过WebRTC,感觉这回“简单”了。打开这个链接看到了监控的实时画面

1682516799(1).png

但是,给提供的材料有且仅有这一个链接,这我又摸不着头脑了,我了解的WebRTC是P2P的啊,需要双方的SDP进行协商连接,但这只有一个链接我怎么玩?!

一筹莫展之际,刻在前端开发DNA中的记忆被唤醒了——F12,然后发现了一个东西,直觉告诉我,真相就在不远处

1682516814(1).png

找到这个文件之后,一段段我熟悉的代码映入眼帘,我悟了。(suuid对应的就是摄像头的设备名称)

1682516876(1).png

最关键的在于下面那两个jquery请求,最后一个请求正是获取对端SDP的请求,一般使用P2P获取SDP都是用的socket,这里因为只有一端能够发起会话,所以用了http的形式。

事后我找到了他们rtsp转WebRTC所使用的工具RTSPtoWebRTC,打开github的第一眼我就认出来了

1682516900(1).png

书归正题,看懂了这段代码之后,我结合项目将这段代码转化为了我们项目中能用的形式

import { getRTCCodec, getRTCReceiver } from '@/services/camera';
/**
 * 预览摄像头
 * @param ele 要播放视频的video 标签元素
 * @param ip 视频流IP 地址
 * @param port 视频流端口
 * @param cameraName 摄像头名称
 */
export async function preview(ele, ip, port, cameraName) {
  // 创建新的媒体流
  let stream = new MediaStream();
  // 初始化 ice 配置
  let config = {
    iceServers: [
      {
        // stun 服务器地址, P2P打洞需要
        urls: ['stun:stun.l.google.com:19302'],
      },
    ],
  };
  // 兼容不同的浏览器
  const PeerConnection =
    window.RTCPeerConnection ||
    // @ts-ignore
    window.mozRTCPeerConnection ||
    window.webkitRTCPeerConnection;
  // 新建RTC连接
  const pc = new PeerConnection(config);
  // 需要协商时触发事件
  pc.onnegotiationneeded = handleNegotiationNeededEvent;
  pc.ontrack = function (event) {
    stream.addTrack(event.track);
    // 设置srcObject
    ele.srcObject = stream;
  };
  // 获取codec
  const codec = await getRTCCodec(ip, port, cameraName);
  codec.forEach((c) =>
    pc.addTransceiver(c.Type, {
      direction: 'sendrecv',
    }),
  );
  // 协商事件
  async function handleNegotiationNeededEvent() {
    // 生成本地Offer
    let offer = await pc.createOffer();
    // 设置本地Offer
    await pc.setLocalDescription(offer);
    let receiver;
    try {
      // 获取远端 answer
      receiver = await getRTCReceiver(
        ip,
        port,
        cameraName,
        pc.localDescription?.sdp,
      );
      // 设置远端 answer
      await pc.setRemoteDescription(
        new RTCSessionDescription({
          type: 'answer',
          // 解码远端answer
          sdp: atob(receiver),
        }),
      );
    } catch (e) {
      console.log(e);
    }
  }
}
复制代码

这里有个小坑,我一开始没太注意,这里卡了一段时间:获取对端answer的post请求参数,是一个字符串,类似于get请求的query格式参数,只不过挪到了body中,并不是使用json

/**
 * 获取摄像头的receiver
 * @param ip
 * @param port
 * @param cameraName
 */
export async function getRTCReceiver(
  ip: string,
  port: string,
  cameraName: string,
  sdp: any,
): Promise<any> {
  return await basePost(
    `http://${ip}:${port}/stream/receiver/${cameraName}`,
    // base64 sdp
    `suuid=${cameraName}&data=${btoa(sdp)}`,
    {
      'Content-Type': 'application/x-www-form-urlencoded',
    },
    true,
    true,
  );
}
复制代码

效果展示

1682516929(1).png


相关文章
|
9月前
|
网络协议 Linux
音视频学习之rtsp推拉流学习2(流媒体服务器ZLMediaKit)
音视频学习之rtsp推拉流学习2(流媒体服务器ZLMediaKit)
725 0
|
Web App开发 前端开发
ZLMediaKit解决webrtc前端replaceTrack断流问题
ZLMediaKit解决webrtc前端replaceTrack断流问题
|
数据采集 开发工具 图形学
Android平台实现Unity3D下RTMP推送
像Unity3D下的RTMP或RTSP播放器一样,好多开发者苦于在Unity环境下,如何高效率低延迟的把数据采集并编码实时推送到流媒体服务器,实现Unity场景下的低延迟推拉流方案。
179 0
|
5月前
|
Web App开发 网络协议 Android开发
Android平台一对一音视频通话方案大比拼:WebRTC VS RTMP VS RTSP,谁才是王者?
【9月更文挑战第4天】本文详细对比了在Android平台上实现一对一音视频通话时常用的WebRTC、RTMP及RTSP三种技术方案。从技术原理、性能表现与开发难度等方面进行了深入分析,并提供了示例代码。WebRTC适合追求低延迟和高质量的场景,但开发成本较高;RTMP和RTSP则在简化开发流程的同时仍能保持较好的传输效果,适用于不同需求的应用场景。
281 1
|
6月前
|
缓存 视频直播 Linux
FFmpeg开发笔记(四十三)使用SRS开启SRT协议的视频直播服务
《FFmpeg开发实战》书中介绍了轻量级流媒体服务器MediaMTX,适合测试但不适用于生产环境。SRS是一款国产开源服务器,支持RTMP、SRT等协议,适合生产使用。要启用SRS的SRT推流,需配置`srt.conf`,开启SRT服务并配置端口。在确保FFmpeg集成libsrt后,拉流则使用类似但带有`m=request`的地址。在Windows上,同样需要集成libsrt的FFmpeg来使用ffplay拉流。SRS的日志确认了推拉流的成功。书中提供更深入的FFmpeg开发知识。
219 2
FFmpeg开发笔记(四十三)使用SRS开启SRT协议的视频直播服务
|
6月前
|
XML 监控 C#
Windows平台C#版RTSP转RTMP直播推送定制版
前几年我们发布了C++版的多路RTMP/RTSP转RTMP转发官方定制版。在秉承低延迟、灵活稳定、低资源占用的前提下,客户无需关注开发细节,只需图形化配置转发等各类参数,实现产品快速上线目的。如监控类摄像机、NVR等,通过厂商说明或Onvif工具,获取拉流的RTSP地址,图形化配置,完成拉流转发等操作,轻松实现标准RTMP服务器对接。
116 2
|
6月前
|
编解码 网络协议 开发工具
Android平台RTSP|RTMP直播播放器技术接入说明
大牛直播SDK自2015年发布RTSP、RTMP直播播放模块,迭代从未停止,SmartPlayer功能强大、性能强劲、高稳定、超低延迟、超低资源占用。无需赘述,全自研内核,行业内一致认可的跨平台RTSP、RTMP直播播放器。本文以Android平台为例,介绍下如何集成RTSP、RTMP播放模块。
221 0
|
移动开发 编解码 缓存
【知识拓展】音视频中的推流与拉流
【知识拓展】音视频中的推流与拉流
475 1
|
Web App开发 API
ZLMediaKit webrtc录像
ZLMediaKit webrtc录像
|
编解码 网络协议 Android开发
Android平台RTMP|RTSP直播播放器功能进阶探讨
很多开发者在跟我聊天的时候,经常问我,为什么一个RTMP或RTSP播放器,你们需要设计那么多的接口,真的有必要吗?带着这样的疑惑,我们今天聊聊Android平台RTMP、RTSP播放器常规功能,如软硬解码设置、实时音量调节、实时快照、实时录像、视频view翻转和旋转、画面填充模式设定、解码后YUV、RGB数据回调等:
208 0