基于声网的音视频SDK和FreeSWITCH开发WebRTC2SIP Gateway 方案和思路(一)

简介: 基于声网音视频SDK开发WebRTC2SIP Gateway的思路和步骤

为什么做这个?

今年初接到一个项目任务,客户要求在自己的音视频平台系统中集成webrtc功能(原系统是基于SIP协议开发的,已经稳定运行多年,有很多客户)。在比对了多家RTC产品的效果后,他们对声网音视频DEMO效果后非常满意,指定要求用声网的SD-RTN传输网络,全面改造客户端软件。据客户实测,在某些国家和地区,同样网络环境下比微信要好很多,比如在东非和中国之间语音通话,延迟很小、声音也更清晰。

话不多说,先列下客户要求和当前产品的问题:

1.要求全面改造Android、IOS、Windows、MacOS、Web版5个平台的客户端软件,原来的客户端分别是基于Pjsip、Linphone、Sipjs开发的;
2.要求在网络环境差的地方,也能满足清晰语音通话的要求(声网专为此而生);
3.最小侵入性,尽量不改变服务器端的系统功能,实现客户无感升级;
4.解决SIP协议经常碰到丢包、被过滤UDP等无法呼叫,或者呼叫听不清的问题;
5.解决SIP服务器经常被尝试攻击呼叫、恶意扫描注册攻击等行为,提高系统稳定性;
6.实现WebRTC协议和SIP协议的双向互通,既要兼容SIP呼叫,支持RTC客户端送呼叫到SIP Server,也要支持SIP Server呼入到客户端软件(在声网的音视频实时传输网传输)。

其实刚接到需求的时候,大家一起讨论分析过,觉得这种项目看着有不少预算,但是要做的是全平台的客户端,开发任务繁重,要考虑的细节也比较多,没准是个坑,能不能达到客户期望难说,多数同事不建议做。然后在领导和客户一起去happy一晚后,这活儿不知道怎么就接了下来(⊙ˍ⊙)

老板理由很简单,这也不做那也不做,那我们可以做什么?如果谁都能做,客户还会找我们吗? 那就干吧,马上行动,各种查资料,翻阅声网的技术开发文档,并咨询声网的技术同学。2天后拿出了初步方案。

基于1_系统架构图.png

解决思路:
1、自己写信令模块,保持灵活性,简单实现:开发TCP Server承担信令服务器;
2、核心是开发一个SIP2WebRTC/WebRTC2SIP协议转换网关,维护一个状态机;
3、开发音视频编解码处理器,解决声网语音和SIP语音编码互通;
4、开发一个状态管理模块,SessionManger,以维护客户端的状态IP+端口;
5、结合声网的音视频SDK,集成自己的信令模块,实现和WebRTC2SIP 模块通讯;
6、自定义常见的SIP呼叫信令,供各平台客户端保持一致。
常用的SIP 信令有:1注册、2呼叫、3接听、4挂断、5拒接、6取消、7Hold、8DTMF、9用户未反映、10用户离线、11Transfer、12会议(我简单介绍前面的6个)

我们暂且把这个系统命名为 WebRTC2SIP Connector 或者SIP2WebRTC Connector吧。至于为什么这么叫,我也不知道,可能叫XX Gateway的太多了,不这么叫显不出声网的SD-RTN有多牛X,我是他爹,想叫什么都可以。

理清思路后,我们需要确认几个核心问题:
1、 以哪个平台的SDK为基础开发这个WebRTC2SIP Connector 核心模块?
2、 Agora SDK是否支持多并发呼叫?
3、 声网的语音编码格式和视频编码格式是什么?采样率多少?
4、 SIP客户测有没有什么具体的编码要求?客户可接受固定一个语音编码,我选择PCMA

这里特别感谢一下声网,对我们这种小众需求做出了快速响应,也感谢声网技术支持同学Nemo,专门来到公司交流了几个小时,并分享了一些技术信息。

他建议我们:
1、 用Agora Windows SDK 或者 Linux SDK 开发协议转换模块;
2、 2个SDK都支持多并发呼叫;
3、 语音是pcm格式,视频是yuv格式;采样率是48khz

到这里心里有数了,简要文字描述下大概流程就是:
1、各客户端SDK启动的时候,发起TCP连接,登录TCP Server信令服务器, WebRTC2SIP转接模块初始化也发起TCP连接登录TCP Server ,由TCP Server记录大家的UID,IP和端口等信息。
2、呼叫的时候,申请一个房间号,并根据自定义信令格式发起calling 报文,TCP Server收到后,转发给转接模块WebRTC2SIP ,WebRTC2SIP收到后创建1个线程,解析报文,并启动声网的SDK,加入指定房间号,开始读取音频流程,同时启动线程,封装SIP标准报文,发起sip invite请求给电话服务器SIP Server; SIP Server收到呼叫请求就去呼叫被叫电话号码,并返回ring振铃信号;WebRTC2SIP收到振铃信号,封装自定义的振铃信息给客户端SDK,被叫接听后,WebRTC2SIP,启动Media Coder开始解析媒体流,并resample 后,写入到声网的房间里面。实现语音通话。描述个大概,相信能看明白。
3、从SIP呼入到声网的SDK,大同小异,反过来。

这里要注意:
1、每个终端都要自定义编号;
2、每个呼叫都要加入声网的房间channel 实现音视频互通;
3、因为编码不一样,所以需要resample 这个很重要,不要接通了没有声音,双方不匹配。
4、WebRTC2SIP 模块要多线程方式处理,以实现并发呼叫;
5、WebRTC2SIP 模块要维护一个完整的状态机,给每个通话加唯一编号,不至于出错。

到现在我们讲清楚了大概的解决方案和技术思路,看到这里,各位客官应该明白了,其实这个做起来没啥难度,至少现在看来是这样的。

相关文章
|
3天前
|
编解码 视频直播 开发工具
|
8月前
|
算法 IDE 开发工具
火爆全网开源额温枪同平台之华大HC32L136 SDK开发入门
火爆全网开源额温枪同平台之华大HC32L136 SDK开发入门
152 1
|
1天前
|
Java 开发工具 Maven
Android SDK开发的那些事(1),已整理成文档
Android SDK开发的那些事(1),已整理成文档
|
3天前
|
开发工具 CDN 容器
基于Html+腾讯云播SDK开发的m3u8播放器
周末业余时间在家无事,学习了一下腾讯的云播放sdk,并制作了一个小demo(m3u8播放器),该在线工具是基于腾讯的云播sdk开发的,云播sdk非常牛,可以支持多种播放格式。
132 1
|
6月前
|
API 开发工具 C#
一套基于 .NET Core 开发的支付SDK集 - paylink
一套基于 .NET Core 开发的支付SDK集 - paylink
|
3天前
|
负载均衡 算法 Java
SDK并发调用优化方案
SDK并发调用优化方案
|
3天前
|
Java 芯片 Docker
docker运行声网linux-server-sdk示例
docker运行声网linux-server-sdk示例
32 1
|
3天前
|
Linux
jetbrains-gateway远端开发
jetbrains-gateway远端开发
49 1
|
3天前
|
API 开发工具 C#
[相机开发] VC++联合相机SDK开发
[相机开发] VC++联合相机SDK开发
46 0
|
3天前
|
人工智能 缓存 前端开发
下一代 AI 开发工具Vercel AI SDK 快速入门
下一代 AI 开发工具Vercel AI SDK 快速入门
103 0