Android平台一对一音视频通话方案对比:WebRTC VS RTMP VS RTSP

简介: Android平台一对一音视频通话方案对比:WebRTC VS RTMP VS RTSP

一对一音视频通话使用场景

一对一音视频通话都需要稳定、清晰和流畅,以确保良好的用户体验,常用的使用场景如下:

  1. 社交应用:社交应用是一种常见的使用场景,用户可以通过音视频通话进行面对面的交流;
  2. 在线教育:老师和学生可以通过音视频通话功能进行实时互动,提高教学效率;
  3. 远程协助:在某些工作场景下,比如应急指挥项目,需要通过音视频通话功能进行远程协助,进行技术支持、维修服务等;
  4. 视频会议:一对一的音视频通话是视频会议非常重要的一部分,用于两个参会者之间的沟通,当然也可以合流输出;
  5. 语音通话:使用语音通话,如在行车过程中,此时语音通话就是一个很好的选择。

一对一音视频通话技术方案

WebRTC方案

在Android平台上实现一对一音视频通话,你可以使用WebRTC,WebRTC提供了实时音视频通话的功能。以下是一个简单的步骤说明如何实现:

  1. 设置环境:首先,你需要在你的开发环境中安装Android Studio,并且配置好必要的SDK;
  2. 添加依赖:在你的项目中,你需要添加WebRTC的库。在你的build.gradle文件中添加如下依赖;
  3. 实现音视频捕获:你需要实现音视频的捕获。在Java中,你可以使用AudioRecord和VideoCapturer类来实现;
  4. 创建PeerConnection:创建PeerConnection对象,这个对象会用于音视频的编解码和网络传输;
  5. 显示本地音视频流:使用MediaStream.VideoTrack和MediaStream.AudioTrack将捕获的音视频流添加到PeerConnection中,然后通过VideoRenderer和AudioRenderer显示出来;
  6. 创建并发送offer:创建并发送一个offer,这个offer包含了你的音视频通道信息以及你愿意接受的连接参数;
  7. 接收并解析offer:在另一端,接收到offer后,解析出音视频通道信息以及连接参数,然后创建并返回一个answer;
  8. 接收answer:在本地,接收到answer后,解析出音视频通道信息以及连接参数,然后创建并启动对应的通道。

RTMP方案

RTMP是一种基于TCP的流媒体协议,主要用于视频直播。它提供了实时传输音频和视频的功能,可以用于一对一或一对多的场景,RTMP可用于内网或公网环境下,缺点是需要单独部署RTMP Server,数据通过RTMP Server中转,配合低延迟的RTMP Player,互动可以很轻松的在毫秒级。

smartechocancellation.jpg

以大牛直播SDK的demo为例,RTMP推送的代码如下:

classButtonPushStartListenerimplementsOnClickListener    {
publicvoidonClick(Viewv)
        {    
if (isPushingRtmp)
            {
stopPush();
btnPushStartStop.setText("推送RTMP");
isPushingRtmp=false;
return;
            }
Log.i(PUSH_TAG, "onClick start push rtmp..");
if (libPublisher==null)
return;
InitPusherAndSetConfig();
Log.i(PUSH_TAG, "videoWidth: "+pushVideoWidth+" videoHeight: "+pushVideoHeight+" pushType:"+pushType);
if ( libPublisher.SmartPublisherSetURL(publisherHandle, publishURL) !=0 )
            {
Log.e(PUSH_TAG, "Failed to set rtmp pusher URL..");
            }
intstartRet=libPublisher.SmartPublisherStartPublisher(publisherHandle);
if (startRet!=0) {
isPushingRtmp=false;
Log.e(TAG, "Failed to start push stream..");
return;
            }
CheckInitAudioRecorder();
btnPushStartStop.setText("停止推送 ");
isPushingRtmp=true;
    };

停止RTMP推送:

//停止rtmp推送privatevoidstopPush() {
if(!isPushingRtmp)
  {
return;
  }
if ( !isRTSPPublisherRunning) {
if (audioRecord_!=null) {
Log.i(TAG, "stopPush, call audioRecord_.StopRecording..");
audioRecord_.Stop();
if (audioRecordCallback_!=null) {
audioRecord_.RemoveCallback(audioRecordCallback_);
audioRecordCallback_=null;
      }
audioRecord_=null;
    }
  }
if (libPublisher!=null) {
libPublisher.SmartPublisherStopPublisher(publisherHandle);
  }
if (!isRTSPPublisherRunning) {
if (publisherHandle!=0) {
if (libPublisher!=null) {
libPublisher.SmartPublisherClose(publisherHandle);
publisherHandle=0;
      }
    }
  }
}

RTMP播放:

btnPlaybackStartStopPlayback.setOnClickListener(newButton.OnClickListener() 
        {  
//  @Override  publicvoidonClick(Viewv) {  
if(isPlaybackViewStarted)
                  {
btnPlaybackStartStopPlayback.setText("开始播放 ");
if ( playerHandle!=0 )
                  {
libPlayer.SmartPlayerStopPlay(playerHandle);
libPlayer.SmartPlayerClose(playerHandle);
playerHandle=0;
                  }
isPlaybackViewStarted=false;
                  }
else                  {
Log.i(PLAY_TAG, "Start playback stream++");
playerHandle=libPlayer.SmartPlayerOpen(curContext);
if(playerHandle==0)
                      {
Log.e(PLAY_TAG, "sur faceHandle with nil..");
return;
                      }
libPlayer.SetSmartPlayerEventCallbackV2(playerHandle,
newEventHandePlayerV2());
libPlayer.SmartPlayerSetSurface(playerHandle, playerSurfaceView);   //if set the second param with null, it means it will playback audio only..libPlayer.SmartPlayerSetRenderScaleMode(playerHandle, 1);
libPlayer.SmartPlayerSetExternalAudioOutput(playerHandle, newPlayerExternalPcmOutput());
libPlayer.SmartPlayerSetAudioOutputType(playerHandle, 1);
libPlayer.SmartPlayerSetBuffer(playerHandle, playbackBuffer);
libPlayer.SmartPlayerSetFastStartup(playerHandle, isPlaybackFastStartup?1:0);
if ( isPlaybackMute )
                      {
libPlayer.SmartPlayerSetMute(playerHandle, isPlaybackMute?1:0);
                      }
if (isPlaybackHardwareDecoder) {
intisSupportHevcHwDecoder=libPlayer.SetSmartPlayerVideoHevcHWDecoder(playerHandle,1);
intisSupportH264HwDecoder=libPlayer                        .SetSmartPlayerVideoHWDecoder(playerHandle,1);
Log.i(TAG, "isSupportH264HwDecoder: "+isSupportH264HwDecoder+", isSupportHevcHwDecoder: "+isSupportHevcHwDecoder);
                  }
libPlayer.SmartPlayerSetAudioVolume(playerHandle, curAudioVolume);
libPlayer.SmartPlayerSetUrl(playerHandle, playbackUrl);
intiPlaybackRet=libPlayer.SmartPlayerStartPlay(playerHandle);
if( iPlaybackRet!=0 )
                      {
libPlayer.SmartPlayerClose(playerHandle);
playerHandle=0;
Log.e(PLAY_TAG, "StartPlayback strem failed.."); 
return;
                      }
btnPlaybackStartStopPlayback.setText("停止播放 ");
btnPlaybackPopInputUrl.setEnabled(false);
btnPlaybackHardwareDecoder.setEnabled(false);
btnPlaybackSetPlayBuffer.setEnabled(false);
btnPlaybackFastStartup.setEnabled(false);
isPlaybackViewStarted=true;
Log.i(PLAY_TAG, "Start playback stream--");
                  }
                }
        });

轻量级RTSP服务+RTSP播放方案

纯内网环境下,两个终端可同时开启轻量级RTSP服务,然后相互拉取对方回调上来的RTSP URL,通过回音消除等,实现智能化场景的一对一音视频互动,不然智能门禁等场景,均可使用,实测延迟毫秒级,不影响互动体验,效果非常好:

对应的代码如下:

//Author: daniusdk.com    //启动/停止RTSP服务classButtonRtspServiceListenerimplementsOnClickListener {
publicvoidonClick(Viewv) {
if (isRTSPServiceRunning) {
stopRtspService();
btnRtspService.setText("启动RTSP服务");
btnRtspPublisher.setEnabled(false);
isRTSPServiceRunning=false;
return;
            }
Log.i(TAG, "onClick start rtsp service..");
rtsp_handle_=libPublisher.OpenRtspServer(0);
if (rtsp_handle_==0) {
Log.e(TAG, "创建rtsp server实例失败! 请检查SDK有效性");
            } else {
intport=8554;
if (libPublisher.SetRtspServerPort(rtsp_handle_, port) !=0) {
libPublisher.CloseRtspServer(rtsp_handle_);
rtsp_handle_=0;
Log.e(TAG, "创建rtsp server端口失败! 请检查端口是否重复或者端口不在范围内!");
                }
//String user_name = "admin";//String password = "12345";//libPublisher.SetRtspServerUserNamePassword(rtsp_handle_, user_name, password);if (libPublisher.StartRtspServer(rtsp_handle_, 0) ==0) {
Log.i(TAG, "启动rtsp server 成功!");
                } else {
libPublisher.CloseRtspServer(rtsp_handle_);
rtsp_handle_=0;
Log.e(TAG, "启动rtsp server失败! 请检查设置的端口是否被占用!");
                }
btnRtspService.setText("停止RTSP服务");
btnRtspPublisher.setEnabled(true);
isRTSPServiceRunning=true;
            }
        }
    }

发布RTSP流:

//发布/停止RTSP流classButtonRtspPublisherListenerimplementsOnClickListener {
publicvoidonClick(Viewv) {
if (isRTSPPublisherRunning) {
stopRtspPublisher();
if (!isPushingRtmp) {
ConfigControlEnable(true);
                }
btnRtspPublisher.setText("发布RTSP流");
btnGetRtspSessionNumbers.setEnabled(false);
btnRtspService.setEnabled(true);
isRTSPPublisherRunning=false;
return;
            }
Log.i(TAG, "onClick start rtsp publisher..");
if (!isPushingRtmp) {
InitPusherAndSetConfig();
            }
if (publisherHandle==0) {
Log.e(TAG, "Start rtsp publisher, publisherHandle is null..");
return;
            }
Stringrtsp_stream_name="stream1";
libPublisher.SetRtspStreamName(publisherHandle, rtsp_stream_name);
libPublisher.ClearRtspStreamServer(publisherHandle);
libPublisher.AddRtspStreamServer(publisherHandle, rtsp_handle_, 0);
if (libPublisher.StartRtspStream(publisherHandle, 0) !=0) {
Log.e(TAG, "调用发布rtsp流接口失败!");
return;
            }
if (!isPushingRtmp) {
if (pushType==0||pushType==1) {
CheckInitAudioRecorder();    //enable pure video publisher..                }
ConfigControlEnable(false);
            }
startLayerPostThread();
btnRtspPublisher.setText("停止RTSP流");
btnGetRtspSessionNumbers.setEnabled(true);
btnRtspService.setEnabled(false);
isRTSPPublisherRunning=true;
        }
    }


获取RTSP流会话链接数:

//当前RTSP会话数弹出框privatevoidPopRtspSessionNumberDialog(intsession_numbers) {
finalEditTextinputUrlTxt=newEditText(this);
inputUrlTxt.setFocusable(true);
inputUrlTxt.setEnabled(false);
Stringsession_numbers_tag="RTSP服务当前客户会话数: "+session_numbers;
inputUrlTxt.setText(session_numbers_tag);
AlertDialog.BuilderbuilderUrl=newAlertDialog.Builder(this);
builderUrl                .setTitle("内置RTSP服务")
                .setView(inputUrlTxt).setNegativeButton("确定", null);
builderUrl.show();
    }
//获取RTSP会话数classButtonGetRtspSessionNumbersListenerimplementsOnClickListener {
publicvoidonClick(Viewv) {
if (libPublisher!=null&&rtsp_handle_!=0) {
intsession_numbers=libPublisher.GetRtspServerClientSessionNumbers(rtsp_handle_);
Log.i(TAG, "GetRtspSessionNumbers: "+session_numbers);
PopRtspSessionNumberDialog(session_numbers);
            }
        }
    }

播放RTSP不再赘述,和播放RTMP一样,只是URL类型不一样,需要注意的是,不管走RTMP还是RTSP,都需要开启回音消除。

技术总结

Android平台一对一互动,纯内网环境下,不部署单独的流媒体服务器,走轻量级RTSP服务真的非常方便,如果需要扩展到公网业务,建议可以考虑RTMP,如果有很好的开发能力,也可以考虑WebRTC,具体根据实际场景选择即可。

相关文章
|
8天前
|
Android开发
Android MediaTek 平台增加UART接口的红外模块支持,支持NEC红外遥控
Android MediaTek 平台增加UART接口的红外模块支持,支持NEC红外遥控
11 0
|
3月前
|
Android开发
安卓SO层开发 -- 编译指定平台的SO文件
安卓SO层开发 -- 编译指定平台的SO文件
35 0
|
3月前
|
Web App开发 小程序 前端开发
【产品上新】小程序新内核来了!提升安卓浏览器性能,支持WebRTC
【产品上新】小程序新内核来了!提升安卓浏览器性能,支持WebRTC
41 0
|
2月前
|
API 开发工具 Android开发
iOS 和 Android 平台的开发有哪些主要区别?
iOS与Android开发区别:iOS用Objective-C/Swift,App Store唯一下载渠道;Android用Java/Kotlin,多商店发布(如Google Play、华为市场)。设计上,iOS简洁一致,Android灵活可定制。开发工具,iOS用Xcode,Android用Android Studio。硬件和系统多样性,iOS统一,Android复杂。权限管理、审核流程及API各有特点,开发者需依据目标平台特性进行选择。
29 3
|
7天前
|
存储 Linux Android开发
Android存储分区与Rockchip平台的分区命名及U-Boot配置
Android存储分区与Rockchip平台的分区命名及U-Boot配置
13 0
|
7天前
|
Android开发
Android 新建一个lunch项(全志方案)
Android 新建一个lunch项(全志方案)
10 0
|
8天前
|
存储 安全 Ubuntu
Android 生成平台应用签名keystore文件
Android 生成平台应用签名keystore文件
8 0
|
2月前
|
运维 监控 Java
应用研发平台EMAS产品常见问题之安卓构建版本失败如何解决
应用研发平台EMAS(Enterprise Mobile Application Service)是阿里云提供的一个全栈移动应用开发平台,集成了应用开发、测试、部署、监控和运营服务;本合集旨在总结EMAS产品在应用开发和运维过程中的常见问题及解决方案,助力开发者和企业高效解决技术难题,加速移动应用的上线和稳定运行。
|
2月前
|
运维 监控 Android开发
应用研发平台EMAS常见问题之安卓push的离线转通知目前无法收到如何解决
应用研发平台EMAS(Enterprise Mobile Application Service)是阿里云提供的一个全栈移动应用开发平台,集成了应用开发、测试、部署、监控和运营服务;本合集旨在总结EMAS产品在应用开发和运维过程中的常见问题及解决方案,助力开发者和企业高效解决技术难题,加速移动应用的上线和稳定运行。
25 1
|
4月前
|
编解码 测试技术 开发工具
如何实现Android视音频数据对接到GB28181平台(SmartGBD)
如何实现Android视音频数据对接到GB28181平台(SmartGBD)