AI 助理
备案控制台
开发者社区 视觉智能 文章 正文

Android平台如何实现多路低延迟RTSP|RTMP播放？

2024-08-13 105
版权
版权声明：
本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《 阿里云开发者社区用户服务协议》和 《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写 侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。
本文涉及的产品
视觉智能开放平台，分割抠图1万点
视觉智能开放平台，图像资源包5000点
视觉智能开放平台，视频资源包5000点
简介： 本文档详细介绍了大牛直播SDK在Android平台上实现RTSP与RTMP流媒体播放及录像功能的技术细节。早在2015年，SDK的第一版就已经支持了多实例播放，并且通过简单的实例封装就能轻松实现。文档中提供了代码示例，展示了如何开启播放、停止播放以及开始和停止录像等功能。此外，SDK还提供了丰富的配置选项，例如设置录像目录、文件大小限制、转码选项等。总结部分列出了该SDK的关键特性，包括但不限于高稳定性和低延迟的播放能力、多实例支持、事件回调、硬解码支持、网络状态监控以及复杂的网络环境处理等。这些功能使得SDK能够应对各种应用场景，特别是在对延迟和稳定性有极高要求的情况下表现优异。

技术背景

实际上，我们在2015年做Android平台RTSP、RTMP播放模块的时候，第一版就支持了多实例播放，因为SDK设计比较灵活，做个简单的player实例封装即可实现多实例播放（Android Unity的就有多路demo），所以官方一直没有正式demo，本次也是有个开发者提到，希望测试下我们多路播放的效果，自己又不想做封装，索性给做个版本。

技术实现

废话不多说，先上图：

image.gif

我们针对的功能展示，主要是播放和录像这块，先说播放：

/*
 * SmartPlayer.java
 * Author: https://daniusdk.com
 * Created by DaniuLive on 2015/09/26.
 */
class ButtonPlayback1Listener implements View.OnClickListener {
    public void onClick(View v) {
        if (stream_player_1_.is_playing()) {
            Log.i(TAG, "Stop player1..");
            boolean iRet = stream_player_1_.StopPlayer();
            if (!iRet) {
                Log.e(TAG, "Call StopPlayer failed..");
                return;
            }
            stream_player_1_.try_release();
            btn_playback1.setText("开始播放1");
            SetViewVisibility(surface_view_1_);
        } else {
            Log.i(TAG, "Start playback stream1++");
            int play_buffer = 0;
            int is_using_tcp = 0;
            if(!stream_player_1_.OpenPlayerHandle(playback_url_1_, play_buffer, is_using_tcp))
                return;
            stream_player_1_.SetView(surface_view_1_);
            boolean is_mute = false;
            boolean iPlaybackRet = stream_player_1_.StartPlayer(isHardwareDecoder, is_enable_hardware_render_mode, is_mute);
            if (!iPlaybackRet) {
                Log.e(TAG, "Call StartPlayer failed..");
                return;
            }
            btn_playback1.setText("停止播放1");
        }
    }
}

image.gif

对应的OpenPlayerHandle()实现如下：

/*
 * LibPlayerWrapper.java.java
 * Author: https://daniusdk.com
 */
public boolean OpenPlayerHandle(String playback_url, int play_buffer, int is_using_tcp) {
    if (check_native_handle())
        return true;
    if(!isValidRtspOrRtmpUrl(playback_url))
        return false;
    long handle = lib_player_.SmartPlayerOpen(application_context());
    if (0==handle) {
        Log.e(TAG, "sdk open failed!");
        return false;
    }
    lib_player_.SetSmartPlayerEventCallbackV2(handle, new EventHandleV2());
    lib_player_.SmartPlayerSetBuffer(handle, play_buffer);
    // set report download speed(默认2秒一次回调 用户可自行调整report间隔)
    lib_player_.SmartPlayerSetReportDownloadSpeed(handle, 1, 4);
    boolean isFastStartup = true;
    lib_player_.SmartPlayerSetFastStartup(handle, isFastStartup ? 1 : 0);
    //设置RTSP超时时间
    int rtsp_timeout = 10;
    lib_player_.SmartPlayerSetRTSPTimeout(handle, rtsp_timeout);
    //设置RTSP TCP/UDP模式自动切换
    int is_auto_switch_tcp_udp = 1;
    lib_player_.SmartPlayerSetRTSPAutoSwitchTcpUdp(handle, is_auto_switch_tcp_udp);
    lib_player_.SmartPlayerSaveImageFlag(handle, 1);
    // It only used when playback RTSP stream..
    lib_player_.SmartPlayerSetRTSPTcpMode(handle, is_using_tcp);
    lib_player_.DisableEnhancedRTMP(handle, 0);
    lib_player_.SmartPlayerSetUrl(handle, playback_url);
    set(handle);
    return true;
}

image.gif

对应的开始播放、停止播放设计：

/*
 * LibPlayerWrapper.java
 * Author: https://daniusdk.com
 */
public boolean StartPlayer(boolean is_hardware_decoder, boolean is_enable_hardware_render_mode, boolean is_mute) {
    if (is_playing()) {
        Log.e(TAG, "already playing, native_handle:" + get());
        return false;
    }
    SetPlayerParam(is_hardware_decoder, is_enable_hardware_render_mode, is_mute);
    int ret = lib_player_.SmartPlayerStartPlay(get());
    if (ret != OK) {
        Log.e(TAG, "call StartPlay failed, native_handle:" + get() + ", ret:" + ret);
        return false;
    }
    write_lock_.lock();
    try {
        this.is_playing_ = true;
    } finally {
        write_lock_.unlock();
    }
    Log.i(TAG, "call StartPlayer OK, native_handle:" + get());
    return true;
}
public boolean StopPlayer() {
    if (!check_native_handle())
        return false;
    if (!is_playing()) {
        Log.w(TAG, "it's not playing, native_handle:" + get());
        return false;
    }
    boolean is_need_call = false;
    write_lock_.lock();
    try {
        if (this.is_playing_) {
            this.is_playing_ = false;
            is_need_call = true;
        }
    } finally {
        write_lock_.unlock();
    }
    if (is_need_call)
        lib_player_.SmartPlayerStopPlay(get());
    return true;
}

image.gif

录像设计：

/*
 * SmartPlayer.java
 * Author: https://daniusdk.com
 */
class ButtonRecorder1Listener implements View.OnClickListener {
    public void onClick(View v) {
        if (stream_player_1_.is_recording()) {
            Log.i(TAG, "Stop recorder1..");
            boolean iRet = stream_player_1_.StopRecorder();
            if (!iRet) {
                Log.e(TAG, "Call StopRecorder failed..");
                return;
            }
            stream_player_1_.try_release();
            btn_recorder1.setText("开始录像1");
        } else {
            Log.i(TAG, "Start recorder stream1++");
            int play_buffer = 0;
            int is_using_tcp = 0;
            if(!stream_player_1_.OpenPlayerHandle(playback_url_1_, play_buffer, is_using_tcp))
                return;
            stream_player_1_.ConfigRecorderParam(recDir, 400, 1, 1, 1);
            boolean iRecRet = stream_player_1_.StartRecorder();
            if (!iRecRet) {
                Log.e(TAG, "Call StartRecorder failed..");
                return;
            }
            btn_recorder1.setText("停止录像1");
        }
    }
}

image.gif

录像参数配置选项：

/*
 * LibPlayerWrapper.java
 * Author: https://daniusdk.com
 */
public boolean ConfigRecorderParam(String rec_dir, int file_max_size, int is_transcode_aac,
                                   int is_record_video, int is_record_audio) {
    if(!check_native_handle())
        return false;
    if (null == rec_dir || rec_dir.isEmpty())
        return false;
    int ret = lib_player_.SmartPlayerCreateFileDirectory(rec_dir);
    if (ret != 0) {
        Log.e(TAG, "Create record dir failed, path:" + rec_dir);
        return false;
    }
    if (lib_player_.SmartPlayerSetRecorderDirectory(get(), rec_dir) != 0) {
        Log.e(TAG, "Set record dir failed , path:" + rec_dir);
        return false;
    }
    if (lib_player_.SmartPlayerSetRecorderFileMaxSize(get(),file_max_size) != 0) {
        Log.e(TAG, "SmartPlayerSetRecorderFileMaxSize failed.");
        return false;
    }
    lib_player_.SmartPlayerSetRecorderAudioTranscodeAAC(get(), is_transcode_aac);
    // 更细粒度控制录像的, 一般情况无需调用
    lib_player_.SmartPlayerSetRecorderVideo(get(), is_record_video);
    lib_player_.SmartPlayerSetRecorderAudio(get(), is_record_audio);
    return true;
}

image.gif

开始录像、结束录像：

/*
 * LibPlayerWrapper.java
 * Author: https://daniusdk.com
 */
public boolean StartRecorder() {
    if (is_recording()) {
        Log.e(TAG, "already recording, native_handle:" + get());
        return false;
    }
    int ret = lib_player_.SmartPlayerStartRecorder(get());
    if (ret != OK) {
        Log.e(TAG, "call SmartPlayerStartRecorder failed, native_handle:" + get() + ", ret:" + ret);
        return false;
    }
    write_lock_.lock();
    try {
        this.is_recording_ = true;
    } finally {
        write_lock_.unlock();
    }
    Log.i(TAG, "call SmartPlayerStartRecorder OK, native_handle:" + get());
    return true;
}
public boolean StopRecorder() {
    if (!check_native_handle())
        return false;
    if (!is_recording()) {
        Log.w(TAG, "it's not recording, native_handle:" + get());
        return false;
    }
    boolean is_need_call = false;
    write_lock_.lock();
    try {
        if (this.is_recording_) {
            this.is_recording_ = false;
            is_need_call = true;
        }
    } finally {
        write_lock_.unlock();
    }
    if (is_need_call)
        lib_player_.SmartPlayerStopRecorder(get());
    return true;
}

image.gif

总结

说了这么多，以RTSP播放为例，大概说下实现的功能：

  • [支持播放协议]高稳定、超低延迟、业内首屈一指的RTSP直播播放器SDK；
  • [多实例播放]支持多实例播放；
  • [事件回调]支持网络状态、buffer状态等回调；
  • [视频格式]支持H.265、H.264，此外，还支持RTSP MJPEG播放；
  • [音频格式]支持AAC/PCMA/PCMU；
  • [H.264/H.265软解码]支持H.264/H.265软解；
  • [H.264硬解码]Windows/Android/iOS支持特定机型H.264硬解；
  • [H.265硬解]Windows/Android/iOS支持特定机型H.265硬解；
  • [H.264/H.265硬解码]Android支持设置Surface模式硬解和普通模式硬解码；
  • [RTSP模式设置]支持RTSP TCP/UDP模式设置；
  • [RTSP TCP/UDP自动切换]支持RTSP TCP、UDP模式自动切换；
  • [RTSP超时设置]支持RTSP超时时间设置，单位：秒；
  • [RTSP 401认证处理]支持上报RTSP 401事件，如URL携带鉴权信息，会自动处理；
  • [缓冲时间设置]支持buffer time设置；
  • [首屏秒开]支持首屏秒开模式；
  • [复杂网络处理]支持断网重连等各种网络环境自动适配；
  • [快速切换URL]支持播放过程中，快速切换其他URL，内容切换更快；
  • [音视频多种render机制]Android平台，视频：surfaceview/OpenGL ES，音频：AudioTrack/OpenSL ES；
  • [实时静音]支持播放过程中，实时静音/取消静音；
  • [实时音量调节]支持播放过程中实时调节音量；
  • [实时快照]支持播放过程中截取当前播放画面；
  • [只播关键帧]Windows平台支持实时设置是否只播放关键帧；
  • [渲染角度]支持0°，90°，180°和270°四个视频画面渲染角度设置；
  • [渲染镜像]支持水平反转、垂直反转模式设置；
  • [等比例缩放]支持图像等比例缩放绘制(Android设置surface模式硬解模式不支持)；
  • [实时下载速度更新]支持当前下载速度实时回调(支持设置回调时间间隔)；
  • [解码前视频数据回调]支持H.264/H.265数据回调；
  • [解码后视频数据回调]支持解码后YUV/RGB数据回调；
  • [解码前音频数据回调]支持AAC/PCMA/PCMU数据回调；
  • [音视频自适应]支持播放过程中，音视频信息改变后自适应；
  • [扩展录像功能]完美支持和录像SDK组合使用。

上面只是简单的播放、录像的演示，除此之外，大牛直播SDK的RTSP、RTMP播放器海康实现播放缓冲设置、软硬解码设置、实时快照、实时音量调节、实时解码后数据回调等。毫秒级延迟，完全满足对延迟、稳定性要求苛刻的场景下。感兴趣的开发者，可以单独和我沟通。

文章标签：
Android开发
开发工具
编解码
Windows
网络协议
关键词：
Android平台
Android平台rtsp
Android平台rtmp
Android rtsp
Android rtmp
音视频牛哥
目录
相关文章
shuj
|
2月前
|
Java Android开发 Swift
安卓与iOS开发对比：平台选择对项目成功的影响
【10月更文挑战第4天】在移动应用开发的世界中，选择合适的平台是至关重要的。本文将深入探讨安卓和iOS两大主流平台的开发环境、用户基础、市场份额和开发成本等方面的差异，并分析这些差异如何影响项目的最终成果。通过比较这两个平台的优势与挑战，开发者可以更好地决定哪个平台更适合他们的项目需求。
shuj
121 1
游客moiomvrp3vyac2
|
3月前
|
IDE Android开发 iOS开发
探索Android与iOS开发的差异：平台选择对项目成功的影响
【9月更文挑战第27天】在移动应用开发的世界中，Android和iOS是两个主要的操作系统平台。每个系统都有其独特的开发环境、工具和用户群体。本文将深入探讨这两个平台的关键差异点，并分析这些差异如何影响应用的性能、用户体验和最终的市场表现。通过对比分析，我们将揭示选择正确的开发平台对于确保项目成功的重要作用。
游客moiomvrp3vyac2
59 4
mrq4nk6ni2neg
|
16天前
|
IDE 开发工具 Android开发
移动应用开发之旅：探索Android和iOS平台
在这篇文章中，我们将深入探讨移动应用开发的两个主要平台——Android和iOS。我们将了解它们的操作系统、开发环境和工具，并通过代码示例展示如何在这两个平台上创建一个简单的“Hello World”应用。无论你是初学者还是有经验的开发者，这篇文章都将为你提供有价值的信息和技巧，帮助你更好地理解和掌握移动应用开发。
mrq4nk6ni2neg
40 17
aqi00
|
2月前
|
Linux API 开发工具
FFmpeg开发笔记（五十九）Linux编译ijkplayer的Android平台so库
ijkplayer是由B站研发的移动端播放器，基于FFmpeg 3.4，支持Android和iOS。其源码托管于GitHub，截至2024年9月15日，获得了3.24万星标和0.81万分支，尽管已停止更新6年。本文档介绍了如何在Linux环境下编译ijkplayer的so库，以便在较新的开发环境中使用。首先需安装编译工具并调整/tmp分区大小，接着下载并安装Android SDK和NDK，最后下载ijkplayer源码并编译。详细步骤包括环境准备、工具安装及库编译等。更多FFmpeg开发知识可参考相关书籍。
aqi00
110 0
FFmpeg开发笔记（五十九）Linux编译ijkplayer的Android平台so库
游客moiomvrp3vyac2
|
3月前
|
开发工具 Android开发 iOS开发
安卓与iOS开发环境对比：选择适合你的平台
【9月更文挑战第26天】在移动应用开发的广阔天地中，安卓和iOS是两大巨头。它们各自拥有独特的优势和挑战，影响着开发者的选择和决策。本文将深入探讨这两个平台的开发环境，帮助你理解它们的核心差异，并指导你根据个人或项目需求做出明智的选择。无论你是初学者还是资深开发者，了解这些平台的异同都至关重要。让我们一起探索，找到最适合你的那片开发天地。
游客moiomvrp3vyac2
39 1
音视频牛哥
|
3月前
|
Android开发 开发者
Android平台无纸化同屏如何实现实时录像功能
Android平台无纸化同屏，如果需要本地录像的话，实现难度不大，只要复用之前开发的录像模块的就可以，对我们来说，同屏采集这块，只是数据源不同而已，如果是自采集的其他数据，我们一样可以编码录像。
音视频牛哥
31 0
音视频牛哥
|
3月前
|
安全 API 开发工具
Android平台RTMP推送|轻量级RTSP服务如何实现麦克风|扬声器声音采集切换
Android平台扬声器播放声音的采集，在无纸化同屏等场景下，意义很大，早期低版本的Android设备，是没法直接采集扬声器audio的（从Android 10开始支持），所以，如果需要采集扬声器audio，需要先做系统版本判断，添加相应的权限。
音视频牛哥
82 0
范大脚脚
|
Android开发 数据格式 XML
android 54 播放音视频
范大脚脚
1074 0
mrq4nk6ni2neg
|
16天前
|
搜索推荐 前端开发 API
探索安卓开发中的自定义视图：打造个性化用户界面
在安卓应用开发的广阔天地中，自定义视图是一块神奇的画布，让开发者能够突破标准控件的限制，绘制出独一无二的用户界面。本文将带你走进自定义视图的世界，从基础概念到实战技巧，逐步揭示如何在安卓平台上创建和运用自定义视图来提升用户体验。无论你是初学者还是有一定经验的开发者，这篇文章都将为你打开新的视野，让你的应用在众多同质化产品中脱颖而出。
mrq4nk6ni2neg
40 19
请看我回答~
|
16天前
|
JSON Java API
探索安卓开发：打造你的首个天气应用
在这篇技术指南中，我们将一起潜入安卓开发的海洋，学习如何从零开始构建一个简单的天气应用。通过这个实践项目，你将掌握安卓开发的核心概念、界面设计、网络编程以及数据解析等技能。无论你是初学者还是有一定基础的开发者，这篇文章都将为你提供一个清晰的路线图和实用的代码示例，帮助你在安卓开发的道路上迈出坚实的一步。让我们一起开始这段旅程，打造属于你自己的第一个安卓应用吧！
请看我回答~
41 14

视觉智能

热门文章

最新文章

  • 1
    基于深度学习的自然场景文字检测及端到端的OCR中文文字识别
  • 2
    [AR]ImageTarget(图像识别)
  • 3
    Python黑科技：50行代码运用Python＋OpenCV实现人脸追踪+详细教程+快速入门+图像识别+人脸识别+大神讲解
  • 4
    图像识别试验 - 字符验证码、车牌号、身份证号
  • 5
    【图像识别】白天鹅黑天鹅灰天鹅？卷积神经网络帮你识别
  • 6
    图像识别试验 - 字符验证码、车牌号、身份证号
  • 7
    详解阿里99大促活动页内容识别技术实现
  • 8
    图像识别试验 - 字符验证码、车牌号、身份证号
  • 9
    【图像算法】彩色图像分割专题七：基于分水岭的彩色分割
  • 10
    YOLOv8改进 | 主干网络 | 增加网络结构增强小目标检测能力【独家创新——附结构图】
  • 1
    【一步步开发AI运动小程序】十七、如何识别用户上传视频中的人体、运动、动作、姿态？
    38
  • 2
    uni-app开发AI康复锻炼小程序，帮助肢体受伤患者康复！
    33
  • 3
    【一步步开发AI运动小程序】十六、AI运动识别中，如何判断人体站位？
    57
  • 4
    【一步步开发AI运动小程序】十五、AI运动识别中，如何判断人体站位的远近？
    123
  • 5
    【一步步开发AI运动小程序】十四、主包超出2M大小限制，如何将插件分包发布？
    25
  • 6
    【一步步开发AI运动小程序】十三、自定义一个运动分析器，实现计时计数02
    41
  • 7
    【一步步开发AI运动小程序】十二、自定义一个运动分析器，实现计时计数01
    39
  • 8
    【一步步开发AI运动小程序】十一、人体关键点跳跃追踪
    27
  • 9
    【一步步开发AI运动小程序】十、姿态动作相似度比较
    38
  • 10
    用PDF转换图片的方式弥补通义千问在扫描版PDF支持方面的缺失
    38

    • 相关课程

    更多
  • 开源Android容器化框架Atlas开发者指南

    • 相关电子书

    更多
  • 58同城Android客户端Walle框架演进与实践之路
  • Android组件化实现
  • 蚂蚁聚宝Android秒级编译——Freeline
    • 下一篇
    DataWorks