AI 助理
备案控制台
开发者社区 视觉智能 文章 正文

Android平台RTSP|RTMP播放器如何实现TextureView渲染

2024-08-13 70
版权
版权声明：
本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《 阿里云开发者社区用户服务协议》和 《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写 侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。
本文涉及的产品
视觉智能开放平台，图像资源包5000点
视觉智能开放平台，分割抠图1万点
视觉智能开放平台，视频资源包5000点
简介： 本文介绍了在Android平台上使用TextureView进行RTSP和RTMP视频流渲染的技术背景和实现方法。TextureView相较于SurfaceView具备更高性能、更强功能性和更灵活的绘制方式等优势，但也有必须在硬件加速环境下运行和较高内存占用等局限。文中详细展示了如何在SmartPlayerV2工程中创建和配置TextureView，并通过代码示例解释了如何根据视频分辨率信息调整显示比例，以及处理TextureView的各种生命周期回调。此外，还列举了该播放器SDK支持的多项高级功能，如多实例播放、多种编码格式支持、硬解码能力等，旨在帮助开发者更好地理解和实现高性能的直播播放器。

技术背景

自2015年我们发布Android平台RTSP、RTMP直播播放模块以来，渲染这块，支持SurfaceView或GlSurfaceView，当然如果开发者需要TextureView渲染，可以把RTSP、RTMP流数据解码回调YUV或RGB数据上来，上层自己渲染。本文主要介绍，如何实现RTSP、RTMP播放器TextureView渲染。在此之前，我们先看看TextureView优缺点：

先说优点：

  1. 更高的性能：TextureView使用基于硬件加速的渲染管道，可以在GPU中进行图像处理和渲染，这比SurfaceView的软件渲染方式更高效。因此，TextureView在图像和视频渲染方面具有更好的性能。
  2. 更强的功能：TextureView可以与其他控件进行自由组合，可以在布局中灵活地放置和调整大小。而SurfaceView只能全屏显示，无法与其他控件混合使用。
  3. 更灵活的绘制方式：TextureView允许开发者直接在其上面绘制图像，通过Canvas和OpenGL ES等API，可以实现更丰富的渲染效果。
  4. 支持动画和截图：TextureView支持移动、旋转、缩放等动画，并且支持截图功能。

再说缺点：

  1. 必须在硬件加速的窗口中使用：TextureView必须在硬件加速的窗口中使用，如果设备不支持硬件加速或者硬件加速被禁用，TextureView可能无法正常工作。
  2. 占用内存较高：与SurfaceView相比，TextureView占用内存更高，这可能会影响到应用的性能，特别是在处理大型图像或视频时。
  3. 渲染线程问题：在Android 5.0以前，TextureView在主线程进行渲染，这可能导致UI卡顿。虽然在Android 5.0及以后版本中，TextureView有了单独的渲染线程，但在高GPU负荷的场景下，可能存在帧率下降的问题。
  4. 同步问题：TextureView需要在多个线程之间进行写读同步，包括CPU和GPU的同步。当同步失调时，可能会出现掉帧或吞帧导致的卡顿和抖动现象。

技术实现

本文以大牛直播SDK的Android平台SmartPlayerV2工程demo为例：

image.gif

开始播放之前，CreateView()实现如下：

/*
     * SmartPlayer.java
     * Author: daniusdk.com
     * Create rendering with different type
     */
    private boolean CreateView() {
        if (sSurfaceView != null)
            return true;
        Log.i(TAG, "CreateView");
        if (SURFACE_TYPE_NULL == surface_type_) {
            String manufacturer = Build.MANUFACTURER;
            Log.i(TAG, "CreateView, current manufacturer: " + manufacturer);
            if (is_enable_hardware_render_mode) {
                //hardware render模式，第二个参数设置为false
                sSurfaceView = NTRenderer.CreateRenderer(this, false);
            } else {
                //这个字符串可以自己定义,例如判断华为就填写huawei,魅族就填写meizu
                if ("huawei".equalsIgnoreCase(manufacturer)) {
                    sSurfaceView = NTRenderer.CreateRenderer(this, true);
                } else {
                    /*
                     * useOpenGLES2: If with true: Check if system supports openGLES, if
                     * supported, it will choose openGLES. If with false: it will set
                     * with default surfaceView;
                     */
                    sSurfaceView = NTRenderer.CreateRenderer(this, true);
                }
            }
        } else {
            if (SURFACE_TYPE_TEXTURE_VIEW == surface_type_) {
                TextureView texture_view = new TextureView(this);
                texture_view.setSurfaceTextureListener(this);
                sSurfaceView = texture_view;
            } else
                sSurfaceView= new SurfaceView(this);
        }
        if (sSurfaceView == null) {
            Log.i(TAG, "Create render failed..");
            return false;
        }
        if (is_enable_hardware_render_mode || SURFACE_TYPE_SURFACE_VIEW == surface_type_) {
            if (sSurfaceView instanceof SurfaceView) {
                SurfaceHolder surfaceHolder = ((SurfaceView)sSurfaceView).getHolder();
                if (surfaceHolder == null)
                    Log.e(TAG, "CreateView, surfaceHolder with null..");
                 else
                    surfaceHolder.addCallback(this);
            }
        }
        return true;
    }

image.gif

视频流开始播放后，我们会把视频宽高信息回调上来(EVENT_DANIULIVE_ERC_PLAYER_RESOLUTION_INFO)，然后，根据获取到的宽高信息，调用adjustTextureViewAspectRatio()按比例显示窗口，如果需要铺满显示，不调用比例显示即可。

class EventHandeV2 implements NTSmartEventCallbackV2 {
        @Override
        public void onNTSmartEventCallbackV2(long handle, int id, long param1,
                                             long param2, String param3, String param4, Object param5) {
            //Log.i(TAG, "EventHandeV2: handle=" + handle + " id:" + id);
            String player_event = "";
            switch (id) {
                case NTSmartEventID.EVENT_DANIULIVE_ERC_PLAYER_STARTED:
                    player_event = "开始..";
                    break;
                case NTSmartEventID.EVENT_DANIULIVE_ERC_PLAYER_CONNECTING:
                    player_event = "连接中..";
                    break;
                case NTSmartEventID.EVENT_DANIULIVE_ERC_PLAYER_CONNECTION_FAILED:
                    player_event = "连接失败..";
                    break;
                case NTSmartEventID.EVENT_DANIULIVE_ERC_PLAYER_CONNECTED:
                    player_event = "连接成功..";
                    break;
                case NTSmartEventID.EVENT_DANIULIVE_ERC_PLAYER_DISCONNECTED:
                    player_event = "连接断开..";
                    break;
                case NTSmartEventID.EVENT_DANIULIVE_ERC_PLAYER_STOP:
                    player_event = "停止播放..";
                    break;
                case NTSmartEventID.EVENT_DANIULIVE_ERC_PLAYER_RESOLUTION_INFO:
                    player_event = "分辨率信息: width: " + param1 + ", height: " + param2;
                    handler.post(new OnNTPlayerVideoSize((int)param1, (int)param2));
                    break;
                case NTSmartEventID.EVENT_DANIULIVE_ERC_PLAYER_NO_MEDIADATA_RECEIVED:
                    player_event = "收不到媒体数据，可能是url错误..";
                    break;
                case NTSmartEventID.EVENT_DANIULIVE_ERC_PLAYER_SWITCH_URL:
                    player_event = "切换播放URL..";
                    break;
                case NTSmartEventID.EVENT_DANIULIVE_ERC_PLAYER_CAPTURE_IMAGE:
                    player_event = "快照: " + param1 + " 路径：" + param3;
                    if (param1 == 0)
                        player_event = player_event + ", 截取快照成功";
                     else
                        player_event = player_event + ", 截取快照失败";
                    if (param4 != null && !param4.isEmpty())
                        player_event += (", user data:" + param4);
                    break;
                case NTSmartEventID.EVENT_DANIULIVE_ERC_PLAYER_RECORDER_START_NEW_FILE:
                    player_event = "[record]开始一个新的录像文件 : " + param3;
                    break;
                case NTSmartEventID.EVENT_DANIULIVE_ERC_PLAYER_ONE_RECORDER_FILE_FINISHED:
                    player_event = "[record]已生成一个录像文件 : " + param3;
                    break;
                case NTSmartEventID.EVENT_DANIULIVE_ERC_PLAYER_START_BUFFERING:
                    Log.i(TAG, "Start Buffering");
                    break;
                case NTSmartEventID.EVENT_DANIULIVE_ERC_PLAYER_BUFFERING:
                    Log.i(TAG, "Buffering:" + param1 + "%");
                    break;
                case NTSmartEventID.EVENT_DANIULIVE_ERC_PLAYER_STOP_BUFFERING:
                    Log.i(TAG, "Stop Buffering");
                    break;
                case NTSmartEventID.EVENT_DANIULIVE_ERC_PLAYER_DOWNLOAD_SPEED:
                    player_event = "download_speed:" + param1 + "Byte/s" + ", "
                            + (param1 * 8 / 1000) + "kbps" + ", " + (param1 / 1024)
                            + "KB/s";
                    break;
                case NTSmartEventID.EVENT_DANIULIVE_ERC_PLAYER_RTSP_STATUS_CODE:
                    Log.e(TAG, "RTSP error code received, please make sure username/password is correct, error code:" + param1);
                    player_event = "RTSP error code:" + param1;
                    break;
                 ....
            }
            if (player_event.length() > 0) {
                Log.i(TAG, player_event);
                Message message = new Message();
                message.what = PLAYER_EVENT_MSG;
                message.obj = player_event;
                handler.sendMessage(message);
            }
        }
    }

image.gif

OnNTPlayerVideoSize实现如下：

class OnNTPlayerVideoSize implements Runnable{
        int width_;
        int height_;
        OnNTPlayerVideoSize(int w, int h ) {
            this.width_ = w;
            this.height_ = h;
        }
        public void run() {
            if (this.width_ < 1 || this.height_ < 1)
                return;
            video_width_ = this.width_;
            video_height_ = this.height_;
            if (null == sSurfaceView)
                return;
            if (SURFACE_TYPE_TEXTURE_VIEW == surface_type_ && sSurfaceView instanceof TextureView)
                adjustTextureViewAspectRatio((TextureView)sSurfaceView, this.width_, this.height_);
            else if (((isHardwareDecoder&&is_enable_hardware_render_mode) || SURFACE_TYPE_SURFACE_VIEW == surface_type_)
                && sSurfaceView instanceof SurfaceView )
                adjustSurfaceViewAspectRatio((SurfaceView)sSurfaceView, this.width_, this.height_);
        }
    }

image.gif

针对TextureView处理如下：

/**
     * Invoked when a {@link TextureView}'s SurfaceTexture is ready for use.
     *
     * @param surface The surface returned by
     *                {@link android.view.TextureView#getSurfaceTexture()}
     * @param width The width of the surface
     * @param height The height of the surface
     */
    public void onSurfaceTextureAvailable(SurfaceTexture surface, int width, int height) {
        Log.i(TAG, "TextureView onSurfaceTextureAvailable w:" + width + ", h:" + height);
        if (texture_view_surface_ != null) {
            texture_view_surface_.release();
            texture_view_surface_ = null;
        }
        texture_view_surface_ = new Surface(surface);
        if (isPlaying && SURFACE_TYPE_TEXTURE_VIEW == surface_type_) {
            libPlayer.SetSurface(playerHandle, texture_view_surface_, 0, disable_codec_render_surface_, disable_sdk_render_surface_);
            if (video_width_ > 0 && video_height_ > 0 && sSurfaceView != null && (sSurfaceView instanceof TextureView))
                adjustTextureViewAspectRatio((TextureView)sSurfaceView, video_width_, video_height_);
        }
    }
    /**
     * Invoked when the {@link SurfaceTexture}'s buffers size changed.
     *
     * @param surface The surface returned by
     *                {@link android.view.TextureView#getSurfaceTexture()}
     * @param width The new width of the surface
     * @param height The new height of the surface
     */
    public void onSurfaceTextureSizeChanged(SurfaceTexture surface, int width, int height) {
        Log.i(TAG, "TextureView onSurfaceTextureSizeChanged w:" + width + ", h:" + height);
        if(isPlaying && SURFACE_TYPE_TEXTURE_VIEW == surface_type_) {
            if (sSurfaceView != null && (sSurfaceView instanceof TextureView) && video_width_ > 0 && video_height_ > 0)
                adjustTextureViewAspectRatio((TextureView) sSurfaceView, video_width_, video_height_);
        }
    }
    /**
     * Invoked when the specified {@link SurfaceTexture} is about to be destroyed.
     * If returns true, no rendering should happen inside the surface texture after this method
     * is invoked. If returns false, the client needs to call {@link SurfaceTexture#release()}.
     * Most applications should return true.
     *
     * @param surface The surface about to be destroyed
     */
    public boolean onSurfaceTextureDestroyed(SurfaceTexture surface) {
        Log.i(TAG, "TextureView onSurfaceTextureDestroyed");
        if(isPlaying && SURFACE_TYPE_TEXTURE_VIEW == surface_type_)
            libPlayer.SetSurface(playerHandle, null, 0, 0, 0);
        if (texture_view_surface_ != null) {
            texture_view_surface_.release();
            texture_view_surface_ = null;
        }
        return true;
    }
    /**
     * Invoked when the specified {@link SurfaceTexture} is updated through
     * {@link SurfaceTexture#updateTexImage()}.
     *
     * @param surface The surface just updated
     */
    public void onSurfaceTextureUpdated(SurfaceTexture surface) {
        // Log.i(TAG, "TextureView onSurfaceTextureUpdated");
    }

image.gif

至此，RTSP|RTMP播放，我们是实现的功能如下（如不特别说明，代表Windows、Linux、Android、iOS平台均支持）：

  • [支持播放协议]高稳定、超低延迟、业内首屈一指的RTSP|RTMP直播播放器SDK；
  • [多实例播放]支持多实例播放；
  • [事件回调]支持网络状态、buffer状态等回调；
  • [视频格式]支持H.265、H.264，此外，还支持RTSP MJPEG播放；
  • [音频格式]RTSP支持AAC/PCMA/PCMU、RTMP支持AAC/PCMA/PCMU/Speex；
  • [H.264/H.265软解码]支持H.264/H.265软解，支持Enhanced RTMP H.265；
  • [H.264硬解码]Windows/Android/iOS支持特定机型H.264硬解；
  • [H.265硬解]Windows/Android/iOS支持特定机型H.265硬解；
  • [H.264/H.265硬解码]Android支持设置Surface模式硬解和普通模式硬解码；
  • [RTSP模式设置]支持RTSP TCP/UDP模式设置；
  • [RTSP TCP/UDP自动切换]支持RTSP TCP、UDP模式自动切换；
  • [RTSP超时设置]支持RTSP超时时间设置，单位：秒；
  • [RTSP 401认证处理]支持上报RTSP 401事件，如URL携带鉴权信息，会自动处理；
  • [缓冲时间设置]支持buffer time设置；
  • [首屏秒开]支持首屏秒开模式；
  • [复杂网络处理]支持断网重连等各种网络环境自动适配；
  • [快速切换URL]支持播放过程中，快速切换其他URL，内容切换更快；
  • [音视频多种render机制]Android平台，视频：surfaceview/OpenGL ES，音频：AudioTrack/OpenSL ES；
  • [实时静音]支持播放过程中，实时静音/取消静音；
  • [实时音量调节]支持播放过程中实时调节音量；
  • [实时快照]支持播放过程中截取当前播放画面；
  • [只播关键帧]Windows平台支持实时设置是否只播放关键帧；
  • [渲染角度]支持0°，90°，180°和270°四个视频画面渲染角度设置；
  • [渲染镜像]支持水平反转、垂直反转模式设置；
  • [等比例缩放]支持图像等比例缩放绘制(Android设置surface模式硬解模式不支持)；
  • [实时下载速度更新]支持当前下载速度实时回调(支持设置回调时间间隔)；
  • [解码前视频数据回调]支持H.264/H.265数据回调；
  • [解码后视频数据回调]支持解码后YUV/RGB数据回调；
  • [解码前音频数据回调]支持AAC/PCMA/PCMU数据回调；
  • [音视频自适应]支持播放过程中，音视频信息改变后自适应；
  • [扩展录像功能]完美支持和录像SDK组合使用。

总结

做播放器不难，做高稳定低延迟低资源占用的RTMP|RTSP直播播放器还是有点儿难度，以上是大牛直播SDK针对Android平台RTMP|RTSP播放器TextureView渲染相关的技术交流，感兴趣的开发者，也可以找我单独沟通。

文章标签：
Android开发
编解码
开发工具
Windows
开发者
关键词：
Android平台
Android播放器
Android平台rtmp
Android rtsp
Android rtmp
音视频牛哥
目录
相关文章
shuj
|
2月前
|
Java Android开发 Swift
安卓与iOS开发对比：平台选择对项目成功的影响
【10月更文挑战第4天】在移动应用开发的世界中，选择合适的平台是至关重要的。本文将深入探讨安卓和iOS两大主流平台的开发环境、用户基础、市场份额和开发成本等方面的差异，并分析这些差异如何影响项目的最终成果。通过比较这两个平台的优势与挑战，开发者可以更好地决定哪个平台更适合他们的项目需求。
shuj
121 1
游客moiomvrp3vyac2
|
3月前
|
IDE Android开发 iOS开发
探索Android与iOS开发的差异：平台选择对项目成功的影响
【9月更文挑战第27天】在移动应用开发的世界中，Android和iOS是两个主要的操作系统平台。每个系统都有其独特的开发环境、工具和用户群体。本文将深入探讨这两个平台的关键差异点，并分析这些差异如何影响应用的性能、用户体验和最终的市场表现。通过对比分析，我们将揭示选择正确的开发平台对于确保项目成功的重要作用。
游客moiomvrp3vyac2
57 4
mrq4nk6ni2neg
|
14天前
|
IDE 开发工具 Android开发
移动应用开发之旅：探索Android和iOS平台
在这篇文章中，我们将深入探讨移动应用开发的两个主要平台——Android和iOS。我们将了解它们的操作系统、开发环境和工具，并通过代码示例展示如何在这两个平台上创建一个简单的“Hello World”应用。无论你是初学者还是有经验的开发者，这篇文章都将为你提供有价值的信息和技巧，帮助你更好地理解和掌握移动应用开发。
mrq4nk6ni2neg
40 17
mzlogin
|
2月前
|
Java 程序员 开发工具
Android｜修复阿里云播放器下载不回调的问题
虽然 GC 带来了很多便利，但在实际编码时，我们也需要注意对象的生命周期管理，该存活的存活，该释放的释放，避免因为 GC 导致的问题。
mzlogin
39 2
aqi00
|
2月前
|
Linux API 开发工具
FFmpeg开发笔记（五十九）Linux编译ijkplayer的Android平台so库
ijkplayer是由B站研发的移动端播放器，基于FFmpeg 3.4，支持Android和iOS。其源码托管于GitHub，截至2024年9月15日，获得了3.24万星标和0.81万分支，尽管已停止更新6年。本文档介绍了如何在Linux环境下编译ijkplayer的so库，以便在较新的开发环境中使用。首先需安装编译工具并调整/tmp分区大小，接着下载并安装Android SDK和NDK，最后下载ijkplayer源码并编译。详细步骤包括环境准备、工具安装及库编译等。更多FFmpeg开发知识可参考相关书籍。
aqi00
110 0
FFmpeg开发笔记（五十九）Linux编译ijkplayer的Android平台so库
浣熊干面包
|
Android开发
19条ANDROID平台设计规范(转)
浣熊干面包
1316 0
runcare
|
Android开发
19条ANDROID平台设计规范平台设计规范
runcare
1713 0
西北野狼
|
Android开发
Android平台设计规范整理(尺寸+组成元素+字体+滑块)
转自：http://www.ui.cn/project.php?id=12394
西北野狼
725 0
mrq4nk6ni2neg
|
14天前
|
搜索推荐 前端开发 API
探索安卓开发中的自定义视图：打造个性化用户界面
在安卓应用开发的广阔天地中，自定义视图是一块神奇的画布，让开发者能够突破标准控件的限制，绘制出独一无二的用户界面。本文将带你走进自定义视图的世界，从基础概念到实战技巧，逐步揭示如何在安卓平台上创建和运用自定义视图来提升用户体验。无论你是初学者还是有一定经验的开发者，这篇文章都将为你打开新的视野，让你的应用在众多同质化产品中脱颖而出。
mrq4nk6ni2neg
40 19
请看我回答~
|
14天前
|
JSON Java API
探索安卓开发：打造你的首个天气应用
在这篇技术指南中，我们将一起潜入安卓开发的海洋，学习如何从零开始构建一个简单的天气应用。通过这个实践项目，你将掌握安卓开发的核心概念、界面设计、网络编程以及数据解析等技能。无论你是初学者还是有一定基础的开发者，这篇文章都将为你提供一个清晰的路线图和实用的代码示例，帮助你在安卓开发的道路上迈出坚实的一步。让我们一起开始这段旅程，打造属于你自己的第一个安卓应用吧！
请看我回答~
41 14

视觉智能

热门文章

最新文章

  • 1
    阿里云图像识别Java调用示例参考
  • 2
    【图像算法】彩色图像分割专题七：基于分水岭的彩色分割
  • 3
    YOLOv8改进 | 主干网络 | 增加网络结构增强小目标检测能力【独家创新——附结构图】
  • 4
    YOLOv8改进 | 融合模块 | 用Resblock+CBAM卷积替换Conv【轻量化网络】
  • 5
    5款开源BI工具优缺点及介绍
  • 6
    ‘通义万相’使用体验——令人惊艳的AI绘画创作大模型
  • 7
    【OpenVI-图像超分实战篇】别用GAN做超分了，快来试试基于扩散模型的图像超分吧！
  • 8
    达摩院CVPR2023人脸重建论文HRN解读——REALY榜单冠军模型
  • 9
    FFmpeg开发笔记（六十）使用国产的ijkplayer播放器观看网络视频
  • 10
    Grounded-SAM模型：自动化检测、分割、生成一切
  • 1
    【一步步开发AI运动小程序】十七、如何识别用户上传视频中的人体、运动、动作、姿态？
    32
  • 2
    uni-app开发AI康复锻炼小程序，帮助肢体受伤患者康复！
    25
  • 3
    【一步步开发AI运动小程序】十六、AI运动识别中，如何判断人体站位？
    55
  • 4
    【一步步开发AI运动小程序】十五、AI运动识别中，如何判断人体站位的远近？
    120
  • 5
    【一步步开发AI运动小程序】十四、主包超出2M大小限制，如何将插件分包发布？
    23
  • 6
    【一步步开发AI运动小程序】十三、自定义一个运动分析器，实现计时计数02
    41
  • 7
    【一步步开发AI运动小程序】十二、自定义一个运动分析器，实现计时计数01
    39
  • 8
    【一步步开发AI运动小程序】十一、人体关键点跳跃追踪
    27
  • 9
    【一步步开发AI运动小程序】十、姿态动作相似度比较
    38
  • 10
    用PDF转换图片的方式弥补通义千问在扫描版PDF支持方面的缺失
    38

    • 相关课程

    更多
  • 开源Android容器化框架Atlas开发者指南

    • 相关电子书

    更多
  • 58同城Android客户端Walle框架演进与实践之路
  • Android组件化实现
  • 蚂蚁聚宝Android秒级编译——Freeline

    • 相关实验场景

    更多
  • 快速实现摄像头视频画面的远程预览
    • 下一篇
    阿里云oss存储简介和如何使用