Android平台无纸化同屏如何实现实时录像功能

本文涉及的产品
视觉智能开放平台,分割抠图1万点
视觉智能开放平台,图像资源包5000点
视觉智能开放平台,视频资源包5000点
简介: Android平台无纸化同屏,如果需要本地录像的话,实现难度不大,只要复用之前开发的录像模块的就可以,对我们来说,同屏采集这块,只是数据源不同而已,如果是自采集的其他数据,我们一样可以编码录像。

技术背景

我们在做无纸化同屏的时候,好多开发者采集到屏幕、麦克风|扬声器数据,除了需要推RTMP出去,或者启动个轻量级RTSP服务,对外提供个拉流的RTSP URL,别的终端过来拉流(小并发场景),还有个技术需求,就是需要本地实时录像。本文主要介绍屏幕采集的过程中,如何实现推送端录像。

技术实现

实际上,Android同屏,需要录像的话,和采集摄像头数据录像一样,只是数据源不同而已,鉴于不管什么格式的video数据,我们都是投递到模块底层做转换编码,所以本质上没啥差别。

image.gif

本地录像,我们界面上没有做展示,如果实现,很简单,就是加个开始录像|停止录像按钮即可。

对外提供了二次封装设计如下:

/*
 * NTStreamMediaEngine.java
 * Author: daniusdk.com
 * WeChat: xinsheng120
 *
 * Copyright © 2014~2024 DaniuSDK. All rights reserved.
 */
public interface NTStreamMediaEngine {
    void register_callback(Callback callback);
    void unregister_callback(Callback callback);
    void set_resolution_level(int level);
    int get_resolution_level();
    /*
    * 启动媒体投影
     */
    boolean start_video_capture(int token_code, android.content.Intent token_data);
    boolean is_video_capture_running();
    void stop_video_capture();
    /*
    * 启动麦克风
     */
    boolean start_audio_record(int sample_rate, int channels);
    boolean is_audio_record_running();
    void stop_audio_record();
    /*
     *  Android 10及以上支持, Android10以下设备调用直接返回false
     *  需要有RECORD_AUDIO权限
     *  要开启媒体投影
     */
    boolean start_audio_playback_capture(int sample_rate, int channels);
    boolean is_audio_playback_capture_running();
    void stop_audio_playback_capture();
    /*
     * 输出的音频类型
     *  0: 不输出音频
     *  1: 输出麦克风
     *  2: 输出audio playback(Android 10及以上支持)
     */
    boolean set_audio_output_type(int type);
    int get_audio_output_type();
    void set_fps(int fps);
    void set_gop(int gop);
    boolean set_video_encoder_type(int video_encoder_type);
    int get_video_encoder_type();
    ....
    /*
    * 启动本地录像
     */
    boolean start_stream_record(String record_directory, int file_max_size);
    boolean is_stream_recording();
    void stop_stream_record();
    boolean is_stream_running();
}

image.gif

开始录像实现如下:

/*
 * NTStreamMediaProjectionEngineImpl.java
 * Author: daniusdk.com
 * WeChat: xinsheng120
 *
 * Copyright © 2014~2024 DaniuSDK. All rights reserved.
 */
@Override
public boolean start_stream_record(String record_directory, int file_max_size) {
    if (stream_publisher_.is_recording()) {
        Log.e(TAG, "start_stream_record already recording");
        return false;
    }
    if (!is_video_capture_running()) {
        Log.e(TAG, "start_stream_record please start_video_capture first");
        return false;
    }
    if (is_null_or_empty(record_directory)) {
        Log.e(TAG, "start_stream_record record_directory is null");
        return false;
    }
    if (file_max_size < 5) {
        Log.e(TAG, "start_stream_record file_max_size:" + file_max_size + " error");
        return false;
    }
    Runnable r = new Runnable() {
        private String record_directory_;
        private int file_max_size_;
        @Override
        public void run() {
            if (!start_record_internal(this.record_directory_, this.file_max_size_)) {
                // notify .....
            }
        }
        Runnable set(String record_directory, int file_max_size) {
            this.record_directory_ = record_directory;
            this.file_max_size_ = file_max_size;
            return this;
        }
    }.set(record_directory, file_max_size);
    post_or_execute(r);
    Log.i(TAG, "start_stream_record record_directory:" + record_directory + ", file_max_size:" + file_max_size);
    return true;
}
@Override
public boolean is_stream_recording() {
    return stream_publisher_.is_recording();
}

image.gif

start_record_internal()实现如下:

private boolean start_record_internal(String record_directory, int file_max_size) {
    if (stream_publisher_.is_recording()) {
        Log.e(TAG, "start_record_internal already recording");
        return false;
    }
    if (!test_and_create_sdk_instance()) {
        Log.e(TAG, "start_record_internal create sdk instance failed");
        return false;
    }
    if (!config_record(record_directory, file_max_size)) {
        Log.e(TAG, "start_record_internal config_record failed");
        stream_publisher_.try_release();
        return false;
    }
    if (!stream_publisher_.StartRecorder()) {
        Log.e(TAG, "start_record_internal call sdk start failed");
        stream_publisher_.try_release();
        return false;
    }
    switch_audio_output_type(audio_output_type_);
    return true;
}

image.gif

这里调用的录像设置config_record()实现如下:

private boolean config_record(String record_directory, int file_max_size) {
    if (is_null_or_empty(record_directory))
        return false;
    if (file_max_size < 5)
        return false;
    if (null == this.lib_publisher_)
        return false;
    String directory = record_directory;
    int ret = lib_publisher_.SmartPublisherCreateFileDirectory(directory);
    if (ret != 0) {
        Log.e(TAG, "try create record directory failed, dir:" + directory);
        return  false;
    }
    if (!stream_publisher_.SetRecorderDirectory(directory)) {
        Log.e(TAG, "set record directory failed, dir:" + directory);
        return false;
    }
    if (!stream_publisher_.SetRecorderFileMaxSize(file_max_size)) {
        Log.e(TAG, "set record file max size failed, size:" + file_max_size);
        return false;
    }
    return true;
}

image.gif

停止录像:

@Override
public void stop_stream_record() {
    if (!stream_publisher_.is_recording())
        return;
    Runnable r = new Runnable() {
        @Override
        public void run() {
            stream_publisher_.StopRecorder();
            stream_publisher_.try_release();
            test_and_disable_post_audio();
        }
    };
    post_or_execute(r);
}

image.gif

总结

Android平台无纸化同屏,如果需要本地录像的话,实现难度不大,只要复用之前开发的录像模块的就可以,对我们来说,同屏采集这块,只是数据源不同而已,如果是自采集的其他数据,我们一样可以编码录像。以上是Android同屏录像设计,感兴趣的开发者,可以跟我单独沟通交流。

相关文章
|
1月前
|
Java Android开发 Swift
安卓与iOS开发对比:平台选择对项目成功的影响
【10月更文挑战第4天】在移动应用开发的世界中,选择合适的平台是至关重要的。本文将深入探讨安卓和iOS两大主流平台的开发环境、用户基础、市场份额和开发成本等方面的差异,并分析这些差异如何影响项目的最终成果。通过比较这两个平台的优势与挑战,开发者可以更好地决定哪个平台更适合他们的项目需求。
109 1
|
2月前
|
IDE Android开发 iOS开发
探索Android与iOS开发的差异:平台选择对项目成功的影响
【9月更文挑战第27天】在移动应用开发的世界中,Android和iOS是两个主要的操作系统平台。每个系统都有其独特的开发环境、工具和用户群体。本文将深入探讨这两个平台的关键差异点,并分析这些差异如何影响应用的性能、用户体验和最终的市场表现。通过对比分析,我们将揭示选择正确的开发平台对于确保项目成功的重要作用。
|
1月前
|
Android开发
Android开发表情emoji功能开发
本文介绍了一种在Android应用中实现emoji表情功能的方法,通过将图片与表情字符对应,实现在`TextView`中的正常显示。示例代码展示了如何使用自定义适配器加载emoji表情,并在编辑框中输入或删除表情。项目包含完整的源码结构,可作为开发参考。视频演示和源码详情见文章内链接。
68 4
Android开发表情emoji功能开发
|
22天前
|
安全 Android开发 iOS开发
Android vs iOS:探索移动操作系统的设计与功能差异###
【10月更文挑战第20天】 本文深入分析了Android和iOS两个主流移动操作系统在设计哲学、用户体验、技术架构等方面的显著差异。通过对比,揭示了这两种系统各自的独特优势与局限性,并探讨了它们如何塑造了我们的数字生活方式。无论你是开发者还是普通用户,理解这些差异都有助于更好地选择和使用你的移动设备。 ###
43 3
|
29天前
|
Linux API 开发工具
FFmpeg开发笔记(五十九)Linux编译ijkplayer的Android平台so库
ijkplayer是由B站研发的移动端播放器,基于FFmpeg 3.4,支持Android和iOS。其源码托管于GitHub,截至2024年9月15日,获得了3.24万星标和0.81万分支,尽管已停止更新6年。本文档介绍了如何在Linux环境下编译ijkplayer的so库,以便在较新的开发环境中使用。首先需安装编译工具并调整/tmp分区大小,接着下载并安装Android SDK和NDK,最后下载ijkplayer源码并编译。详细步骤包括环境准备、工具安装及库编译等。更多FFmpeg开发知识可参考相关书籍。
81 0
FFmpeg开发笔记(五十九)Linux编译ijkplayer的Android平台so库
|
2月前
|
开发工具 Android开发 iOS开发
安卓与iOS开发环境对比:选择适合你的平台
【9月更文挑战第26天】在移动应用开发的广阔天地中,安卓和iOS是两大巨头。它们各自拥有独特的优势和挑战,影响着开发者的选择和决策。本文将深入探讨这两个平台的开发环境,帮助你理解它们的核心差异,并指导你根据个人或项目需求做出明智的选择。无论你是初学者还是资深开发者,了解这些平台的异同都至关重要。让我们一起探索,找到最适合你的那片开发天地。
|
Android开发
Android平台设计规范整理(尺寸+组成元素+字体+滑块)
转自:http://www.ui.cn/project.php?id=12394
720 0
|
3天前
|
搜索推荐 Android开发 开发者
探索安卓开发中的自定义视图:打造个性化UI组件
【10月更文挑战第39天】在安卓开发的世界中,自定义视图是实现独特界面设计的关键。本文将引导你理解自定义视图的概念、创建流程,以及如何通过它们增强应用的用户体验。我们将从基础出发,逐步深入,最终让你能够自信地设计和实现专属的UI组件。

热门文章

最新文章