Android平台RTMP推送|轻量级RTSP服务如何实现麦克风|扬声器声音采集切换

简介: Android平台扬声器播放声音的采集,在无纸化同屏等场景下,意义很大,早期低版本的Android设备,是没法直接采集扬声器audio的(从Android 10开始支持),所以,如果需要采集扬声器audio,需要先做系统版本判断,添加相应的权限。

技术背景

我们在做Android端同屏的时候,开发者希望可以高版本的Android系统上,在设备支持的前提下,可以采集到扬声器输出的audio,并支持和麦克风采集的audio相互切换,实现无纸化|智慧教室同屏不同audio模式的输出。Android系统出于安全和隐私的考虑,默认并不允许应用程序直接访问系统级别的音频输出。

从Android 10(API级别29)开始,Android引入了媒体投影API(MediaProjection),允许应用捕获屏幕内容以及音频。但是,直接捕获扬声器输出的音频并不是通过MediaProjection API直接实现的,而是通常与屏幕录制功能一起提供。

  • 启用屏幕录制权限:应用需要请求RECORD_AUDIOCAPTURE_AUDIO_OUTPUT权限,以及CAPTURE_VIDEO_OUTPUTCAPTURE_SECURE_VIDEO_OUTPUT(如果捕获安全内容)。
  • 使用MediaProjectionManager:创建一个MediaProjection会话,并引导用户通过系统UI授权屏幕录制。
  • 捕获音频:在录制屏幕时,音频也会同时被捕获。但是,这通常只适用于用户当前正在操作的应用的音频输出,而不是整个系统的音频。

技术实现

本文以大牛直播SDK的SmartServicePublisherV2这个demo为例,介绍下相关的技术实现。

image.gif 编辑

如果需要支持音频播放采集和麦克风采集,可以想把这两个选项打开,然后,通过右侧下拉框,推送过程中,实时切换数据源。

采集麦克风实现逻辑:

/*
 * NTStreamMediaProjectionEngineImpl.java
 * Author: daniusdk.com
 * WeChat: xinsheng120
 *
 * Copyright © 2014~2024 DaniuSDK. All rights reserved.
 */
@Override
public boolean start_audio_record(int sample_rate, int channels) {
    if (audio_record_.get() != null) {
        Log.e(TAG, "start_audio_record audio_record already exists");
        return false;
    }
    if (!check_record_audio_permission()) {
        Log.e(TAG, "start_audio_record RECORD_AUDIO permission is missing");
        return false;
    }
    NTAudioRecordV2 audio_record = new NTAudioRecordV2(get_application_context());
    // audio_record.IsMicSource(true);      //如音频采集声音过小,建议开启
    // audio_record.IsRemoteSubmixSource(true); // Anrdoid 10以下, 有些设备可能能用
   if (!audio_record.Start(sample_rate, channels)) {
       Log.e(TAG, "start_audio_record start failed");
       return false;
   }
    if (audio_record_callback_ != null)
        audio_record.AddCallback(audio_record_callback_);
    NTAudioRecordV2 old = audio_record_.getAndSet(audio_record);
    if (old != null) {
        if (audio_record_callback_ != null)
            old.RemoveCallback(audio_record_callback_);
        old.Stop();
    }
    Log.i(TAG, "start_audio_record ok, sample_rate:" + sample_rate + ", channels:" + channels);
    return true;
}
@Override
public boolean is_audio_record_running() {
    return audio_record_.get() != null;
}
@Override
public void stop_audio_record() {
    NTAudioRecordV2 old = audio_record_.getAndSet(null);
    if (old != null) {
        if (audio_record_callback_ != null)
            old.RemoveCallback(audio_record_callback_);
        old.Stop();
        Log.i(TAG, "call audio_record_.Stop.");
    }
}

image.gif

采集音频播放声音(扬声器)实现逻辑:

/*
 * NTStreamMediaProjectionEngineImpl.java
 * Author: daniusdk.com
 * WeChat: xinsheng120
 *
 * Copyright © 2014~2024 DaniuSDK. All rights reserved.
 */
@Override
public boolean start_audio_playback_capture(int sample_rate, int channels) {
    if (Build.VERSION.SDK_INT < 29) {
        Log.e(TAG, "start_audio_playback_capture Device SDK_INT:" + Build.VERSION.SDK_INT +" < 29(Android 10)");
        return false;
    }
    if (audio_playback_capture_.get() != null) {
        Log.e(TAG, "start_audio_playback_capture capture already exists");
        return false;
    }
    if (!check_record_audio_permission()) {
        Log.e(TAG, "start_audio_playback_capture RECORD_AUDIO permission is missing.");
        return false;
    }
    MediaProjection media_projection = get_media_projection();
    if (null == media_projection) {
        Log.e(TAG, "start_audio_playback_capture media_projection is null");
        return false;
    }
    NTAudioPlaybackCapture capture = new NTAudioPlaybackCapture();
    if (!capture.start(get_application_context(), media_projection, sample_rate, channels)) {
        capture.close();
        Log.e(TAG, "start_audio_playback_capture start failed");
        return false;
    }
    if (audio_playback_capture_callback_ != null)
        capture.register_callback(audio_playback_capture_callback_);
    NTAudioPlaybackCapture old = audio_playback_capture_.getAndSet(capture);
    if (old != null)
        old.close();
    Log.i(TAG, "start_audio_playback_capture ok, sample_rate:" + sample_rate + ", channels:" + channels);
    return true;
}
@Override
public boolean is_audio_playback_capture_running() {
    return audio_playback_capture_.get() != null;
}
@Override
public void stop_audio_playback_capture() {
    NTAudioPlaybackCapture old = audio_playback_capture_.getAndSet(null);
    if (old != null) {
        old.close();
        Log.i(TAG, "stop_audio_playback_capture capture.close.");
    }
}

image.gif

启动RTMP推送或轻量级RTSP服务过程中,切换采集扬声器或者麦克风:

@Override
public boolean set_audio_output_type(int type) {
    if (type < 0 || type > 2) {
        Log.e(TAG, "set_audio_output_type type:" + type + " error");
        return false;
    }
    Runnable r = new Runnable() {
        int type_;
        @Override
        public void run() {
            audio_output_type_ = this.type_;
            Log.i(TAG, "set_audio_output_type value:" + this.type_);
            if (stream_publisher_.is_publishing())
                switch_audio_output_type(audio_output_type_);
        }
        Runnable set(int type) {
            this.type_ = type;
            return this;
        }
    }.set(type);
    post_or_execute(r);
    return true;
}

image.gif

播放效果如下(Android采集屏幕和麦克风|扬声器audio,然后推送到RTMP服务和轻量级RTSP服务),扬声器audio采集,特别是视频播放模式下,比如无纸化同屏过程中,需要放个宣传片,或者一些视频材料,非常方便:

image.gif 编辑

总结

Android平台扬声器播放声音的采集,在无纸化同屏等场景下,意义很大,早期低版本的Android设备,是没法直接采集扬声器audio的(从Android 10开始支持),所以,如果需要采集扬声器audio,需要先做系统版本判断,添加相应的权限。如果需要实时切换扬声器或麦克风声音,可以参考上述实现逻辑,以上是大概的流程,感兴趣的开发者,可以单独跟我沟通讨论。

相关文章
|
监控 Android开发 数据安全/隐私保护
批量发送短信的平台,安卓群发短信工具插件脚本,批量群发短信软件【autojs版】
这个Auto.js脚本实现了完整的批量短信发送功能,包含联系人管理、短信内容编辑、发送状态监控等功能
|
存储 编解码 监控
Android平台GB28181执法记录仪技术方案与实现
本文介绍了大牛直播SDK的SmartGBD在执法记录仪场景中的应用。GB28181协议作为视频监控联网的国家标准,为设备互联互通提供规范。SmartGBD专为Android平台设计,支持音视频采集、编码与传输,具备自适应算法和多功能扩展优势。文章分析了执法记录仪的需求,如实时音视频传输、设备管理及数据安全,并详细阐述了基于SmartGBD的技术实现方案,包括环境准备、SDK集成、设备注册、音视频处理及功能扩展等步骤。最后展望了SmartGBD在未来智慧物联领域的广阔应用前景。
1027 13
|
监控 Shell Linux
Android调试终极指南:ADB安装+多设备连接+ANR日志抓取全流程解析,覆盖环境变量配置/多设备调试/ANR日志分析全流程,附Win/Mac/Linux三平台解决方案
ADB(Android Debug Bridge)是安卓开发中的重要工具,用于连接电脑与安卓设备,实现文件传输、应用管理、日志抓取等功能。本文介绍了 ADB 的基本概念、安装配置及常用命令。包括:1) 基本命令如 `adb version` 和 `adb devices`;2) 权限操作如 `adb root` 和 `adb shell`;3) APK 操作如安装、卸载应用;4) 文件传输如 `adb push` 和 `adb pull`;5) 日志记录如 `adb logcat`;6) 系统信息获取如屏幕截图和录屏。通过这些功能,用户可高效调试和管理安卓设备。
10648 2
|
9月前
|
移动开发 前端开发 Android开发
【02】建立各项目录和页面标准化产品-vue+vite开发实战-做一个非常漂亮的APP下载落地页-支持PC和H5自适应提供安卓苹果鸿蒙下载和网页端访问-优雅草卓伊凡
【02】建立各项目录和页面标准化产品-vue+vite开发实战-做一个非常漂亮的APP下载落地页-支持PC和H5自适应提供安卓苹果鸿蒙下载和网页端访问-优雅草卓伊凡
1708 12
【02】建立各项目录和页面标准化产品-vue+vite开发实战-做一个非常漂亮的APP下载落地页-支持PC和H5自适应提供安卓苹果鸿蒙下载和网页端访问-优雅草卓伊凡
|
9月前
|
移动开发 JavaScript 应用服务中间件
【06】优化完善落地页样式内容-精度优化-vue加vite开发实战-做一个非常漂亮的APP下载落地页-支持PC和H5自适应提供安卓苹果鸿蒙下载和网页端访问-优雅草卓伊凡
【06】优化完善落地页样式内容-精度优化-vue加vite开发实战-做一个非常漂亮的APP下载落地页-支持PC和H5自适应提供安卓苹果鸿蒙下载和网页端访问-优雅草卓伊凡
1105 5
【06】优化完善落地页样式内容-精度优化-vue加vite开发实战-做一个非常漂亮的APP下载落地页-支持PC和H5自适应提供安卓苹果鸿蒙下载和网页端访问-优雅草卓伊凡
|
9月前
|
移动开发 Rust JavaScript
【01】首页建立-vue+vite开发实战-做一个非常漂亮的APP下载落地页-支持PC和H5自适应提供安卓苹果鸿蒙下载和网页端访问-优雅草卓伊凡
【01】首页建立-vue+vite开发实战-做一个非常漂亮的APP下载落地页-支持PC和H5自适应提供安卓苹果鸿蒙下载和网页端访问-优雅草卓伊凡
1191 4
【01】首页建立-vue+vite开发实战-做一个非常漂亮的APP下载落地页-支持PC和H5自适应提供安卓苹果鸿蒙下载和网页端访问-优雅草卓伊凡
|
10月前
|
开发工具 Android开发
X Android SDK file not found: adb.安卓开发常见问题-Android SDK 缺少 `adb`(Android Debug Bridge)-优雅草卓伊凡
X Android SDK file not found: adb.安卓开发常见问题-Android SDK 缺少 `adb`(Android Debug Bridge)-优雅草卓伊凡
925 11
X Android SDK file not found: adb.安卓开发常见问题-Android SDK 缺少 `adb`(Android Debug Bridge)-优雅草卓伊凡
|
9月前
|
移动开发 Android开发
【03】建立隐私关于等相关页面和内容-vue+vite开发实战-做一个非常漂亮的APP下载落地页-支持PC和H5自适应提供安卓苹果鸿蒙下载和网页端访问-优雅草卓伊凡
【03】建立隐私关于等相关页面和内容-vue+vite开发实战-做一个非常漂亮的APP下载落地页-支持PC和H5自适应提供安卓苹果鸿蒙下载和网页端访问-优雅草卓伊凡
424 0
|
10月前
|
Java 开发工具 Maven
【01】完整的安卓二次商业实战-详细的初级步骤同步项目和gradle配置以及开发思路-优雅草伊凡
【01】完整的安卓二次商业实战-详细的初级步骤同步项目和gradle配置以及开发思路-优雅草伊凡
1361 6

热门文章

最新文章