技术背景
GB/T28181是广泛应用于视频监控行业的标准协议规范，可以在不同设备之间实现互联互通。今天我们主要探讨Android平台的Audio采集部分。
先说如何拿到数据源，在Android平台上采集音频，常用的方式如下：
1. 使用MediaRecorder类：MediaRecorder类提供了一组API，可以用于录制音频。您可以使用MediaRecorder.AudioSource.MIC来源来从麦克风采集音频，并使用MediaRecorder.setOutputFormat()方法设置输出文件格式，使用MediaRecorder.setAudioEncoder()方法设置音频编码等。一旦设置完毕，您可以使用MediaRecorder.prepare()方法准备录制，使用MediaRecorder.start()方法开始录制，使用MediaRecorder.stop()方法停止录制，最后使用MediaRecorder.release()方法释放资源。
2. 使用AudioRecord类：AudioRecord类提供了一组API，可以用于实时采集音频数据。您可以使用AudioRecord.AudioSource.MIC来源来从麦克风采集音频，并设置采样率、声道数、采样精度等参数。一旦配置完毕，您可以使用AudioRecord.read()方法来读取音频数据，并进行处理。
3. 使用第三方SDK：一些第三方SDK也提供了音频采集功能，例如OpenCV、OpenAL等。您可以在这些SDK中寻找适合您需求的音频采集API，并按照其文档进行使用和配置。
技术实现
本文以大牛直播SDK的Android平台GB28181设备接入侧模块为例，这里我们使用的是AudioRecord类完成audio数据源的采集，采集到audio数据，进行PCMA或AAC编码（关于AAC编码，GB/T28181-2022有明确说明）。
设置音频编码类型：
/** * Set audio encoder type(设置音频编码类型) * * @param type: if with 1:AAC, if with 2: SPEEX, if with 3: PCMA * * @return {0} if successful */ public native int SmartPublisherSetAudioCodecType(long handle, int type);
如果是AAC，还可以设置编码码率：
/** * Set audio encoder bit-rate(设置音频编码码率), 当前只对AAC编码有效 * * @param kbit_rate: 码率(单位是kbps), 如果是0的话将使用默认码率, 必须大于等于0 * * @return {0} if successful */ public native int SmartPublisherSetAudioBitRate(long handle, int kbit_rate);
Android工程调用如下：
void CheckInitAudioRecorder() { if (audioRecord_ == null) { audioRecord_ = new NTAudioRecordV2(this); } if (audioRecord_ != null) { Log.i(TAG, "CheckInitAudioRecorder call audioRecord_.start()+++..."); audioRecordCallback_ = new NTAudioRecordV2CallbackImpl(); // audioRecord_.IsMicSource(true); //如采集音频声音过小，可以打开此选项 // audioRecord_.IsRemoteSubmixSource(true); audioRecord_.AddCallback(audioRecordCallback_); audioRecord_.Start(is_pcma_?8000: 44100,1); Log.i(TAG, "CheckInitAudioRecorder call audioRecord_.start()---..."); } }
鉴于GB28181会涉及到语音广播和语音对讲，需要打开回音消除设置，还有就是噪音抑制等相关设置。
/** * Set Audio Noise Suppression(设置音频噪音抑制) * * @param isNS: if with 1:suppress, if with 0: does not suppress * * @return {0} if successful */ public native int SmartPublisherSetNoiseSuppression(long handle, int isNS); /** * Set Audio AGC(设置音频自动增益控制) * * @param isAGC: if with 1:AGC, if with 0: does not AGC * * @return {0} if successful */ public native int SmartPublisherSetAGC(long handle, int isAGC); /** * Set Audio Echo Cancellation(设置音频回音消除) * * @param isCancel: if with 1:Echo Cancellation, if with 0: does not cancel * * @param delay: echo delay(ms), if with 0, SDK will automatically estimate the delay. * * @return {0} if successful */ public native int SmartPublisherSetEchoCancellation(long handle, int isCancel, int delay);
如果需要调整采集端的audio音量，可以用以下接口：
/** * 设置输入音量, 这个接口一般不建议调用, 在一些特殊情况下可能会用, 一般不建议放大音量 * * @param index: 一般是0和1, 如果没有混音的只用0, 有混音的话, 0,1分别设置音量 * * @param volume: 音量，默认是1.0，范围是[0.0, 5.0], 设置成0静音, 1音量不变 * * @return {0} if successful */ public native int SmartPublisherSetInputAudioVolume(long handle, int index, float volume);
编码前audio数据投递接口设置如下：
/** * 传递PCM音频数据给SDK, 每10ms音频数据传入一次 * * @param pcmdata: pcm数据, 需要使用ByteBuffer.allocateDirect分配, ByteBuffer.isDirect()是true的才行. * @param size: pcm数据大小 * @param sample_rate: 采样率，当前只支持{44100, 8000, 16000, 24000, 32000, 48000}, 推荐44100 * @param channel: 通道, 当前通道支持单通道(1)和双通道(2)，推荐单通道(1) * @param per_channel_sample_number: 这个请传入的是 sample_rate/100 */ public native int SmartPublisherOnPCMData(long handle, ByteBuffer pcmdata, int size, int sample_rate, int channel, int per_channel_sample_number); /** * 传递PCM音频数据给SDK, 每10ms音频数据传入一次 * * @param pcmdata: pcm数据, 需要使用ByteBuffer.allocateDirect分配, ByteBuffer.isDirect()是true的才行. * @param offset: pcmdata的偏移 * @param size: pcm数据大小 * @param sample_rate: 采样率，当前只支持{44100, 8000, 16000, 24000, 32000, 48000}, 推荐44100 * @param channel: 通道, 当前通道支持单通道(1)和双通道(2)，推荐单通道(1) * @param per_channel_sample_number: 这个请传入的是 sample_rate/100 */ public native int SmartPublisherOnPCMDataV2(long handle, ByteBuffer pcmdata, int offset, int size, int sample_rate, int channel, int per_channel_sample_number); /** * 传递PCM音频数据给SDK, 每10ms音频数据传入一次 * * @param pcm_short_array: pcm数据, short是native endian order * @param offset: 数组偏移 * @param len: 数组项数 * @param sample_rate: 采样率，当前只支持{44100, 8000, 16000, 24000, 32000, 48000}, 推荐44100 * @param channel: 通道, 当前通道支持单通道(1)和双通道(2)，推荐单通道(1) * @param per_channel_sample_number: 这个请传入的是 sample_rate/100 */ public native int SmartPublisherOnPCMShortArray(long handle, short[] pcm_short_array, int offset, int len, int sample_rate, int channel, int per_channel_sample_number); /** * 传递PCM音频数据给SDK, 每10ms音频数据传入一次 * * @param pcm_float_array: pcm数据 * @param offset: 数组偏移 * @param len: 数组项数 * @param sample_rate: 采样率，当前只支持{44100, 8000, 16000, 24000, 32000, 48000}, 推荐44100 * @param channel: 通道, 当前通道支持单通道(1)和双通道(2)，推荐单通道(1) * @param per_channel_sample_number: 这个请传入的是 sample_rate/100 */ public native int SmartPublisherOnPCMFloatArray(long handle, float[] pcm_float_array, int offset, int len, int sample_rate, int channel, int per_channel_sample_number); /** * 请参考SmartPublisherOnPCMFloatArray */ public native int SmartPublisherOnPCMFloatNative(long handle, long pcm_float_data, int offset, int len, int sample_rate, int channel, int per_channel_sample_number); /** * Set far end pcm data * * @param pcmdata : 16bit pcm data * @param sampleRate: audio sample rate * @param channel: auido channel * @param per_channel_sample_number: per channel sample numbers * @param is_low_latency: if with 0, it is not low_latency, if with 1, it is low_latency * @return {0} if successful */ public native int SmartPublisherOnFarEndPCMData(long handle, ByteBuffer pcmdata, int sampleRate, int channel, int per_channel_sample_number, int is_low_latency);
如何是编码后的audio数据，可以用以下接口投递：
/** * 设置音频数据(AAC/PCMA/PCMU/SPEEX) * * @param codec_id: * * NT_MEDIA_CODEC_ID_AUDIO_BASE = 0x10000, * NT_MEDIA_CODEC_ID_PCMA = NT_MEDIA_CODEC_ID_AUDIO_BASE, * NT_MEDIA_CODEC_ID_PCMU, * NT_MEDIA_CODEC_ID_AAC, * NT_MEDIA_CODEC_ID_SPEEX, * NT_MEDIA_CODEC_ID_SPEEX_NB, * NT_MEDIA_CODEC_ID_SPEEX_WB, * NT_MEDIA_CODEC_ID_SPEEX_UWB, * * @param data audio数据 * * @param offset data的偏移 * * @param size data length * * @param is_key_frame 是否I帧, if with key frame, please set 1, otherwise, set 0, audio忽略 * * @param timestamp video timestamp * * @param parameter_info 用于AAC special config信息填充 * * @param parameter_info_size parameter info size * * @param sample_rate 采样率,如果需要录像的话必须传正确的值 * *@param channels 通道数, 如果需要录像的话必须传正确的值, 一般是1或者2 * * @return {0} if successful */ public native int SmartPublisherPostAudioEncodedData(long handle, int codec_id, ByteBuffer data, int offset, int size, int is_key_frame, long timestamp, byte[] parameter_info, int parameter_info_size, int sample_rate, int channels);
audio数据投递实例：
class NTAudioRecordV2CallbackImpl implements NTAudioRecordV2Callback { @Override public void onNTAudioRecordV2Frame(ByteBuffer data, int size, int sampleRate, int channel, int per_channel_sample_number) { /* Log.i(TAG, "onNTAudioRecordV2Frame size=" + size + " sampleRate=" + sampleRate + " channel=" + channel + " per_channel_sample_number=" + per_channel_sample_number); */ if (publisherHandle != 0) { libPublisher.SmartPublisherOnPCMData(publisherHandle, data, size, sampleRate, channel, per_channel_sample_number); } } }
停止Audio采集：
if (audioRecord_ != null) { Log.i(TAG, "stopPush, call audioRecord_.StopRecording.."); audioRecord_.Stop(); if (audioRecordCallback_ != null) { audioRecord_.RemoveCallback(audioRecordCallback_); audioRecordCallback_ = null; } audioRecord_ = null; }
总结
GB28181设置接入侧，一般采用G.711A律或AAC编码，数据接入可能是直接通过AudioRecord采集，也可以是外部编码后的Audio数据，具体根据场景来选择即可。
