阿里云音视频通信RTC(Real-Time Communication)是覆盖在全球范围内的实时音视频开发平台。依托核心音视频编解码、信道传输、网络调度等技术,为您提供高可用、高品质、超低延时的音视频通信服务。除核心功能的提供外,阿里云音视频通信RTC SDK还以插件的形式提供多种增值服务,AliCloudDenoise算法插件即是其中一种。该算法插件可以将噪声滤除,提升语音质量和可懂度,为在线会议、在线教育等实时通信场景提供卓越的语音体验。
效果展示
适用场景
在线视频会议与通话
实时会议易受到办公室嘈杂人声、键盘声、环境空调声的干扰,可以使用AliCloudDenoise音频插件对纯净人声进行实时增强,提升RTC的通话体验。
实时视频直播
直播越来越普及化,直播地点也渐渐多样化,其中不乏市场、地铁站、景点、商场等喧闹的场所,通过使用AliCloudDenoise音频插件可以使主播的声音更加通透清晰,从而提升直播效果。
社交娱乐
社交娱乐场景中用户经常有环境隐私化的需求,AliCloudDenoise音频插件可以最大限度的去除环境中的背景噪声,提供更高质量的通话体验。
在线教育
应用于在线教学场景。教师及学生可通过AliCloudDenoise音频插件,清晰的进行语音交互,为教师和学生提供更佳的教与学体验。
支持平台
Windows、Mac、Android、IOS
该版本插件为纯CPU计算的版本,开启算法会占用一定的CPU资源,无GPU资源消耗。
Windows端 AliCloudDenoise 音频增强插件集成
以下介绍如何在Windows平台集成AliCloudDenoise插件。
前提条件
环境中已安装Visual Studio 2010或以上版本。
环境要求
Windows端具体环境要求,更多信息,请参见各平台SDK的使用限制。
操作步骤
创建Visual Studio项目。
集成阿里云RTC SDK,具体操作,请参见集成客户端SDK。
需要集成RTC SDK 2.4及以上版本,详情请参见SDK下载。
集成AliCloudDenoise音频智能增强组件。
下载并解压音频智能增强组件,下载地址,请参见组件下载。
复制库文件至程序的执行路径下。
如果系统为32位,请将x86目录下的pluginAliDenoise.dll 和 MNN.dll 文件复制到程序的执行路径下。
如果系统为32位,请将x86目录下的pluginAliDenoise.dll 和 MNN.dll 文件复制到程序的执行路径下。
编译。如果编译成功,表示音频智能增强组件集成成功。
功能实现
您可以通过调用EnablePlugin接口使用音频智能增强功能,如下所示(C++代码):
int select_plugin_type = (AliRtcPluginDataTypeAudio.ordinal() << 16) + AliRtcPluginPreOperation.ordinal();
mAliRtcEngine.enablePlugin("pluginAliDenoise", "pluginAliDenoise", select_plugin_type, 0, new byte[]{0});
Mac端 AliCloudDenoise 音频增强插件集成
以下介绍如何在Mac平台集成AliCloudDenoise插件。
前提条件
环境中已安装Xcode 9.0或以上版本,更多信息,请参见Xcode。
您需要持有Apple开发证书或个人账号。
如果使用Mac mini等不包含自带摄像头和麦克风的设备,需要插入外置摄像头和麦克风。
环境要求
Mac端具体环境要求,更多信息,请参见各平台SDK的使用限制。
操作步骤
创建Xcode项目。
集成阿里云RTC SDK,具体操作,请参见集成客户端SDK。
说明需要集成RTC SDK 2.4及以上版本,详情请参见SDK下载。
集成AliCloudDenoise音频智能增强组件。
下载并解压音频智能增强组件,下载地址,请参见组件下载。
复制pluginAliDenoise.framework 和 libMNN.dylib文件至工程中。
在General页签中,在Frameworks, Libraries, and Embedded Content区域中添加pluginAliDenoise.framework和libMNN.dylib,并将对应的Embed属性设置成Embed & Sign。
按Commond+B,如果界面提示Build Success,表示音频智能增强组件集成成功。
备注
如遇archive APP失败,可在General->Build Settings->Signing->Other Code Signing Flags页签中添加--deep,保存重新尝试。
功能实现
您可以通过调用enablePlugin接口使用音频智能增强功能,如下所示(Objective-C代码):
long select_plugin_type = AliRtcPluginPreOperation + (AliRtcPluginDataTypeAudio << 16);
int ret = [self.engine enablePlugin:@"pluginAliDenoise" pluginName:@"pluginAliDenoise" pluginType:(int)select_plugin_type opType:0 option:NULL];
Android端 AliCloudDenoise 音频增强插件集成
以下介绍如何在Android平台集成AliCloudDenoise插件。
前提条件
环境中已安装Android Studio 3.0或以上版本,更多信息,请参见Android Studio。
环境要求
Android NDK为14或以上版本,其他环境要求,更多信息,请参见各平台SDK的使用限制。
操作步骤
创建Android studio项目,具体操作,请参见Android Developers。
集成阿里云RTC SDK,具体操作,请参见集成客户端SDK。
说明需要集成RTC SDK 2.4及以上版本,详情请参见SDK下载。
集成AliCloudDenoise音频智能增强组件。
下载并解压音频智能增强组件,下载地址,请参见组件下载。
复制相应架构(arm64-v8a 或 armeabi-v7a)文件夹下的libpluginAliDenoise.so 、 libMNN.so 及libMNN_Express.so 文件至App模块下的libs文件夹中。
编译。如果编译成功,表示音频智能增强组件集成成功。
功能实现
您可以通过调用enablePlugin接口使用音频智能增强功能,如下所示(Java代码):
int select_plugin_type = (AliRtcPluginDataTypeAudio.ordinal() << 16) + AliRtcPluginPreOperation.ordinal();
mAliRtcEngine.enablePlugin("pluginAliDenoise", "pluginAliDenoise", select_plugin_type, 0, null);
IOS端 AliCloudDenoise 音频增强插件集成
以下介绍如何在IOS平台集成AliCloudDenoise插件。
前提条件
环境中已安装Xcode 9.0或以上版本,更多信息,请参见Xcode。
您需要持有Apple开发证书或个人账号。
环境要求
iOS端具体环境要求,更多信息,请参见各平台SDK的使用限制。
操作步骤
创建Xcode项目。
集成阿里云RTC SDK,具体操作,请参见集成客户端SDK。
说明需要集成RTC SDK 2.4及以上版本,详情请参见SDK下载。
集成AliCloudDenoise音频智能增强组件。
下载并解压音频智能增强组件,下载地址,请参见组件下载。
复制pluginAliDenoise.framework 文件至工程中。
在General页签中,在Frameworks, Libraries, and Embedded Content区域中添加pluginAliDenoise.framework,并将对应的Embed属性设置成Embed & Sign。
按Commond+B,如果界面提示Build Success,表示音频智能增强组件集成成功。
功能实现
您可以通过调用enablePlugin接口使用音频智能增强功能,如下所示(Objective-C代码):
long select_plugin_type = AliRtcPluginPreOperation + (AliRtcPluginDataTypeAudio << 16);
int ret = [self.engine enablePlugin:@"pluginAliDenoise" pluginName:@"pluginAliDenoise" pluginType:(int)select_plugin_type opType:0 option:NULL];
附录
资源占用
平台 |
设备型号 |
系统版本 |
开启后CPU性能 |
开启后内存性能 |
插件库大小 |
MAC |
MacBook Pro (13-inch, 2017) |
MACOS 10.15.7 |
提升4.8% |
提升37.5MB |
2.4MB + 推演框架 MNN 2.3MB |
windows |
ThinkPad X1 carbon 6th (高配) |
win 10 64位 |
提升4.8% |
提升38.7MB |
3.3 MB (win32) + 推演框架 MNN 2.4MB 3.4 MB (win 64) + 推演框架 MNN 3MB |
IOS |
iphone 11 pro |
ios 13.4.1 |
持平 |
提升19.8MB |
8.2M(含armv7及v8架构+推演框架MNN) |
Android |
google pixel 4 |
android 10 |
提升1.6% |
提升26.6MB |
3.2MB (v8架构下) + 推演框架 MNN 1.6MB 3.1MB (v7架构下) + 推演框架 MNN 768KB |
开启后CPU及内存性能增幅数值的比较对象为默认开启的传统语音增强算法。
机型适配报告
类型 |
品牌 |
机型 |
操作系统 |
测试结果 |
Android |
华为 |
华为Mate Mate Xs |
HarmonyOS 2.0 |
PASS |
华为 |
huawei P8青春版 |
android 6 |
PASS |
|
华为 |
mate9 |
android 9 |
PASS |
|
oppo |
OPPO R9M |
android 5.1 |
PASS |
|
oppo |
R11 |
android 8.1 |
PASS |
|
oppo |
find X2 pro |
android 11 |
PASS |
|
vivo |
z3 V1813BA |
android 9 |
PASS |
|
vivo |
X9 |
android 7.1.2 |
PASS |
|
vivo |
Z5x |
android 9 |
PASS |
|
vivo |
v1932A |
android 10 |
PASS |
|
美图 |
美图V2.1 |
android 7.1.1 |
PASS |
|
小米 |
小米4C |
android 7.0 |
PASS |
|
荣耀 |
Honor V20 |
androis 10 |
PASS |
|
三星 |
Galaxy A80 |
android9 |
PASS |
|
小米(红米) |
Note8 Pro |
android10 |
PASS |
|
IOS |
苹果 |
iphone6 |
10.3.3 |
PASS |
苹果 |
iphone7p |
14.6 |
PASS |
|
苹果 |
iphone 6s |
14.1 |
PASS |
|
苹果 |
iphone 6s |
12.5.4 |
PASS |
|
苹果 |
iphone8p |
11.1.2 |
PASS |
|
苹果 |
iphone xs mas |
12.3.1 |
PASS |
|
苹果 |
iphone x |
14.4.2 |
PASS |
|
苹果 |
iphone 5 |
11 |
PASS |
|
苹果 |
iphone 5s |
12.5.2 |
PASS |
|
PC |
联想 |
X1 carbon |
WIN 10 |
PASS |
APPle |
macbook pro inch-13 |
OS 10.15 |
PASS |
|
APPle |
mac air |
OS 10.13 |
PASS |