AliCloudDenoise算法助力阿里云视频云实时会议进入超清音质时代

简介: 阿里云音视频通信RTC(Real-Time Communication)是覆盖在全球范围内的实时音视频开发平台。依托核心音视频编解码、信道传输、网络调度等技术,为您提供高可用、高品质、超低延时的音视频通信服务。除核心功能的提供外,阿里云音视频通信RTC SDK还以插件的形式提供多种增值服务,AliCloudDenoise算法插件即是其中一种。该算法插件可以将噪声滤除,提升语音质量和可懂度,为在线会议、在线教育等实时通信场景提供卓越的语音体验。

阿里云音视频通信RTC(Real-Time Communication)是覆盖在全球范围内的实时音视频开发平台。依托核心音视频编解码、信道传输、网络调度等技术,为您提供高可用、高品质、超低延时的音视频通信服务。除核心功能的提供外,阿里云音视频通信RTC SDK还以插件的形式提供多种增值服务,AliCloudDenoise算法插件即是其中一种。该算法插件可以将噪声滤除,提升语音质量和可懂度,为在线会议、在线教育等实时通信场景提供卓越的语音体验。

效果展示

适用场景

在线视频会议与通话

实时会议易受到办公室嘈杂人声、键盘声、环境空调声的干扰,可以使用AliCloudDenoise音频插件对纯净人声进行实时增强,提升RTC的通话体验。

实时视频直播

直播越来越普及化,直播地点也渐渐多样化,其中不乏市场、地铁站、景点、商场等喧闹的场所,通过使用AliCloudDenoise音频插件可以使主播的声音更加通透清晰,从而提升直播效果。

社交娱乐

社交娱乐场景中用户经常有环境隐私化的需求,AliCloudDenoise音频插件可以最大限度的去除环境中的背景噪声,提供更高质量的通话体验。

在线教育

应用于在线教学场景。教师及学生可通过AliCloudDenoise音频插件,清晰的进行语音交互,为教师和学生提供更佳的教与学体验。

支持平台

Windows、Mac、Android、IOS

注意

该版本插件为纯CPU计算的版本,开启算法会占用一定的CPU资源,无GPU资源消耗。

Windows端 AliCloudDenoise 音频增强插件集成

以下介绍如何在Windows平台集成AliCloudDenoise插件。

前提条件

环境中已安装Visual Studio 2010或以上版本。

环境要求

Windows端具体环境要求,更多信息,请参见各平台SDK的使用限制。​

操作步骤

  1. 创建Visual Studio项目。

  2. 集成阿里云RTC SDK,具体操作,请参见集成客户端SDK

说明

需要集成RTC SDK 2.4及以上版本,详情请参见SDK下载

  1. 集成AliCloudDenoise音频智能增强组件。

    1. 下载并解压音频智能增强组件,下载地址,请参见组件下载

    2. 复制库文件至程序的执行路径下。

      1. 如果系统为32位,请将x86目录下的pluginAliDenoise.dll 和 MNN.dll 文件复制到程序的执行路径下。

      2. 如果系统为32位,请将x86目录下的pluginAliDenoise.dll 和 MNN.dll 文件复制到程序的执行路径下。

  1. 编译。如果编译成功,表示音频智能增强组件集成成功。

功能实现

您可以通过调用EnablePlugin接口使用音频智能增强功能,如下所示(C++代码):

int select_plugin_type = (AliRtcPluginDataTypeAudio.ordinal() << 16) + AliRtcPluginPreOperation.ordinal(); 
mAliRtcEngine.enablePlugin("pluginAliDenoise", "pluginAliDenoise", select_plugin_type, 0, new byte[]{0}); 

Mac端 AliCloudDenoise 音频增强插件集成

以下介绍如何在Mac平台集成AliCloudDenoise插件。

前提条件

  • 环境中已安装Xcode 9.0或以上版本,更多信息,请参见Xcode

  • 您需要持有Apple开发证书或个人账号。

  • 如果使用Mac mini等不包含自带摄像头和麦克风的设备,需要插入外置摄像头和麦克风。

环境要求

Mac端具体环境要求,更多信息,请参见各平台SDK的使用限制

操作步骤

  1. 创建Xcode项目。

  2. 集成阿里云RTC SDK,具体操作,请参见集成客户端SDK

    说明

    需要集成RTC SDK 2.4及以上版本,详情请参见SDK下载

  3. 集成AliCloudDenoise音频智能增强组件。

    1. 下载并解压音频智能增强组件,下载地址,请参见组件下载

    2. 复制pluginAliDenoise.framework 和 libMNN.dylib文件至工程中。

    3. General页签中,在Frameworks, Libraries, and Embedded Content区域中添加pluginAliDenoise.framework和libMNN.dylib,并将对应的Embed属性设置成Embed & Sign

  4. Commond+B,如果界面提示Build Success,表示音频智能增强组件集成成功。

备注

如遇archive APP失败,可在General->Build Settings->Signing->Other Code Signing Flags页签中添加--deep,保存重新尝试。

功能实现

您可以通过调用enablePlugin接口使用音频智能增强功能,如下所示(Objective-C代码):

long select_plugin_type = AliRtcPluginPreOperation + (AliRtcPluginDataTypeAudio << 16);
int ret = [self.engine enablePlugin:@"pluginAliDenoise" pluginName:@"pluginAliDenoise" pluginType:(int)select_plugin_type opType:0 option:NULL];

Android端 AliCloudDenoise 音频增强插件集成

以下介绍如何在Android平台集成AliCloudDenoise插件。

前提条件

环境中已安装Android Studio 3.0或以上版本,更多信息,请参见Android Studio

环境要求

Android NDK为14或以上版本,其他环境要求,更多信息,请参见各平台SDK的使用限制

操作步骤

  1. 创建Android studio项目,具体操作,请参见Android Developers

  2. 集成阿里云RTC SDK,具体操作,请参见集成客户端SDK

    说明

    需要集成RTC SDK 2.4及以上版本,详情请参见SDK下载

  3. 集成AliCloudDenoise音频智能增强组件。

    1. 下载并解压音频智能增强组件,下载地址,请参见组件下载

    2. 复制相应架构(arm64-v8a 或 armeabi-v7a)文件夹下的libpluginAliDenoise.so 、 libMNN.so 及libMNN_Express.so 文件至App模块下的libs文件夹中。

  1. 编译。如果编译成功,表示音频智能增强组件集成成功。

功能实现

您可以通过调用enablePlugin接口使用音频智能增强功能,如下所示(Java代码):

int select_plugin_type = (AliRtcPluginDataTypeAudio.ordinal() << 16) + AliRtcPluginPreOperation.ordinal();
mAliRtcEngine.enablePlugin("pluginAliDenoise", "pluginAliDenoise", select_plugin_type, 0, null);

IOS端 AliCloudDenoise 音频增强插件集成

以下介绍如何在IOS平台集成AliCloudDenoise插件。

前提条件

  • 环境中已安装Xcode 9.0或以上版本,更多信息,请参见Xcode

  • 您需要持有Apple开发证书或个人账号。

环境要求

iOS端具体环境要求,更多信息,请参见各平台SDK的使用限制

操作步骤

  1. 创建Xcode项目。

  2. 集成阿里云RTC SDK,具体操作,请参见集成客户端SDK

    说明

    需要集成RTC SDK 2.4及以上版本,详情请参见SDK下载

  3. 集成AliCloudDenoise音频智能增强组件。

    1. 下载并解压音频智能增强组件,下载地址,请参见组件下载

    2. 复制pluginAliDenoise.framework 文件至工程中。

    3. General页签中,在Frameworks, Libraries, and Embedded Content区域中添加pluginAliDenoise.framework,并将对应的Embed属性设置成Embed & Sign

  1. Commond+B,如果界面提示Build Success,表示音频智能增强组件集成成功。

功能实现

您可以通过调用enablePlugin接口使用音频智能增强功能,如下所示(Objective-C代码):

long select_plugin_type = AliRtcPluginPreOperation + (AliRtcPluginDataTypeAudio << 16);
int ret = [self.engine enablePlugin:@"pluginAliDenoise" pluginName:@"pluginAliDenoise" pluginType:(int)select_plugin_type opType:0 option:NULL];

附录

资源占用

平台

设备型号

系统版本

开启后CPU性能

开启后内存性能

插件库大小

MAC

MacBook Pro (13-inch, 2017)

MACOS 10.15.7

提升4.8%

提升37.5MB

2.4MB + 推演框架 MNN 2.3MB

windows

ThinkPad X1 carbon 6th (高配)

win 10 64位

提升4.8%

提升38.7MB

3.3 MB (win32) + 推演框架 MNN 2.4MB

3.4 MB (win 64) + 推演框架 MNN 3MB

IOS

iphone 11 pro

ios 13.4.1

持平

提升19.8MB

8.2M(含armv7及v8架构+推演框架MNN)

Android

google pixel 4

android 10

提升1.6%

提升26.6MB

3.2MB (v8架构下) + 推演框架 MNN 1.6MB

3.1MB (v7架构下) + 推演框架 MNN 768KB

注意

开启后CPU及内存性能增幅数值的比较对象为默认开启的传统语音增强算法。

机型适配报告

类型

品牌

机型

操作系统

测试结果

Android

华为

华为Mate Mate Xs

HarmonyOS 2.0

PASS

华为

huawei P8青春版

android 6

PASS

华为

mate9

android 9

PASS

oppo

OPPO R9M

android 5.1

PASS

oppo

R11

android 8.1

PASS

oppo

find X2 pro

android 11

PASS

vivo

z3 V1813BA

android 9

PASS

vivo

X9

android 7.1.2

PASS

vivo

Z5x

android 9

PASS

vivo

v1932A

android 10

PASS

美图

美图V2.1

android 7.1.1

PASS

小米

小米4C

android 7.0

PASS

荣耀

Honor V20

androis 10

PASS

三星

Galaxy A80

android9

PASS

小米(红米)

Note8 Pro

android10

PASS

IOS

苹果

iphone6

10.3.3

PASS

苹果

iphone7p

14.6

PASS

苹果

iphone 6s

14.1

PASS

苹果

iphone 6s

12.5.4

PASS

苹果

iphone8p

11.1.2

PASS

苹果

iphone xs mas

12.3.1

PASS

苹果

iphone x

14.4.2

PASS

苹果

iphone 5

11

PASS

苹果

iphone 5s

12.5.2

PASS

PC

联想

X1 carbon

WIN 10

PASS

APPle

macbook pro inch-13

OS 10.15

PASS

APPle

mac air

OS 10.13

PASS

相关文章
|
11天前
|
人工智能 vr&ar
AIGC领域又有大动作了!AI视频“黑马”Morph Studio 来袭,1080P高清画质视频免费生成!
AIGC领域又有大动作了!AI视频“黑马”Morph Studio 来袭,1080P高清画质视频免费生成!
|
机器学习/深度学习 存储 人工智能
《云上新势力 CLOUD IMAGINE》——Part 2 演讲/文章合集——文章8:《OPPO云边端的协同实践》(上)
《云上新势力 CLOUD IMAGINE》——Part 2 演讲/文章合集——文章8:《OPPO云边端的协同实践》(上)
190 0
|
机器学习/深度学习 存储 人工智能
《云上新势力 CLOUD IMAGINE》——Part 2 演讲/文章合集——文章8:《OPPO云边端的协同实践》(下)
《云上新势力 CLOUD IMAGINE》——Part 2 演讲/文章合集——文章8:《OPPO云边端的协同实践》(下)
130 0
|
编解码 人工智能 vr&ar
《云上新势力 CLOUD IMAGINE》——Part 2 演讲/文章合集——文章4:《体验不尽,进化不止,视频云技术六大创新》(1)
《云上新势力 CLOUD IMAGINE》——Part 2 演讲/文章合集——文章4:《体验不尽,进化不止,视频云技术六大创新》(1)
90 0
|
机器学习/深度学习 编解码 算法
《云上新势力 CLOUD IMAGINE》——Part 2 演讲/文章合集——文章4:《体验不尽,进化不止,视频云技术六大创新》(3)
《云上新势力 CLOUD IMAGINE》——Part 2 演讲/文章合集——文章4:《体验不尽,进化不止,视频云技术六大创新》(3)
108 0
|
Cloud Native 算法 开发工具
《云上新势力 CLOUD IMAGINE》——Part 2 演讲/文章合集——文章4:《体验不尽,进化不止,视频云技术六大创新》(2)
《云上新势力 CLOUD IMAGINE》——Part 2 演讲/文章合集——文章4:《体验不尽,进化不止,视频云技术六大创新》(2)
111 0
|
存储 人工智能 算法
《云上新势力 CLOUD IMAGINE》——Part 2 演讲/文章合集——文章4:《体验不尽,进化不止,视频云技术六大创新》(4)
《云上新势力 CLOUD IMAGINE》——Part 2 演讲/文章合集——文章4:《体验不尽,进化不止,视频云技术六大创新》(4)
88 0
|
数据采集 人工智能 安全
一文看尽云栖上的IoT展区:更强平台 更新方案
2022年云栖大会,阿里云IoT展示了包括未来工厂、一云多端应用引擎、数智农业、城市治理移动AI等全新升级的云网边端安全一体化IoT智能底和创新应用解决方案。
264 0
一文看尽云栖上的IoT展区:更强平台 更新方案
|
Web App开发 编解码 缓存
深度解读阿里巴巴SIGCOMM2022“可预期音视频网络”技术
深度解读阿里巴巴SIGCOMM2022“可预期音视频网络”技术
深度解读阿里巴巴SIGCOMM2022“可预期音视频网络”技术
|
11天前
|
算法 开发工具 Android开发
AliCloudDenoise算法助力阿里云视频云实时会议进入超清音质时代
阿里云音视频通信RTC(Real-Time Communication)是覆盖在全球范围内的实时音视频开发平台。依托核心音视频编解码、信道传输、网络调度等技术,为您提供高可用、高品质、超低延时的音视频通信服务。除核心功能的提供外,阿里云音视频通信RTC SDK还以插件的形式提供多种增值服务,AliCloudDenoise算法插件即是其中一种。该算法插件可以将噪声滤除,提升语音质量和可懂度,为在线会议、在线教育等实时通信场景提供卓越的语音体验。