AliCloudDenoise算法助力阿里云视频云实时会议进入超清音质时代

简介: 阿里云音视频通信RTC(Real-Time Communication)是覆盖在全球范围内的实时音视频开发平台。依托核心音视频编解码、信道传输、网络调度等技术,为您提供高可用、高品质、超低延时的音视频通信服务。除核心功能的提供外,阿里云音视频通信RTC SDK还以插件的形式提供多种增值服务,AliCloudDenoise算法插件即是其中一种。该算法插件可以将噪声滤除,提升语音质量和可懂度,为在线会议、在线教育等实时通信场景提供卓越的语音体验。

阿里云音视频通信RTC(Real-Time Communication)是覆盖在全球范围内的实时音视频开发平台。依托核心音视频编解码、信道传输、网络调度等技术,为您提供高可用、高品质、超低延时的音视频通信服务。除核心功能的提供外,阿里云音视频通信RTC SDK还以插件的形式提供多种增值服务,AliCloudDenoise算法插件即是其中一种。该算法插件可以将噪声滤除,提升语音质量和可懂度,为在线会议、在线教育等实时通信场景提供卓越的语音体验。

效果展示

适用场景

在线视频会议与通话

实时会议易受到办公室嘈杂人声、键盘声、环境空调声的干扰,可以使用AliCloudDenoise音频插件对纯净人声进行实时增强,提升RTC的通话体验。

实时视频直播

直播越来越普及化,直播地点也渐渐多样化,其中不乏市场、地铁站、景点、商场等喧闹的场所,通过使用AliCloudDenoise音频插件可以使主播的声音更加通透清晰,从而提升直播效果。

社交娱乐

社交娱乐场景中用户经常有环境隐私化的需求,AliCloudDenoise音频插件可以最大限度的去除环境中的背景噪声,提供更高质量的通话体验。

在线教育

应用于在线教学场景。教师及学生可通过AliCloudDenoise音频插件,清晰的进行语音交互,为教师和学生提供更佳的教与学体验。

支持平台

Windows、Mac、Android、IOS

注意

该版本插件为纯CPU计算的版本,开启算法会占用一定的CPU资源,无GPU资源消耗。

Windows端 AliCloudDenoise 音频增强插件集成

以下介绍如何在Windows平台集成AliCloudDenoise插件。

前提条件

环境中已安装Visual Studio 2010或以上版本。

环境要求

Windows端具体环境要求,更多信息,请参见各平台SDK的使用限制。​

操作步骤

  1. 创建Visual Studio项目。

  2. 集成阿里云RTC SDK,具体操作,请参见集成客户端SDK

说明

需要集成RTC SDK 2.4及以上版本,详情请参见SDK下载

  1. 集成AliCloudDenoise音频智能增强组件。

    1. 下载并解压音频智能增强组件,下载地址,请参见组件下载

    2. 复制库文件至程序的执行路径下。

      1. 如果系统为32位,请将x86目录下的pluginAliDenoise.dll 和 MNN.dll 文件复制到程序的执行路径下。

      2. 如果系统为32位,请将x86目录下的pluginAliDenoise.dll 和 MNN.dll 文件复制到程序的执行路径下。

  1. 编译。如果编译成功,表示音频智能增强组件集成成功。

功能实现

您可以通过调用EnablePlugin接口使用音频智能增强功能,如下所示(C++代码):

int select_plugin_type = (AliRtcPluginDataTypeAudio.ordinal() << 16) + AliRtcPluginPreOperation.ordinal(); 
mAliRtcEngine.enablePlugin("pluginAliDenoise", "pluginAliDenoise", select_plugin_type, 0, new byte[]{0}); 

Mac端 AliCloudDenoise 音频增强插件集成

以下介绍如何在Mac平台集成AliCloudDenoise插件。

前提条件

  • 环境中已安装Xcode 9.0或以上版本,更多信息,请参见Xcode

  • 您需要持有Apple开发证书或个人账号。

  • 如果使用Mac mini等不包含自带摄像头和麦克风的设备,需要插入外置摄像头和麦克风。

环境要求

Mac端具体环境要求,更多信息,请参见各平台SDK的使用限制

操作步骤

  1. 创建Xcode项目。

  2. 集成阿里云RTC SDK,具体操作,请参见集成客户端SDK

    说明

    需要集成RTC SDK 2.4及以上版本,详情请参见SDK下载

  3. 集成AliCloudDenoise音频智能增强组件。

    1. 下载并解压音频智能增强组件,下载地址,请参见组件下载

    2. 复制pluginAliDenoise.framework 和 libMNN.dylib文件至工程中。

    3. General页签中,在Frameworks, Libraries, and Embedded Content区域中添加pluginAliDenoise.framework和libMNN.dylib,并将对应的Embed属性设置成Embed & Sign

  4. Commond+B,如果界面提示Build Success,表示音频智能增强组件集成成功。

备注

如遇archive APP失败,可在General->Build Settings->Signing->Other Code Signing Flags页签中添加--deep,保存重新尝试。

功能实现

您可以通过调用enablePlugin接口使用音频智能增强功能,如下所示(Objective-C代码):

long select_plugin_type = AliRtcPluginPreOperation + (AliRtcPluginDataTypeAudio << 16);
int ret = [self.engine enablePlugin:@"pluginAliDenoise" pluginName:@"pluginAliDenoise" pluginType:(int)select_plugin_type opType:0 option:NULL];

Android端 AliCloudDenoise 音频增强插件集成

以下介绍如何在Android平台集成AliCloudDenoise插件。

前提条件

环境中已安装Android Studio 3.0或以上版本,更多信息,请参见Android Studio

环境要求

Android NDK为14或以上版本,其他环境要求,更多信息,请参见各平台SDK的使用限制

操作步骤

  1. 创建Android studio项目,具体操作,请参见Android Developers

  2. 集成阿里云RTC SDK,具体操作,请参见集成客户端SDK

    说明

    需要集成RTC SDK 2.4及以上版本,详情请参见SDK下载

  3. 集成AliCloudDenoise音频智能增强组件。

    1. 下载并解压音频智能增强组件,下载地址,请参见组件下载

    2. 复制相应架构(arm64-v8a 或 armeabi-v7a)文件夹下的libpluginAliDenoise.so 、 libMNN.so 及libMNN_Express.so 文件至App模块下的libs文件夹中。

  1. 编译。如果编译成功,表示音频智能增强组件集成成功。

功能实现

您可以通过调用enablePlugin接口使用音频智能增强功能,如下所示(Java代码):

int select_plugin_type = (AliRtcPluginDataTypeAudio.ordinal() << 16) + AliRtcPluginPreOperation.ordinal();
mAliRtcEngine.enablePlugin("pluginAliDenoise", "pluginAliDenoise", select_plugin_type, 0, null);

IOS端 AliCloudDenoise 音频增强插件集成

以下介绍如何在IOS平台集成AliCloudDenoise插件。

前提条件

  • 环境中已安装Xcode 9.0或以上版本,更多信息,请参见Xcode

  • 您需要持有Apple开发证书或个人账号。

环境要求

iOS端具体环境要求,更多信息,请参见各平台SDK的使用限制

操作步骤

  1. 创建Xcode项目。

  2. 集成阿里云RTC SDK,具体操作,请参见集成客户端SDK

    说明

    需要集成RTC SDK 2.4及以上版本,详情请参见SDK下载

  3. 集成AliCloudDenoise音频智能增强组件。

    1. 下载并解压音频智能增强组件,下载地址,请参见组件下载

    2. 复制pluginAliDenoise.framework 文件至工程中。

    3. General页签中,在Frameworks, Libraries, and Embedded Content区域中添加pluginAliDenoise.framework,并将对应的Embed属性设置成Embed & Sign

  1. Commond+B,如果界面提示Build Success,表示音频智能增强组件集成成功。

功能实现

您可以通过调用enablePlugin接口使用音频智能增强功能,如下所示(Objective-C代码):

long select_plugin_type = AliRtcPluginPreOperation + (AliRtcPluginDataTypeAudio << 16);
int ret = [self.engine enablePlugin:@"pluginAliDenoise" pluginName:@"pluginAliDenoise" pluginType:(int)select_plugin_type opType:0 option:NULL];

附录

资源占用

平台

设备型号

系统版本

开启后CPU性能

开启后内存性能

插件库大小

MAC

MacBook Pro (13-inch, 2017)

MACOS 10.15.7

提升4.8%

提升37.5MB

2.4MB + 推演框架 MNN 2.3MB

windows

ThinkPad X1 carbon 6th (高配)

win 10 64位

提升4.8%

提升38.7MB

3.3 MB (win32) + 推演框架 MNN 2.4MB

3.4 MB (win 64) + 推演框架 MNN 3MB

IOS

iphone 11 pro

ios 13.4.1

持平

提升19.8MB

8.2M(含armv7及v8架构+推演框架MNN)

Android

google pixel 4

android 10

提升1.6%

提升26.6MB

3.2MB (v8架构下) + 推演框架 MNN 1.6MB

3.1MB (v7架构下) + 推演框架 MNN 768KB

注意

开启后CPU及内存性能增幅数值的比较对象为默认开启的传统语音增强算法。

机型适配报告

类型

品牌

机型

操作系统

测试结果

Android

华为

华为Mate Mate Xs

HarmonyOS 2.0

PASS

华为

huawei P8青春版

android 6

PASS

华为

mate9

android 9

PASS

oppo

OPPO R9M

android 5.1

PASS

oppo

R11

android 8.1

PASS

oppo

find X2 pro

android 11

PASS

vivo

z3 V1813BA

android 9

PASS

vivo

X9

android 7.1.2

PASS

vivo

Z5x

android 9

PASS

vivo

v1932A

android 10

PASS

美图

美图V2.1

android 7.1.1

PASS

小米

小米4C

android 7.0

PASS

荣耀

Honor V20

androis 10

PASS

三星

Galaxy A80

android9

PASS

小米(红米)

Note8 Pro

android10

PASS

IOS

苹果

iphone6

10.3.3

PASS

苹果

iphone7p

14.6

PASS

苹果

iphone 6s

14.1

PASS

苹果

iphone 6s

12.5.4

PASS

苹果

iphone8p

11.1.2

PASS

苹果

iphone xs mas

12.3.1

PASS

苹果

iphone x

14.4.2

PASS

苹果

iphone 5

11

PASS

苹果

iphone 5s

12.5.2

PASS

PC

联想

X1 carbon

WIN 10

PASS

APPle

macbook pro inch-13

OS 10.15

PASS

APPle

mac air

OS 10.13

PASS

相关文章
|
24天前
|
机器学习/深度学习 人工智能 自然语言处理
【MM2024】阿里云 PAI 团队图像编辑算法论文入选 MM2024
阿里云人工智能平台 PAI 团队发表的图像编辑算法论文在 MM2024 上正式亮相发表。ACM MM(ACM国际多媒体会议)是国际多媒体领域的顶级会议,旨在为研究人员、工程师和行业专家提供一个交流平台,以展示在多媒体领域的最新研究成果、技术进展和应用案例。其主题涵盖了图像处理、视频分析、音频处理、社交媒体和多媒体系统等广泛领域。此次入选标志着阿里云人工智能平台 PAI 在图像编辑算法方面的研究获得了学术界的充分认可。
【MM2024】阿里云 PAI 团队图像编辑算法论文入选 MM2024
|
3天前
|
分布式计算 Java 开发工具
阿里云MaxCompute-XGBoost on Spark 极限梯度提升算法的分布式训练与模型持久化oss的实现与代码浅析
本文介绍了XGBoost在MaxCompute+OSS架构下模型持久化遇到的问题及其解决方案。首先简要介绍了XGBoost的特点和应用场景,随后详细描述了客户在将XGBoost on Spark任务从HDFS迁移到OSS时遇到的异常情况。通过分析异常堆栈和源代码,发现使用的`nativeBooster.saveModel`方法不支持OSS路径,而使用`write.overwrite().save`方法则能成功保存模型。最后提供了完整的Scala代码示例、Maven配置和提交命令,帮助用户顺利迁移模型存储路径。
|
4月前
|
机器学习/深度学习 人工智能 自然语言处理
|
5月前
|
分布式计算 算法 Java
阿里云ODPS PySpark任务使用mmlspark/synapseml运行LightGBM进行Boosting算法的高效训练与推理
阿里云ODPS PySpark任务使用mmlspark/synapseml运行LightGBM进行Boosting算法的高效训练与推理
|
5月前
|
机器学习/深度学习 人工智能 自然语言处理
【CVPR2024】阿里云人工智能平台PAI图像编辑算法论文入选CVPR2024
近期,阿里云人工智能平台PAI发表的图像编辑算法论文在CVPR-2024上正式亮相发表。论文成果是阿里云与华南理工大学贾奎教授领衔的团队共同研发。此次入选标志着阿里云人工智能平台PAI自主研发的图像编辑算法达到了先进水平,赢得了国际学术界的认可。在阿里云人工智能平台PAI算法团队和华南理工大学的老师学生们一同的坚持和热情下,将阿里云在图像生成与编辑领域的先进理念得以通过学术论文和会议的形式,向业界传递和展现。
|
6月前
|
存储 自然语言处理 算法
阿里云百炼之RAG算法能力分享会来喽|速来围观~
阿里云百炼是基于通义大模型、行业大模型以及三方大模型的一站式大模型开发平台。提供完整的模型训练工具和全链路开发套件,预置丰富的应用插件,提供便捷的集成方式,结合企业专属数据和API,帮企业高效完成大模型应用构建。RAG检索增强应用是在通义千问-Max大模型基础之上,专项增强「基于知识检索的大模型生成能力」,支持基于结构化/非结构化内容的文字生成场景。
|
12月前
|
机器学习/深度学习 存储 算法
阿里云国际站:拍立淘-以图搜图中的图像搜索算法是怎么样的?
@luotuoemo飞机@TG 阿里云国际站:拍立淘-以图搜图中的图像搜索算法是怎么样的?图像搜索在现代搜索系统中扮演了重要角色,尤其在电子商务网站如阿里巴巴等,它更是一个必不可少的功能。拍立淘是阿里云国际站的一个以图搜图功能,它使用了复杂的图像搜索算法进行图片匹配和识别。以下是对该算法的简单描述。
|
6月前
|
人工智能 监控 算法
阿里云PAI-EAS算法服务挑战赛:开启AI新时代
阿里云PAI-EAS算法服务挑战赛:开启AI新时代
467 1
|
6月前
|
算法 开发工具 Android开发
AliCloudDenoise算法助力阿里云视频云实时会议进入超清音质时代
阿里云音视频通信RTC(Real-Time Communication)是覆盖在全球范围内的实时音视频开发平台。依托核心音视频编解码、信道传输、网络调度等技术,为您提供高可用、高品质、超低延时的音视频通信服务。除核心功能的提供外,阿里云音视频通信RTC SDK还以插件的形式提供多种增值服务,AliCloudDenoise算法插件即是其中一种。该算法插件可以将噪声滤除,提升语音质量和可懂度,为在线会议、在线教育等实时通信场景提供卓越的语音体验。
|
11天前
|
算法 安全 数据安全/隐私保护
基于game-based算法的动态频谱访问matlab仿真
本算法展示了在认知无线电网络中,通过游戏理论优化动态频谱访问,提高频谱利用率和物理层安全性。程序运行效果包括负载因子、传输功率、信噪比对用户效用和保密率的影响分析。软件版本:Matlab 2022a。完整代码包含详细中文注释和操作视频。