带你读《2022技术人的百宝黑皮书》——淘宝直播端到端音视频评测方案首次公开(7)

简介: 带你读《2022技术人的百宝黑皮书》——淘宝直播端到端音视频评测方案首次公开(7)

带你读《2022技术人的百宝黑皮书》——淘宝直播端到端音视频评测方案首次公开(6) https://developer.aliyun.com/article/1243278?groupCode=taobaotech



噪声抑制ANS


噪声抑制评估主要包括以下几个方面:1)噪声的收敛情况,即噪声是否收敛以及收敛的速度。2)降噪后的音质是否损伤,即音质情况。3)降噪算法的性能消耗情况(如cpu、内存)。


降噪效果评估采用真实噪声场景、稳态噪声(如白噪声、粉红噪声等)、非平稳噪声、噪声变化等不同场景的噪声素材,以尽量覆盖各种噪声场景和分析算法的自适应能力。由于淘宝直播主要的使用场景是人声类场景(主播卖货),我们主要关注降噪后的语音质量。在此,我们使用不同信噪比的音频素材作为测试集,并采用主观评测和客观评测两种方式来评测降噪后音频的质量。客观评测主要采用PESQ(Perceptual evaluation of speech quality)和STOI(Short-Time Objective Intelligibility)两种方式来对比推流前和ANS处理后的音频质量。主观评测主要参考音质增强算法的评估标准(ITU-T P.835,ITU-R BS.1284-2, EBU subjective assessment),采用有源多元算法(不同App)对比,制定打分规则并进行打分。主观评测可以看不同算法的降噪后的效果。


回声消除AEC


在音视频会议或连麦场景中,远端传过来的语音信号经会议设备的扬声器或者音响设备放出后,经房间墙壁等一系列的反射,最后又被麦克风采集并传到远端。这样,远端用户就不仅听到了本地用户讲话的声音,也听到了自己讲话的声音回传,也就是“回声”。


image.png

回声消除算法效果评测主要是模拟单讲和双讲的场景下是否有回声,以及回声的收敛效果。将带有特征脉冲序列音频语音作为输入数据集,再利用Audition分析录制的单讲(或双讲)场景下的音频,来判断回声是否收敛和收敛时长。


自动增益AGC


现实场景中,因主播采集设备差异、距离麦克风的距离不同等因素,导致采集到的声音忽大忽小。AGC的主要作用就是平滑这些差异,当输入语音音量过小时,将其适当放大;当输入语音信号音量过大时,则将适当降低幅度,避免削波失真和较差的音频体验。


AGC算法评测主要包括:

1. 增益的大小和增益的平滑度;

2. 噪声场景下,AGC是否将噪声放大。AGC测试素材包括大音量音频、小音量音频、噪声音频、以及音量变化音

频。将输入和输出的音频做时域对齐,然后分段对比AGC前后幅度计算出平均增益幅度及平滑度。




带你读《2022技术人的百宝黑皮书》——淘宝直播端到端音视频评测方案首次公开(8) https://developer.aliyun.com/article/1243276?groupCode=taobaotech

相关文章
|
存储 缓存 安全
Nacos 安全零信任实践
本文将介绍如何基于安全零信任的理念来保证 Nacos 的数据安全。
13559 102
|
缓存
idea更改默认缓存位置步骤
在idea使用中,会产生大量的缓存,一般默认存放在C盘里面,会加大C盘的储存负担,如果C盘足够大,可以不考虑更改idea的缓存位置
4732 0
idea更改默认缓存位置步骤
|
11月前
|
缓存 PyTorch 算法框架/工具
离线推理精度问题分析
传统模型迁移到昇腾设备上出现了精度问题,介绍精度问题的定位方法和解决方案,重点介绍了精度问题的定位定界方法。
离线推理精度问题分析
|
Android开发 开发工具 IDE
Android gradle问题解决: This app has been built with an incorrect configuration. Please configure your build for VectorDrawableCompat
1. 问题描述: Android Studio在运行模拟器某些机型或者真机某些机型的时候发生闪退。 错误如下: Java.lang.RuntimeException: Unable to start activity ComponentInfo{com.
2760 0
|
设计模式 存储 安全
【设计模式——学习笔记】23种设计模式——单例模式Singleton(原理讲解+应用场景介绍+案例介绍+Java代码实现)
【设计模式——学习笔记】23种设计模式——单例模式Singleton(原理讲解+应用场景介绍+案例介绍+Java代码实现)
247 0
|
机器学习/深度学习 人工智能 UED
OOTDiffusion:开源AI虚拟试衣工具,智能适配性别和体型自动调整衣物
OOTDiffusion是一款开源的AI虚拟试衣工具,能够智能适配不同性别和体型,自动调整衣物尺寸和形状,生成自然贴合的试穿效果。该工具支持半身和全身试穿模式,操作简单,适合服装电商、时尚行业从业者及AI试穿技术爱好者使用。
1805 27
OOTDiffusion:开源AI虚拟试衣工具,智能适配性别和体型自动调整衣物
|
Android开发
Flutter控件的显示与隐藏
Flutter控件的显示与隐藏
654 3
|
JSON API 开发者
1688 快递费用 API 接口的技术剖析与应用
1688快递费用API接口为企业和开发者提供自动化、高效化的快递费用查询服务,打破人工查询的繁琐局面。通过输入寄件与收件地址、商品重量、体积及选择快递公司等信息,接口精准计算费用并返回结果,支持中通、圆通等主流快递。输出内容包括快递费用、预估时效及附加费说明,助力电商精细化运营。Python示例代码展示了如何使用requests库发起POST请求并解析响应数据,实现费用查询自动化。
604 10
|
机器学习/深度学习 人工智能 算法
AI浪潮下的青年觉醒:生成式人工智能(GAI)认证赋能未来竞争力与人文担当
人工智能正深刻改变生活与工作,青年面临前所未有的机遇与挑战。文章探讨了青年在AI时代的觉醒、核心竞争力的培养及技术伦理参与的重要性,并强调生成式人工智能(GAI)认证的意义,助力青年提升技能与就业竞争力,推动科学教育与技术创新融合。青年应保持好奇心、坚持人文关怀,引领未来社会发展方向,在AI浪潮中创造价值与美好未来。
|
Web App开发 前端开发 数据可视化
20K star!让网页设计秒变手绘风,这个开源库太有创意了!
嗨,大家好,我是小华同学。Rough.js 是一个仅8KB的轻量级图形库,能为网页元素赋予自然的手绘质感,支持手绘风格渲染、全类型图形和跨平台兼容。它适合数据可视化、教育课件、原型设计等场景,具有设计友好、性能卓越、扩展性强等优势。
662 12