语音芯片为何选择HW-VAD模式唤醒设备

简介: 本文介绍了SW-VAD模式、HW-VAD模式、Standby模式的定义,通过比较三种模式的优缺点,最终得出了应该使用HW-VAD模式作为等待语音唤醒时的低功耗模式这个结论。

HW-VAD的概念

VAD(Voice Activity Detection语音激活检测)是用于检测当前输入信号中是否有语音的技术。VAD一般会综合分析输入信号的能量特征,以及频谱特征等信息判断是否存在语音。

VAD可以通过软件或硬件来实现,使用软件检测时称为SW-VAD,使用硬件检测时称为HW-VAD。

SW-VAD vs HW-VAD

基于SW-VAD 的语音处理结构

image.png

基于SW-VAD的语音处理结构示意图如上图所示,语音经ADC模数转换后,经数据总线传递给处理器(CPU/DSP),语音首先经过软件实现的VAD算法判断是否包含语音信息,当判断存在语音信息后,再将语音信息传递给后续步骤,依次为关键字识别(Keyword Spotting),语音识别(Speech Recognition),以及自然语言处理(Natural Language Processing)。

一般情况下,端侧的处理能力达不到语音识别和自然语言处理的要求,相关算法需要更高算力的系统来实现。

基于HW-VAD 的语音处理结构

image.png

基于HW-VAD的语音处理结构示意图如上图所示。当没有语音信息时,关键字识别(Keyword Spotting)相关的处理器(CPU/DSP)处在低功耗区域内,保持等待唤醒的低功耗状态。当HW-VAD检测到包含语音信息后,HW-VAD发出wakeup的信号唤醒低功耗区域,被唤醒的处理器做进一步的关键字识别(Keyword Spotting)操作;然后再依次完成语音识别,自然语言处理等步骤。

需要说明的是,HW-VAD模式时,低功耗区域是处于时钟被关闭的状态,但这些区域仍带电。因此,HW-VAD模式仅能消除由信号翻转等因素导致的动态功耗,但无法消除由漏电流引起的静态功耗。

另外,为了更高的集成度,有的HW-VAD IP会将ADC做到其内部,对外呈现为模拟接口。

HW-VAD模式较SW-VAD模式的优势

HW-VAD模式相较于SW-VAD模式,优势在于功耗低。SW-VAD模式时,需要执行SW-VAD算法的CPU或DSP保持在运行状;而在HW-VAD模式时,相关的CPU或DSP可以保持在等待唤醒的低功耗状态,而不是运行状态,因此大大降低了监听状态下的功耗。

HW-VAD vs Standby

Standby模式简介

在低功耗设计中,经常会有Standby模式,在该模式下,芯片大部分区域都处于掉电状态,仅保留小部分区域带电。小部分一直带电的区域被称作永远开启区域(AON,Always ON domain),该AON区域保证芯片可以从Standby模式恢复到工作状态。

Standby模式既消除了动态功耗,也消除了静态功耗,是维持芯片能够工作的最低功耗的模式。

HW-VAD模式与Standby模式的选择

从功耗的角度来分析,HW-VAD模式仍会产生静态功耗,比Standby模式的功耗,即HW-VAD模式的功耗比Standby模式高。这样看,似乎选择Standby模式更为合理。

但是,从实际芯片工作的场景来分析,则会产生一个相反的结论,即选择HW-VAD模式。

选择HW-VAD模式的原因是从唤醒时间来考虑的。低功耗区域如果从HW-VAD模式唤醒,仅需要打开时钟使能,唤醒处理器即可,整个过程在微秒(us)级别完成;但如果从Standby模式唤醒,则需要将低功耗区域从掉电状态下唤醒,整个过程需要几十毫秒(ms)级别的时间才能完成。

唤醒时间达到几十毫秒以后,会产生如下问题: 1.增加设备的唤醒时间,影响客户对设备反应速度的感受; 2.唤醒时间内用户说的语音会丢失,处理器的“关键字识别(Keyword Spotting)”的识别率会降低,即降低正确唤醒设备的概率。严重时,客户必须说两次才能唤醒设备,影响客户体验。

综上,虽然Standby模式有更低的功耗,但是Standby模式无法达到客户对于语音设备的感受的要求。最终还是选择采用在HW-VAD模式,不掉电的情况下唤醒设备。

原文作者:蓝空
点击查看原文

相关文章
|
9月前
|
机器学习/深度学习 人工智能 自然语言处理
三行代码实现实时语音转文本,支持自动断句和语音唤醒,用 RealtimeSTT 轻松创建高效语音 AI 助手
RealtimeSTT 是一款开源的实时语音转文本库,支持低延迟应用,具备语音活动检测、唤醒词激活等功能,适用于语音助手、实时字幕等场景。
1952 18
三行代码实现实时语音转文本,支持自动断句和语音唤醒,用 RealtimeSTT 轻松创建高效语音 AI 助手
|
7月前
|
安全 Unix Linux
VMware Workstation 17.6.3 发布下载,现在完全免费无论个人还是商业用途
VMware Workstation 17.6.3 发布下载,现在完全免费无论个人还是商业用途
48954 65
|
7月前
|
人工智能 搜索推荐 数据可视化
Manus:或将成为AI Agent领域的标杆
随着人工智能技术的飞速发展,AI Agent(智能体)作为人工智能领域的重要分支,正逐渐从概念走向现实,并在各行各业展现出巨大的应用潜力。在众多AI Agent产品中,Manus以其独特的技术优势和市场表现,有望成为该领域的标杆。作为资深AI工程师,本文将深入探讨Manus的背景知识、主要业务场景、底层原理、功能的优缺点,并尝试使用Java搭建一个属于自己的Manus助手,以期为AI Agent技术的发展和应用提供参考。
12729 19
|
存储 负载均衡 算法
SpringBoot集成Nacos-服务注册篇
SpringBoot集成Nacos-服务注册篇
1629 0
|
11月前
|
机器学习/深度学习 人工智能 算法
【AI系统】AI系统架构的组成
本文概述了AI系统的组成,从AI训练与推理框架、AI编译与计算架构到AI硬件与体系结构,详细介绍了各层的功能与技术细节。同时,探讨了AI系统生态的广泛领域,包括核心系统软硬件、AI算法和框架以及更广泛的生态组成部分,强调了在模型训练、推理、安全与隐私等方面的技术挑战与解决方案。
2018 2
|
机器学习/深度学习 人工智能 算法
技术开源|FunASR升级第三代热词方案
技术开源|FunASR升级第三代热词方案
3071 62
|
存储 编译器 C语言
STM32的启动过程 — startup_xxxx.s文件解析(MDK和GCC双环境)
无论是是何种MCU,从简单的51,MSP430,到ARM9,ARM11,A7 都必须有启动文件,对于MCU来说,他是如何找到并执行main函数的,就需要用到“启动文件”,本文就来说说 STM32 的启动过程。
1715 1
STM32的启动过程 — startup_xxxx.s文件解析(MDK和GCC双环境)
|
11月前
|
机器学习/深度学习 搜索推荐 人机交互
智能语音识别技术的现状与未来发展趋势####
【10月更文挑战第29天】 本文深入探讨了智能语音识别技术的发展历程、当前主要技术特点、面临的挑战及未来发展趋势。通过综述国内外最新研究成果,分析了深度学习在语音识别领域的应用现状,并展望了多模态融合、端到端建模等前沿技术的潜在影响。文章还讨论了隐私保护、数据安全等问题对技术发展的影响,以及跨语言、跨文化适应性的研究方向。 ####