AliOS Things声源定位应用演示

简介: 1. 概述 利用麦克风阵列进行声源定位在智能降噪、语音增强、语音识别等领域有广泛应用和研究前景。本文介绍基于AliOS Things + STM32F413H Discovery开发板实现声源定位算法集成和功能演示。

1. 概述

利用麦克风阵列进行声源定位在智能降噪、语音增强、语音识别等领域有广泛应用和研究前景。本文介绍基于AliOS Things + STM32F413H Discovery开发板实现声源定位算法集成和功能演示。

  • 声源定位算法
    本案例集成了STMicroelectronics的Acoustic_SL声源定位算法。Acoustic_SL是STMicroelectronics开发的声源定位算法,支持XCORR、GCC-PHAT、BMPH三种不同算法类型。本案例使用GCC-PHAT算法类型,算法基于到达时间差(TDOA)原理实现,通过测量声音信号达到不同麦克风的时间差计算声源方向。GCC-PHAT算法作为应用最为广泛的声位算法,数据计算量和资源消耗较小,并且具有一定的抗噪和抗混响能力。

2. 环境搭建

开发板:STM32F413H Discovery(附带麦克风阵列板)
手势传感器:Seeed Grove PAJ7620
温湿度传感器:HTS221
LED数码管:Seeed Grove LED Bar

硬件说明:
使用STM32F413H作为主控芯片,提供音频输入接口、I2C接口、GPIO控制接口、显示控制接口等。
STM32F413H内置的DFSDM模块可以支持最多同时5路PDM数字麦克数据录入,并经过硬件滤波将PDM数据转换成PCM数据,降低了音频软件的复杂度和资源消耗。

硬件连接:

p01

3. 软件编译

软件:AliOS Things
下载AliOS Things后,切换到developer分支。

执行如下命令编译Application:
aos make sensordemo@stm32f413h-discovery

编译成功后,使用下面命令烧录镜像:
aos upload sensordemo@stm32f413h-discovery

4. 软件介绍

  • AliOS Things

AliOS Things是面向IOT领域的轻量级物联网嵌入式操作系统。AliOS Things启动过程中,依次完成内核初始化、硬件资源初始化、功能组件初始化、外设驱动初始化。系统就绪后,通过用户定义的application_start()函数进入应用程序。

  • 创建声位和音量显示界面

在application_start()函数中调用display_init()创建LCD刷新任务、显存刷新任务、定义显示界面。

声位显示界面:
IMG_20180927_114914

切换到该界面时,声位识别算法开始运行,屏幕上指示当前声音方位。测试时建议距离mic阵列水平距离30cm,高度和mic阵列尽量接近,可以获得最佳效果。

音量显示界面:
IMG_20180927_114925

切换到该界面时,计算mic信号的大小并转换成音量在屏上显示音量指示条,即提供声音强度检测功能。

  • 运行声位算法

<1> 在application_start()函数中创建声源定位task,在该task中继续调用acoustic_sl_start()执行声源定位功能。

<2> 在acoustic_sl_start()函数中调用DFSDM_Init()和HAL_DFSDM_FilterRegularStart_DMA()初始化并启动DFSDM录音程序。打开4路DFSDM滤波通道,获取4个麦克风的PDM数据,经过内部处理转换成PCM后通过DMA传输到缓存中。

<3> 调用acoustic_sl_init()库函数初始化Acoustic_SL算法。这一步需要设置算法参数,例如配置算法类型、channel number、麦克风阵列间距以及识别角度最小单位、声音检测门限。

<4> DFSDM录音程序每次分别从4个mic录入512个采样点的PDM数据数据,经过内部处理转换成PCM后通过DMA传输到缓存中。

<5> 缓存数据到达后,对PCM数据进行简单的High Pass滤波算法处理,然后调用AcousticSL_Data_Input()以每次16samples的大小送入算法后,触发外部中断,在中断函数中再调用AcousticSL_Process()进行算法处理和声位计算,得到代表声音方位的角度信息。

<6> 根据角度的范围可以确定麦克的位置,然后在显示任务fb_refresh_task中根据麦克位置更新显示界面。

麦克阵列采用2x2矩阵形式,通过这种布局方式可以实现360度声音方位的识别。

另外,AcousticSL算法提供声音检测门限和识别角度最小单位两个调试参数。可以根据需要修改参数,适应不同的环境条件和应用需求。

  • 音量计算

通过手势切换到该界面后,首先对DFSDM输出的512个采样点的pcm数据先计算均值,再进行对数计算,得到对应pcm数据的音量信息,同时根据音量信息在显示任务fb_refresh_task刷新界面音量进度条。

5. 应用演示

视频观看:AliOS-Things声源定位应用演示

6. 更多

参考AliOS Things手势识别应用演示

目录
相关文章
|
物联网 Linux
【AliOS Things学习笔记】为你的AliOS Things应用增加自定义cli命令
怎么才能在RTOS系统中,通过 串口shell控制LED的开关。
3686 0
|
AliOS-Things 物联网 编译器
使用HaaS Studio开发AliOS Things C/C++应用
本文章将介绍使用HaaS Studio 进行AliOS-Things C/C++应用开发。
使用HaaS Studio开发AliOS Things C/C++应用
|
传感器 监控 算法
使用AliOS Things快速构建温度计应用 |《AliOS Things快速开发指南》
本文是基于AliOS Things 3.1快速构建温度计的应用场景。涉及AliOS Things组件开发,构建AliOS Things用户项目,AliOS Things HAL API使用,向AliOS Things中添加并使用组件。用到的硬件设备有半导体开发板、温度传感器、数码管显示器。
使用AliOS Things快速构建温度计应用 |《AliOS Things快速开发指南》
|
域名解析 移动开发 数据可视化
使用 AliOS Things 3.0 快速构建用户应用 BlinkAPP
AliOS Things 3.0版本于去年9月份在云栖大会正式发布,在新版本中带来了全新的应用开发框架,帮助用户快速构建自己的应用。使用户可以更专注于自身应用的开发。本文将已BlinkAPP为例,为大家演示如何快速使用应用开发框创建项目并完成应用代码编写。
975 0
使用 AliOS Things 3.0 快速构建用户应用 BlinkAPP
|
物联网 机器人 AliOS-Things
|
物联网 传感器 API
AliOS Things 3.0应用笔记:http client简单应用
AliOS Things 3.0版本新增加了httpc组件(http 客户端组件),httpc组件支持多种RESTful的API调用,包括GET、POST、PUT、HEAD等,也支持https安全协议。
12363 1
|
物联网 C++
使用AliOS Things 3.0快速构建用户应用 BlinkAPP
AliOS Things 3.0版本于9月27日在云栖大会正式发布,在新版本中带来了全新的应用开发框架,帮助用户快速构建自己的应用。使用户可以更专注于自身应用的开发。本文将已BlinkAPP为例,为大家演示如何快速使用应用开发框创建项目并完成应用代码编写。
7005 0
|
传感器 物联网
AliOS Things手势识别应用演示
1. 概述 手势识别作为一种辅助的人机交互方式,在人机脱离的场景下可以提供方便的交互体验。本文介绍基于AliOS Things + STM32F413H Discovery开发板实现手势交互功能的演示。
3157 0
|
传感器 移动开发 物联网
AliOS Things 3.0应用笔记:http client简单应用
AliOS Things 3.0版本于9月27日在云栖大会正式发布,在新版本中带来了全新的应用开发框架,帮助用户快速构建自己的应用。使用户可以更专注于自身应用的开发。 本示例是基于AliOS Things 3.0应用开发框架做的一个简单的http client应用,通过http API请求获取当前的天气信息。
4424 0
|
物联网 AliOS-Things
AliOS Things lorawanapp应用介绍
文本旨介绍AliOS Things的lorawanapp的示例,完成一个LoRaWAN网络的构建和数据传输,并通过该示例让大家对AliOS Things有一个初步的了解。
3618 0