《云上新势力 CLOUD IMAGINE》——Part 2 演讲/文章合集——文章6：《声声声声临其境，一起坠入超音感空间》（2） https://developer.aliyun.com/article/1228943?groupCode=videocloudtech

4. 如何让声音跟随脑袋一起摇摆

• HRTF

双耳渲染引擎的核心模块是人头传递函数HRTF（Head-related Transfer Function）。

每一方向都有两个HRTF，分别代表音源到左右耳的房间冲击响应，通过720度扫描可以得到一个球形的HRTF库，如下图是一个ARI HRTF 数据库的分布。

ARI HRTF数据库

在渲染时，通过输入的角度信息，先从数据库中选出当前角度的HRTF对。然后再将输入数据分别和HRTF对进行卷积得到左右耳信号。为了得到更逼真效果，还可以添加一定量的房间混响如下图所示：

本项目对大量HRTF库进行筛选，获取到一个最优的数据库。

• Ambisonics数据格式

Ambisonics的基础功能是让来自不同方向点声源，作为360度的球面来处理，这个中心点，就是麦克风放的位置。当前广泛用于VR和360度全景视频的Ambisonics格式，是一个叫做Ambisonics B-format的4声道（还有另一种格式叫A-format）。由W，X，Y and Z组成。对应着360度球面的，中心，左右，前后，上下。

｡ W是一个全向

｡ X是一个双极8字指向，代表前后

｡ Y是一个双极8字指向，代表左右

｡ Z是一个双极8字指向，代表上下

B-format有两种格式分别是ambix和fuma（它们只是排列顺序不同），而A-format代表4个mic采集的原始数据。B-format和A-format的关系如下：

图片来源于网络

• 头部跟踪

该技术利用了某些特定款式耳机中的传感器信息，如：加速度计和陀螺仪，从而更好地跟踪头部运动，并做出相应的音频调整。

图片来源于网络

Apple已经从iOS15开始通过兼容耳机带来支持头部跟踪的空间音频功能，目前Android 13的发布预览版已完全支持在兼容设备上使用头部跟踪的空间音频。本次云栖大会的展台体验便主要利用了Pico头显设备中陀螺仪的信息。

《云上新势力 CLOUD IMAGINE》——Part 2 演讲/文章合集——文章6：《声声声声临其境，一起坠入超音感空间》（4） https://developer.aliyun.com/article/1228938?groupCode=videocloudtech