《云上新势力 CLOUD IMAGINE》——Part 2 演讲/文章合集——文章6：《声声声声临其境，一起坠入超音感空间》（1） https://developer.aliyun.com/article/1228947?groupCode=videocloudtech

2. 一个「球面」的声场？

沉浸式音频主要技术有三大类：基于声道Channel Based Audio（CBA）、基于对象Object Based Audio（OBA）、基于场景Scene Based Audio（SBA）。

• 基于声道技术（CBA）：在传统5.1环绕声的基础上，增加了4个顶部声道，通过增加声道的方式来补充空间中的声音信息，但只能呈现部分方向来的声音信息。

• 基于对象的技术（OBA）：是目前主流技术，并在电影领域已广泛应用，如Dolby Atmos全景声。该技术会产生大量的数据和运算，除了声道的音频外，还有关于声源的元数据Metadata，即：声源（位置/大小/速度/形状等属性）、声源所在的环境（混响Reverb/回声Reflection/衰减Attenuate/几何形态等），该技术在VR领域只适合主机VR上的大型游戏，对于普通移动端的硬件设备来讲，算力及带宽承载具有较大压力。

• 基于场景的技术（SBA）：用来描述场景的声场，其核心的底层算法是Ambisonics技术，可被映射到任意扬声器布局中。Ambisonics技术的特点是：声源贴在提前渲染好的全景球上，即所有声源将被压缩在了这个球上。

图片来源于网络

本文的音频体验展示便采用了Ambisonics的录制格式（文末体验DEMO）。

Ambisonics作为全景声的一种录取格式，在上世纪70年代就已经问世，但一直没有获得商业上的成功。

随着近几年VR，AR等相关领域的兴起，Ambisonics开始逐渐被讨论。与其它多声道环绕声格式不同，Ambisonics传输通道不带扬声器信号，允许音频工作者根据声源方向而不是扬声器的位置来思考设计，并且为听众提供了用于播放扬声器的布局和数量，因此，大大增加了灵活性。

Ambisonics音频格式可以解码任何扬声器阵列，并且可以完整地、不间断地还原音源而不受任何特定编解码播放系统的限制。

下图是一个一阶的Ambisonics结构，4个MIC垂直部署在一个四面体上，播放效果与Dolby Atmos类似，但和Dolby Atmos不同的地方是：Dolby Atmos只解决了半球的声场。

而Ambisonics除了水平环绕声音，还可以支持拾音位置或者听众上下的声源，即整个球面的声场。

图片来源于网络

3. 实现声声入耳的引擎：AliBiAudio

「全景声不仅仅是增加几个声道那么简单，而是把整个声音系统架构都颠覆了，从之前基于声道来混音的技术上升为基于对象的音频处理技术，使人在环境中的听觉感受与现场实际声音一致。」

将全景声音频重建成用户可测听的形式有两种途径，一种是多扬声器重建，即电影院或家庭影院中的音响系统，其本质是将全景声音频转换到5.1.4或7.1.4格式；另一种是耳机重建，即将全景声音频通过双耳渲染技术转换为双声道音频，并保留其全部空间信息。

相对于多扬声器重建，耳机重建成本低、易部署、效果好。

不言而喻，耳机重建全景声音频，需要一个双耳渲染的过程，以此来通过两个立体声通道创建空间和维度的听觉感知效果。

AliBiAudio就是一个阿里自研的双耳实时渲染引擎，结合头部跟踪坐标，可以达到人转动，声源位置不动的效果。当前双耳渲染引擎，具有支持全平台、多场景、易部署等特性。该引擎既可以部署在移动端，也可以部署在云端，并支持三大场景的渲染。

• 单声道输入：用于虚拟会议场景，可将不同位置的人，渲染在不同的角度发声，通常部署在服务端。

• 5.1/7.1输入：用于影视剧渲染，得到更逼真的环绕声，类似优酷中的“帧享”音效。既可以部署在端上（如：Apple Music空间音频），也可以部署在服务器上（如：作为媒体处理，将多声道数据下混成2路数据）。

• Ambisonics输入：对Ambisonics格式进行渲染，用于VR直播，VR点播，当前部署在Aliplay中。

《云上新势力 CLOUD IMAGINE》——Part 2 演讲/文章合集——文章6：《声声声声临其境，一起坠入超音感空间》（3） https://developer.aliyun.com/article/1228941?groupCode=videocloudtech