在全球化的今天，虚拟助手正逐渐成为人们日常生活中不可或缺的一部分。为了更好地服务来自不同语言和文化背景的用户，苹果公司近期推出了一项创新性的语言模型——世界英语神经网络模型（NNLM），旨在为设备上的虚拟助手提供更加精准和高效的语言理解和处理能力。
传统的虚拟助手通常需要针对不同的语言、地区甚至设备进行特定的优化，这不仅增加了维护的难度，也提高了资源消耗。苹果公司的新模型通过整合英语的多种地区变体，构建了一个适用于设备上虚拟助手的“世界英语”NNLM。这一模型不仅有助于简化维护流程，还能减少训练多个模型所带来的环境成本。
在这项工作中，苹果的研究团队专注于语言模型（LM）组件，选择了美国、英国和印度的英语方言作为研究对象。他们通过应用适配器瓶颈来模拟方言特有的特性，并增强多方言基线。研究发现，适配器模块在模拟方言方面比专门化整个子网络更为有效。基于这一发现，研究团队利用他们现有生产模型的设计，引入了一种新的世界英语NNLM架构，该架构满足了单一方言模型的准确性、延迟和内存限制。
值得一提的是，这项研究在多方言神经网络语言模型的设计上取得了显著进展。研究团队首先描述了现有的基于固定大小有序遗忘编码（FOFE）方法的单一方言架构，然后定义了世界英语基线，并提出了通过添加适配器来增强这些基线的方法。他们还提出了一种新的基于适配器的模型，该模型结合了FOFE和双重适配器与混合FOFE的设计，以提高准确性，同时保持低延迟。
在实验设置方面，苹果公司的研究团队使用了来自不同领域的匿名和随机抽样用户请求数据，这些数据涵盖了三种方言：美国英语、英国英语和印度英语。他们对单一方言的神经网络语言模型进行了训练，并在多方言设置中进行了采样和训练，以确保模型能够处理各种方言的数据。
评估结果显示，新的世界英语NNLM在准确性、大小和设备上延迟方面都表现出色。尤其是在准确性方面，新模型在大多数测试集上相对于单一方言基线平均提高了1.63%，在处理较少出现的查询（尾部实体）时，准确性提高了3.72%。在延迟方面，新模型与单一方言模型相匹配，甚至在某些情况下表现更好。
