在人工智能领域，大型语言模型（LLMs）的训练和推理需要大量的计算资源，这给模型的可扩展性带来了挑战。为了解决这个问题，研究人员提出了多种方法，其中之一就是使用 Mixture-of-Experts（MoE）架构。MoE 架构通过将模型的计算任务分配给多个专家，从而提高模型的可扩展性。然而，传统的 MoE 架构存在一些问题，如专家之间的负载不平衡和专家选择的不准确性。
为了解决这些问题，华为GTS（Global Technical Service）的研究人员提出了一种名为 LocMoE+ 的新型 MoE 架构。LocMoE+ 结合了低开销和高可扩展性的特点，通过引入亲和度路由策略和自适应专家容量，实现了高效的模型训练和推理。
LocMoE+ 架构基于传统的 MoE 架构，并引入了以下几个关键组件：
1.亲和度路由策略：LocMoE+ 引入了一种基于亲和度的路由策略，用于将输入的 token 分配给不同的专家。该策略通过计算 token 和专家之间的亲和度分数，将 token 分配给与它们亲和度最高的专家。这种策略可以有效地平衡专家之间的负载，并提高专家选择的准确性。
2.自适应专家容量：LocMoE+ 引入了一种自适应专家容量机制，用于动态地调整专家的容量。该机制通过设置一个全局的亲和度阈值，根据亲和度分数的分布来调整专家的容量。这种机制可以有效地利用计算资源，并提高模型的训练效率。
3.通信优化：LocMoE+ 引入了一种通信优化技术，用于减少模型训练过程中的通信开销。该技术通过将计算和通信任务合并到单个内核中，实现了计算和通信的并行执行，从而减少了通信开销。
为了验证 LocMoE+ 的性能，研究人员在多个数据集上进行了实验。实验结果表明，LocMoE+ 在保持模型性能的同时，可以显著提高模型的训练效率和推理速度。
在训练效率方面，LocMoE+ 相比于传统的 MoE 架构，可以减少超过 60% 的训练时间。此外，LocMoE+ 还可以在多个集群规模下实现稳定的性能提升，包括 32、64 和 256 个节点的集群。
在模型性能方面，LocMoE+ 在多个数据集上实现了显著的性能提升。例如，在 GDAD、C-Eval 和 TeleQnA 数据集上，LocMoE+ 的性能分别提升了 9.7%、10.7% 和 9.7%。此外，LocMoE+ 还可以在多个任务上实现性能提升，包括文本生成、文本分类和问答等。
然而，LocMoE+ 也存在一些局限性。首先，LocMoE+ 的实现细节可能对模型的性能产生影响，如亲和度分数的计算方法和专家容量的调整策略。其次，LocMoE+ 的通信优化技术可能受到硬件限制的影响，如网络带宽和延迟。最后，LocMoE+ 的可扩展性可能受到数据规模和模型复杂度的限制。
