近年来，深度学习（DL）和大型语言模型（LLMs）的飞速发展极大地推动了人工智能领域的进步。然而，随之而来的是对计算能力、带宽和存储需求的指数级增长，这给高性能计算（HPC）系统的构建带来了巨大的挑战。为了应对这些挑战，DeepSeek团队提出了Fire-Flyer AI-HPC架构，这是一种创新的软硬件协同设计框架，旨在以更低的成本实现高性能的深度学习训练。
Fire-Flyer AI-HPC架构的核心思想是利用PCIe A100 GPU和自研的软件优化技术，实现高性价比的深度学习训练。该架构由10,000个PCIe A100 GPU组成，在性能上可与NVIDIA的DGX-A100相媲美，但成本却降低了一半，能耗也减少了40%。为了实现这一目标，DeepSeek团队在网络设计、通信优化、并行计算和文件系统等方面进行了深入的研究和优化。
在网络设计方面，Fire-Flyer AI-HPC架构采用了两层Fat-Tree网络拓扑结构，将存储和计算网络集成在一起。这种设计不仅提高了网络的吞吐量和效率，还减少了网络拥塞的风险。为了进一步优化网络性能，DeepSeek团队还开发了HFReduce，一种基于CPU的异步allreduce通信库，可以实现计算和通信的重叠，提高通信效率。
在并行计算方面，Fire-Flyer AI-HPC架构支持多种并行策略，包括数据并行（DP）、流水线并行（PP）、张量并行（TP）和专家并行（EP）等。这些并行策略可以充分利用GPU的计算能力，提高模型的训练速度和效率。此外，DeepSeek团队还开发了HaiScale，一种针对PCIe架构优化的并行计算框架，可以进一步提高并行计算的性能。
在文件系统方面，Fire-Flyer AI-HPC架构采用了自研的3FS分布式文件系统，可以提供高吞吐量和低延迟的存储服务。3FS采用了链式复制和请求发送控制等技术，可以有效减少网络拥塞和存储瓶颈，提高数据的读写性能。
除了以上技术，Fire-Flyer AI-HPC架构还注重系统的稳定性和鲁棒性。DeepSeek团队开发了故障检测和恢复机制，可以及时发现和处理硬件故障，减少系统停机时间。此外，他们还对系统进行了长期的硬件故障数据分析，为同行和研究人员提供了宝贵的经验和见解。
