Meta公司近期宣布了其在人工智能领域的重大投资计划，这一计划的核心是两个规模庞大的24k GPU集群。这两个集群不仅是Meta在AI硬件基础设施方面的一次重要升级，更是公司迈向人工通用智能（AGI）的关键一步。Meta的这一举措，无疑为AI行业的未来发展注入了一剂强心针。
首先，这两个GPU集群的规模令人印象深刻。每个集群配备了24,576块NVIDIA Tensor Core H100 GPU，这样的配置在全球范围内都属罕见。这些集群不仅将用于训练Meta的新一代大型语言模型Llama 3，还将支持Meta在AI研究和开发方面的广泛工作。Llama 3作为Llama 2的继任者，预计将在自然语言处理等领域带来更加出色的表现。
Meta对于开放计算和开源软件的承诺在这一投资中得到了充分体现。公司基于Grand Teton、OpenRack和PyTorch等开放平台构建了这些集群，并且计划到2024年底，将拥有总计350,000块NVIDIA H100 GPU，其计算能力相当于近600,000块H100。这一雄心勃勃的计划不仅展示了Meta在AI领域的领导地位，也为整个行业树立了一个开放创新的典范。
Meta的长期愿景是构建一个开放且负责任的AGI，这一愿景背后是对AI技术潜力的深刻理解和对未来社会影响的深思熟虑。通过扩大集群规模，Meta不仅在技术上为AGI的实现奠定了基础，也为AI技术在更广泛领域的应用提供了可能。这些集群的建立，预示着Meta将在AI领域继续发挥其引领作用，推动AI技术的发展和应用。
在网络和存储方面，Meta的集群同样表现出色。公司定制设计的网络织物和存储解决方案，确保了AI模型训练的高效性和可靠性。特别是，Meta的存储部署通过自研的Linux Filesystem in Userspace（FUSE）API和“Tectonic”分布式存储解决方案，有效解决了大规模AI训练中的数据和检查点需求，这对于多模态AI训练尤为重要。
性能方面，Meta通过实际构建和测试系统，不断优化其AI集群的性能。公司在软件和网络策略上的改进，使得大型集群的性能得到了显著提升，达到了与小型集群相同的预期水平。这一成果不仅体现了Meta在AI系统设计上的专业能力，也展示了公司在解决大规模AI训练挑战方面的决心和实力。
Meta对AI软件和硬件的开放创新承诺，体现了其对行业发展的深远影响。作为开放计算项目（OCP）的创始成员，Meta不仅在硬件设计上持续贡献，还在PyTorch等AI软件框架上发挥着重要作用。这种开放的态度和合作精神，为整个AI社区提供了宝贵的资源，促进了技术的共享和进步。
展望未来，Meta的AI基础设施将继续评估和改进，以适应新模型和研究的快速发展。公司的目标是创建更加灵活可靠的系统，这不仅将支持Meta自身的AI研究和产品开发，也将为整个AI行业的未来发展提供强有力的支持。
