游客p4tvkbzt46vw4_个人页

2024年06月

• 06.11 11:08:10
  发表了文章 2024-06-11 11:08:10

  以LLaMa 65B模型训练实例来计算AI/HPC算力光模块数量

  本文介绍了如何根据LLaMa 65B模型训练需求计算所需的AI/HPC光模块数量。在案例中，使用2048个A100 GPU，单GPU算力为156 TFLOPS。模型算力需求为546*10^21 FLOPS，预计训练时间为20天。采用两层Fat-Tree网络架构，需1024个400G网卡，48台交换机，若全用400G光模块则需4096个，交换机间2048个，网卡间1024个。大成鹏通信提供200G至800G的解决方案，并提供咨询与支持服务。