# GPU云服务器 #
0
关注
7144内容
大规模 MLOps 工程（三）（2）
大规模 MLOps 工程（三）
大规模 MLOps 工程（二）（2）
大规模 MLOps 工程（二）
大规模 MLOps 工程（三）（1）
大规模 MLOps 工程（三）
使用FP8加速PyTorch训练的两种方法总结
在PyTorch中，FP8数据类型用于高效训练和推理，旨在减少内存占用和加快计算速度。虽然官方尚未全面支持，但在2.2版本中引入了`torch.float8_e4m3fn`和`torch.float8_e5m2`。文章通过示例展示了如何利用FP8优化Vision Transformer模型，使用Transformer Engine库提升性能，并探讨了PyTorch原生FP8支持的初步使用方法。实验表明，结合TE和FP8，训练速度可提升3倍，性能有显著增强，特别是在NVIDIA GPU上。然而，PyTorch的FP8支持仍处于试验阶段，可能带来不稳定性。
生产中的大语言模型（MEAP）（一）（5）
生产中的大语言模型（MEAP）（一）
深度学习系统设计（二）（1）
深度学习系统设计（二）
深度学习系统设计（二）（5）
深度学习系统设计（二）
JavaScript 深度学习（五）（1）
JavaScript 深度学习（五）
免费试用