PyTorch Docker 容器化部署与生产运行实践
本文详细介绍PyTorch的Docker容器化部署方案,涵盖环境准备、镜像拉取、测试与生产环境分级部署、功能验证及优化建议。强调版本固定、非root运行、资源限制与健康检查,结合轩辕镜像加速,确保安全、稳定、高效的深度学习开发与生产环境。
Mosaic:面向超长序列的多GPU注意力分片方案
本文剖析Transformer中“二次方注意力瓶颈”的成因与工程破解之道,聚焦Mosaic提出的多轴注意力分片方案。针对长序列内存爆炸问题,Mosaic通过灵活路由不同轴至本地或分布式后端(如Ring、Mesh2D),实现高效计算与通信平衡,尤其适用于表格等多维数据场景,显著降低显存占用且不侵入模型代码。
大模型在云上的训练与部署
本文系统阐述大模型在云上的训练与部署实践路径,涵盖发展趋势、GPU集群搭建、框架选型、数据处理、分布式训练、模型部署、成本优化及金融行业应用案例,全面解析云计算如何支撑大模型高效落地,并展望“大模型即服务”(MaaS)的未来生态。
08_昇腾推荐系统加速算子:FBGEMM算子库
FBGEMM算子库适配昇腾平台,支持Torchrec模型在DCNV2和GR等推荐模型中的高效运行。已完成JaggedToPaddedDense、DenseToJagged、HstuDenseForward/Backward等核心算子的移植与优化,并引入自定义算子提升生成式推荐性能,助力推荐系统训练加速。