LMDeploy 部署 VLMs 的方法与探讨
LMDeploy 部署 VLMs 的方法与探讨 LMDeploy 是一个高效且友好的大型语言模型（LLMs）和视觉-语言模型（VLMs）部署工具箱，由上海人工智能实验室模型压缩和部署团队开发，涵盖了模型量化、离线推理和在线服务等功能。
Transformer实战：从零开始构建一个简单的Transformer模型
本文详细介绍了一种在自然语言处理（NLP）和序列到序列任务中表现出色的深度学习架构——Transformer模型。文章首先概述了Transformer的基本结构及其核心组件，包括自注意力机制、多头注意力、位置编码以及残差连接和层归一化等。随后，通过Python和PyTorch演示了如何构建一个简单的Transformer模型，包括位置编码和多头注意力的具体实现。通过学习本文，读者可以深入理解Transformer的工作原理并掌握其实现方法。
PyTorch量化感知训练技术：模型压缩与高精度边缘部署实践
本文深入探讨神经网络模型量化技术，重点讲解训练后量化（PTQ）与量化感知训练（QAT）两种主流方法。PTQ通过校准数据集确定量化参数，快速实现模型压缩，但精度损失较大；QAT在训练中引入伪量化操作，使模型适应低精度环境，显著提升量化后性能。文章结合PyTorch实现细节，介绍Eager模式、FX图模式及PyTorch 2导出量化等工具，并分享大语言模型Int4/Int8混合精度实践。最后总结量化最佳策略，包括逐通道量化、混合精度设置及目标硬件适配，助力高效部署深度学习模型。