TensorRT-LLM 推理服务实战指南
`trtllm-serve` 是 TensorRT-LLM 官方推理服务工具，支持一键部署兼容 OpenAI API 的生产级服务，提供模型查询、文本与对话补全等接口，并兼容多模态及分布式部署，助力高效推理。
python torch基础用法
本教程系统讲解PyTorch基础，涵盖张量操作、自动求导、神经网络构建、训练流程、GPU加速及模型保存等核心内容，结合代码实例帮助初学者快速掌握深度学习开发基础，是入门PyTorch的实用指南。
用数学重构 AI的设想：流形注意力 + 自然梯度优化的最小可行落地
本文提出两个数学驱动的AI模块：流形感知注意力（D-Attention）与自然梯度优化器（NGD-Opt）。前者基于热核偏置，在局部邻域引入流形结构，降低计算开销；后者在黎曼流形上进行二阶优化，仅对线性层低频更新前置条件。二者均提供可复现代码与验证路径，兼顾性能与工程可行性，助力几何感知的模型设计与训练。
拔俗AI信息化系统开发指南：从入门到实践
资深产品经理分享AI信息化系统开发全解析：从概念、背景到落地，用通俗语言讲清如何用AI升级传统系统。涵盖需求分析、架构设计、敏捷开发、测试部署及未来趋势，助力企业降本增效，把握数字化时代机遇。（238字）
vLLM 架构学习指南
本指南深入解析vLLM高性能推理引擎架构，涵盖核心创新PagedAttention与连续批处理技术，结合代码结构、学习路径与实践建议，系统指导用户从入门到贡献源码的全过程。
118_LLM模型量化与压缩：从理论到2025年实践技术详解
大型语言模型（LLM）在自然语言处理领域取得了前所未有的成功，但模型规模的快速增长带来了巨大的计算和存储挑战。一个典型的大型语言模型（如GPT-4或LLaMA 3）可能包含数千亿甚至万亿参数，需要数百GB甚至TB级的存储空间，并且在推理时需要大量的计算资源。这种规模使得这些模型难以在边缘设备、移动设备甚至资源有限的云服务器上部署和使用。
