司南7049_个人页

2026年05月

• 05.02 20:50:54
  发表了文章 2026-05-02 20:50:54

  Dense结构下的大模型系统架构研究

  本文详解大模型推理全流程：从硬盘加载模型权重，经CPU预处理（Token映射、校验），再送入GPU, 进行Token ID的量化，执行Prefill（全序列推理）与Decode（自回归生成）。巧妙利用CPU内存缓解显存瓶颈，体现KTransformers等框架“CPU+GPU协同推理”的创新思路。（239字）