大语言模型的核心算法——简要解析
大语言模型的核心算法基于Transformer架构，以自注意力机制为核心，通过Q、K、V矩阵动态捕捉序列内部关系。多头注意力增强模型表达能力，位置编码（如RoPE）解决顺序信息问题。Flash Attention优化计算效率，GQA平衡性能与资源消耗。训练上，DPO替代RLHF提升效率，MoE架构实现参数扩展，Constitutional AI实现自监督对齐。整体技术推动模型在长序列、低资源下的性能突破。
LLM推理成本直降60%：PD分离在大模型商业化中的关键价值
在LLM推理中，Prefill（计算密集）与Decode（访存密集）阶段特性不同，分离计算可提升资源利用率。本文详解vLLM框架中的PD分离实现及局限，并分析Dynamo、Mooncake、SGLang等主流方案，探讨KV缓存、传输机制与调度策略，助力LLM推理优化。建议点赞收藏，便于后续查阅。
MINUN: 微控制器上的精确机器学习推理——论文阅读
MINUN是一个专为微控制器设计的高效机器学习推理框架，能精确解决TinyML中的三大挑战：数字表示参数化、位宽分配优化和内存碎片管理。它支持如Arduino和STM32等低功耗设备，显著减少内存占用，同时保持模型精度。