大语言模型的核心算法——简要解析
大语言模型的核心算法基于Transformer架构，以自注意力机制为核心，通过Q、K、V矩阵动态捕捉序列内部关系。多头注意力增强模型表达能力，位置编码（如RoPE）解决顺序信息问题。Flash Attention优化计算效率，GQA平衡性能与资源消耗。训练上，DPO替代RLHF提升效率，MoE架构实现参数扩展，Constitutional AI实现自监督对齐。整体技术推动模型在长序列、低资源下的性能突破。
LLM推理成本直降60%：PD分离在大模型商业化中的关键价值
在LLM推理中，Prefill（计算密集）与Decode（访存密集）阶段特性不同，分离计算可提升资源利用率。本文详解vLLM框架中的PD分离实现及局限，并分析Dynamo、Mooncake、SGLang等主流方案，探讨KV缓存、传输机制与调度策略，助力LLM推理优化。建议点赞收藏，便于后续查阅。
MINUN: 微控制器上的精确机器学习推理——论文阅读
MINUN是一个专为微控制器设计的高效机器学习推理框架，能精确解决TinyML中的三大挑战：数字表示参数化、位宽分配优化和内存碎片管理。它支持如Arduino和STM32等低功耗设备，显著减少内存占用，同时保持模型精度。
μNAS：面向微控制器的约束神经架构搜索——论文解读
μNAS是一种专为微控制器设计的神经架构搜索方法，旨在解决物联网设备中资源受限的挑战。通过多目标优化框架，μNAS能够在有限的内存和计算能力下，自动搜索出高效的神经网络结构。该方法结合了老化进化算法与贝叶斯优化，并引入结构化剪枝技术，实现模型压缩。实验表明，μNAS在多个数据集上均取得了优异的精度与资源使用平衡，显著优于现有方法，为边缘计算设备的智能化提供了可行路径。
256KB内存约束下的设备端训练：算法与系统协同设计——论文解读
MIT与MIT-IBM Watson AI Lab团队提出一种创新方法，在仅256KB SRAM和1MB Flash的微控制器上实现深度神经网络训练。该研究通过量化感知缩放（QAS）、稀疏层/张量更新及算子重排序等技术，将内存占用降至141KB，较传统框架减少2300倍，首次突破设备端训练的内存瓶颈，推动边缘智能发展。
