大语言模型的核心算法——简要解析
大语言模型的核心算法基于Transformer架构，以自注意力机制为核心，通过Q、K、V矩阵动态捕捉序列内部关系。多头注意力增强模型表达能力，位置编码（如RoPE）解决顺序信息问题。Flash Attention优化计算效率，GQA平衡性能与资源消耗。训练上，DPO替代RLHF提升效率，MoE架构实现参数扩展，Constitutional AI实现自监督对齐。整体技术推动模型在长序列、低资源下的性能突破。
MINUN: 微控制器上的精确机器学习推理——论文阅读
MINUN是一个专为微控制器设计的高效机器学习推理框架，能精确解决TinyML中的三大挑战：数字表示参数化、位宽分配优化和内存碎片管理。它支持如Arduino和STM32等低功耗设备，显著减少内存占用，同时保持模型精度。
μNAS：面向微控制器的约束神经架构搜索——论文解读
μNAS是一种专为微控制器设计的神经架构搜索方法，旨在解决物联网设备中资源受限的挑战。通过多目标优化框架，μNAS能够在有限的内存和计算能力下，自动搜索出高效的神经网络结构。该方法结合了老化进化算法与贝叶斯优化，并引入结构化剪枝技术，实现模型压缩。实验表明，μNAS在多个数据集上均取得了优异的精度与资源使用平衡，显著优于现有方法，为边缘计算设备的智能化提供了可行路径。
