AWQ: 面向设备端大语言模型压缩与加速的激活感知权重量化——论文阅读
AWQ是一种面向设备端大语言模型（LLM）压缩与加速的激活感知权重量化方法。与传统基于权重大小的量化策略不同，AWQ通过分析输入激活分布识别关键权重通道，并采用按通道缩放策略，在保持硬件效率的同时显著提升量化精度。实验表明，AWQ在多种LLM上实现了接近无损的低比特量化（如INT4），并在边缘设备上实现高达3倍以上的推理加速，为大模型的设备端部署提供了高效解决方案。
MicroNAS：面向MCU的零样本神经架构搜索——论文阅读
MicroNAS是一种专为微控制器单元（MCU）设计的零样本神经架构搜索（NAS）框架，无需训练即可通过理论驱动的性能指标评估网络架构。相比传统NAS方法，其搜索效率提升高达1104倍，同时兼顾精度与硬件效率，适用于边缘计算场景。该框架结合神经切线核（NTK）条件数、线性区域计数及硬件感知延迟模型，实现快速、高效的架构搜索，为资源受限设备上的AI部署提供了新思路。