Kestrel_VLLM - 16 · 投机解码 batch verify：三个数值坑与位级对齐
本文揭秘 CUDA 投机解码中 batch verify（M>1）与单 token decode（M=1）的数值不一致问题：接受率骤降至16.7%。根因是三个仅在列 t>0 触发的深层 bug——grid 越界、stride 量纲错（将元素步长误作 head 数乘）、nsplit 归约树错位。通过列级隔离探针定位，实现位级对齐修复，接受率回升至50.0%（16 tok），greedy top-1 全列逐位一致。（239字）
Kestrel_VLLM_CUDA - 04 · 分组量化 GEMM 内核
本文介绍一种高效分组量化GEMM内核，统一支持decode（M=1）与prefill（M=32）场景：采用“每线程固定4列、沿K维扫描”映射，实现权重warp级满事务读取、激活广播；通过group轴z-split补足小M并行度，单次launch完成；结合pinned内存与单同步传输优化，显著降低小投影开销。
03 · 权重条带缓存与融合权重
本文介绍CUDA后端复用引擎strip-cache量化格式的优化方案：不新增量化产物，仅在设备端执行一次32×32分块转置，通过`col_off`融合Q/K/V权重至同一缓冲，并将权重上装成本从首次prefill前移至模型加载期；结合缓冲池管理与LRU驻留窗口，显著降低显存分配开销。
