Kestrel_VLLM_CUDA - 04 · 分组量化 GEMM 内核
本文介绍一种高效分组量化GEMM内核，统一支持decode（M=1）与prefill（M=32）场景：采用“每线程固定4列、沿K维扫描”映射，实现权重warp级满事务读取、激活广播；通过group轴z-split补足小M并行度，单次launch完成；结合pinned内存与单同步传输优化，显著降低小投影开销。
03 · 权重条带缓存与融合权重
本文介绍CUDA后端复用引擎strip-cache量化格式的优化方案：不新增量化产物，仅在设备端执行一次32×32分块转置，通过`col_off`融合Q/K/V权重至同一缓冲，并将权重上装成本从首次prefill前移至模型加载期；结合缓冲池管理与LRU驻留窗口，显著降低显存分配开销。
一颗真武V900，平头哥的“算力野心”藏不住了
9月22日云栖大会，平头哥发布中国最强AI芯片真武V900：216GB显存、1200GB/s互联带宽，性能达前代3倍；同步推出“真超节点”，支持千卡全带宽互联与统一内存编址；依托倚天CPU、磐脉网卡、镇岳SSD等全栈自研芯片，构建为AI而生的系统级计算架构。
