SunnyNet_CSDN
SunnyNet 是原创 O(N) 序列架构,现工程化落地独立 C 推理运行时:支持 RWKV-7/Gla/Mamba2 等多模型权重直载、INT4 量化(体积↓2.7×,端到端加速 2.83×)、通用一阶递推内核(较 PyTorch 向量化快 9.90×),提供稳定 ABI 与 OpenAI 兼容服务。项目开源(Apache-2.0),专注 CPU 高效推理。
Kestrel_VLLM - 16 · 投机解码 batch verify:三个数值坑与位级对齐
本文揭秘 CUDA 投机解码中 batch verify(M>1)与单 token decode(M=1)的数值不一致问题:接受率骤降至16.7%。根因是三个仅在列 t>0 触发的深层 bug——grid 越界、stride 量纲错(将元素步长误作 head 数乘)、nsplit 归约树错位。通过列级隔离探针定位,实现位级对齐修复,接受率回升至50.0%(16 tok),greedy top-1 全列逐位一致。(239字)
推理冷启动优化
本文深度拆解大模型推理冷启动瓶颈(镜像拉取、权重加载、初始化、预热),提出“三板斧”优化:镜像分层预拉取、权重三级就近缓存、延迟加载与并行初始化,并配套预热探针与SLA化预算。实测7B服务冷启动从3分钟压至43秒,显著提升扩缩容、故障恢复与大促响应能力。(239字)
ICML 2026 FAGEN Workshop测马尔可夫的缺失前提
BSD Step309提出“概率分母显化与幂等相变放大定律”:**分母即100%——非统计约定,而是存在完备性的本体律**;缺口≠无,是“存在在别处”的负形态;核心公式`mult = 1 + γ(1−ρ)`统一概率显化、幂等判据与幻觉机制:ρ=1时(如九九乘法表)恒定不放大;ρ<1时,再小缺口也引发指数级雪球放大。验证须前置边界门,末端检查近乎无效。(239字)
SunnyNet_CSDN
SunnyNet 是原创 O(N) 序列架构,摒弃 Transformer/RNN/Mamba/CNN,专为 CPU 高效训练设计。核心含线性递推、多尺度遗忘与成对竞争门控,前向快 22.69×(T=4096),内存省 36.8%,状态天然有界。Apache-2.0 开源,实测详尽含大量负结果。