独孤圣人123_社区达人页

2026年10月

• 10.08 22:15:32
  发表了文章 2026-10-08 22:15:32

  【FHE 同态加密】我们如何实现同态加密推理（七）：自举 Bootstrapping——一个不提高精度、只刷新模数链的“加油站“

  本文揭秘FHE自举（Bootstrapping）本质：它并非纠错或提精度，而是“模数链加油站”——通过七段流水线（含coeff_to_slot/slot_to_coeff等）刷新链长，误差几乎不变（1.2712e-03→1.2706e-03）。实测80%耗时集中于两次域变换，项目开源可复现。
• 10.08 09:12:45
  发表了文章 2026-10-08 09:12:45

  02 · 架构边界：CUDA 为何是独立运行期模块

  本文详解CUDA为何设计为独立运行期模块：因Windows下MinGW引擎与MSVC/nvcc编译的CUDA层存在CRT冲突，无法链接。故采用动态加载机制——启动时按序查找DLL，成功则GPU加速，失败则自动降级为无害桩，确保行为逐字节兼容。核心原则是“全有或全无”，杜绝半绑定风险，并提供`VLLM_CUDA_FORCE_CPU`等诊断工具。
• 10.07 00:02:54
  发表了文章 2026-10-07 00:02:54

  【FHE 同态加密】我们如何实现同态加密推理（六）：Key-Switch 重线性化——一个数量级（2^73 噪声）决定整个设计

  本文深入解析CKKS同态加密中Key-Switch（重线性化）的核心设计逻辑：关键在于噪声数量级——未分解时引入约2⁷³噪声，远超60-bit模数容限；采用base-2²⁰数字分解降至2⁴⁵，方保安全。由此决定relin密钥需3×2个多项式，并延伸至Galois旋转密钥结构。（239字）
• 10.06 15:10:03
  发表了文章 2026-10-06 15:10:03

  【FHE 同态加密】我们如何实现同态加密推理（五）：RNS-CKKS 的模数链管理——rescale、modswitch、modraise 到底谁是谁

  本文详解RNS-CKKS模数链三大核心操作：`rescale`（切素数+归一缩放）、`modswitch`（仅降模）、`modraise`（Garner上提），厘清易混语义；阐明60-bit素数选择及`q_i ≡ 1 (mod 2n)`的数学硬约束，直指大模型密文推理的精度与可行性边界。（239字）
• 10.05 08:28:43
  发表了文章 2026-10-05 08:28:43

  【FHE 同态加密】我们如何实现同态加密推理（四）：为什么我们最终放弃了 BFV——明文模上的除法如何逼死 GELU（纯 C11 · 零依赖）

  本文探讨同态加密大模型推理的方案选型：BFV因明文模环不支持非整数系数（如GELU/SiLU多项式），难以适配实数神经网络；CKKS凭借scale机制与模数切换，实现可控近似计算，成为更优选择。（239字）
• 10.04 22:53:37
  发表了文章 2026-10-04 22:53:37

  【FHE 同态加密】我们如何实现同态加密推理（三）：手写 negacyclic NTT——同态加密的多项式乘法，以及怎么证明自己写对了（CKKS 内核）

  本项目在纯C11中手写负循环NTT（ψⁿ=−1），实现CKKS方案底层多项式乘法，追求位级可控与可验证性：所有结果严格对标教科书O(n²)朴素卷积，逐系数零误差。专注FHE密文大模型推理基础构建。（239字）
• 10.04 22:53:03
  发表了文章 2026-10-04 22:53:03

  【FHE 同态加密】我们如何实现同态加密推理（二）：引擎全景——一次密态推理的完整数据流（明文 Python × 密文 C11）

  这是一套面向大模型的同态加密推理引擎（FHE），采用CKKS方案，实现“明文预处理（Python）+ 密文计算（纯C11）”双世界架构：明文侧负责权重导出、非线性拟合与参考值生成；密文侧仅加载产物，在密态下完成全前向推理，保障数据“可算不可见”。
• 10.04 22:52:24
  发表了文章 2026-10-04 22:52:24

  【FHE 同态加密】我们如何实现同态加密推理（一）：把 2B 大模型拆成 28 段密文链条来算（纯 C11 · 零依赖）

  本系列记录纯C11、零依赖、CPU-only实现2B大模型（Qwen3-VL-2B）全密文推理的全过程：将模型拆为28段可验证密文链，每跳约1.8小时，聚焦可复现性与机制验证，非安全级部署。（239字）
• 10.04 12:03:04
  发表了文章 2026-10-04 12:03:04

  0.8MB 跑通 Qwen｜第 20-3 篇：SSE 流式——推理引擎响应怎么写一半就发给客户端

  本系列《0.8MB跑通Qwen》用纯C手搓零依赖推理引擎，适配Qwen3-VL多尺寸模型，在RK3588（aarch64）实测SSE流式响应：首token延迟130ms，后续约50ms/token，支持标准+自定义事件，真正实现端侧“打字机”体验。（239字）
• 10.04 12:01:38
  发表了文章 2026-10-04 12:01:38

  0.8MB 跑通 Qwen｜第 20-2 篇：推理引擎的路由与自研最小 JSON

  本系列《0.8MB跑通Qwen》用纯C手搓零依赖推理引擎，适配Qwen3-VL多模型，在RK3588（aarch64）实测通过。核心含strcmp路由表与自研轻量JSON解析器，精准拦截非法请求（如`msgs`→400），严守兼容边界，代码精简可控，专注教学与边缘部署。（239字）
• 10.04 11:59:36
  发表了文章 2026-10-04 11:59:36

  0.8MB 跑通 Qwen｜第 20-1 篇：极简 HTTP——推理引擎的 socket/bind/select 轮询

  本系列《0.8MB跑通Qwen》聚焦ARM端零依赖纯C推理引擎，适配Qwen3-VL多模态模型，在RK3588芯片实测通过。核心亮点：单文件`vllm_http.c`实现socket监听、select轮询、有界线程池与SSE流式响应，不依赖任何第三方库，专为板端轻量服务而生。（239字）
• 10.04 11:57:19
  发表了文章 2026-10-04 11:57:19

  # 0.8MB 跑通 Qwen｜第 19-3 篇：视频帧与媒体模块——推理引擎默认不启用的 H.264 独立模块

  本系列《0.8MB跑通Qwen》聚焦ARM端零依赖纯C推理引擎，适配Qwen3-VL多模态模型（2B/8B/30B），在RK3588上实测。视频支持分两层：帧序列路径已落地；MP4/H.264解码为独立未完成模块，API清晰、默认不构建、不演示未验证功能，体现严谨工程边界。（239字）
• 10.04 11:55:12
  发表了文章 2026-10-04 11:55:12

  0.8MB 跑通 Qwen｜第 19-2 篇：推理引擎的 vision_tokens 客户端预编码协议

  本系列《0.8MB跑通Qwen》专注手搓零依赖纯C推理引擎，适配Qwen3-VL多模态大模型，在RK3588（aarch64）实测通过。本文详解`encode_media_item`三路协议：`image_url`（板端ViT+128位缓存）、`video_frames`（帧序列）与`vision_tokens`（客户端预编码跳过ViT），支持字节数自校验与缓存命中优化，真机实测ViT耗时295ms→缓存后仅301ms。
• 10.04 11:52:47
  发表了文章 2026-10-04 11:52:47

  0.8MB 跑通 Qwen｜第 19-1 篇：ViT 编码——推理引擎里图片是怎么变成视觉 token 的

  本系列《0.8MB跑通Qwen》用纯C手写零依赖推理引擎，实现在RK3588（aarch64）上部署Qwen3-VL多模态模型。真机实测：64×64图经24层ViT编码得4个视觉token，耗时仅295.3ms，支持图文理解与视频分析。（239字）
• 10.04 11:50:18
  发表了文章 2026-10-04 11:50:18

  0.8MB 跑通 Qwen｜第 18-3 篇：MRoPE——推理引擎的 3D 位置编码给视觉留的席位

  本篇详解Qwen3-VL多模态推理中MRoPE三维位置编码机制：通过`mrope_section=[24,20,20]`将64维旋转频率分给时间/高/宽三轴，支持视觉token网格定位；并数值推演“强行降维至1D”的相位偏差——7×7图像下最高达4.71弧度（近270°），40/64维严重失准，导致注意力失效。纯文本因t=h=w自动退化，故该bug无法被文本测试捕获。（239字）
• 10.04 11:48:07
  发表了文章 2026-10-04 11:48:07

  0.8MB 跑通 Qwen｜第 18-2 篇：tokenizer.json → vocab.bin——推理引擎的 build_vocab_bin.py 在干嘛

  本系列《0.8MB跑通Qwen》聚焦ARM端零依赖纯C推理引擎，适配Qwen3-VL多模态模型（2B/8B/30B），在RK3588平台实测通过。本文详解词表编译：将7MB tokenizer.json编译为1.95MB可审计vocab.bin，精准处理byte-level解码（如0xAD/0x7F等历史坑），实现板端逐位一致、冷启动仅约2秒。（239字）
• 10.04 11:43:56
  发表了文章 2026-10-04 11:43:56

  0.8MB 跑通 Qwen｜第 18-1 篇：BPE 入门与 tokenizer.json——为什么推理引擎不直接跑 BPE

  本系列《0.8MB跑通Qwen》聚焦ARM端零依赖纯C推理引擎，适配Qwen3-VL多尺寸模型，在RK3588上实测通过。本文详解分词器工程近似方案：以“字节流最长前缀＋空格标记”替代官方BPE merge，三方对拍15条语料达成9/15一致，并精准归因差异为“贪心vs排序”与“空格丢失”两类机制，践行技术诚实。（239字）
• 10.04 11:41:34
  发表了文章 2026-10-04 11:41:34

  0.8MB 跑通 Qwen｜第 17-3 篇：位级一致性实验——推理引擎两条转换路产物逐字节对拍

  本系列《0.8MB跑通Qwen》聚焦ARM端零依赖纯C推理引擎实现，实测RK3588上位级一致性验证：同源重跑确定性、无损源跨格式殊途同归、有损源再量化边界清晰可测。覆盖Qwen3-VL多模型，强调sha256/逐张量哈希/块级比对三位一体验证。（239字）
• 10.04 11:39:08
  发表了文章 2026-10-04 11:39:08

  0.8MB 跑通 Qwen｜第 17-2 篇：GGUF → VQF——推理引擎的 Q4_0…Q8_K 反量化再量化

  本系列《0.8MB跑通Qwen》聚焦ARM零依赖纯C推理引擎，适配Qwen3-VL多版本模型，在RK3588平台实测。本文详解GGUF→VQF的“反量化再量化”路径：将llama.cpp已量化权重（Q4_0/Q8_0等）先还原为F32，再经统一量化与重排固化为VQF格式，确保内核兼容性与可验证性。（239字）
• 10.04 11:36:36
  发表了文章 2026-10-04 11:36:36

  0.8MB 跑通 Qwen｜第 17-1 篇：safetensors → VQF——推理引擎的 vqf_write 一次成型

  本系列《0.8MB跑通Qwen》聚焦ARM端零依赖纯C推理引擎，适配Qwen3-VL多模态模型（2B/8B/30B），在RK3588平台实测通过。核心突破：safetensors→VQF转换与推理共用同一量化路径，实现位级可复现，体积压缩至2.2–4.2GB，真机重转SHA256完全一致。（239字）
• 10.04 11:34:38
  发表了文章 2026-10-04 11:34:38

  0.8MB 跑通 Qwen｜第 16-3 篇：推理引擎的 tensor 目录与布局重排的落盘顺序

  《0.8MB跑通Qwen》系列实录：30天手搓零依赖纯C推理引擎，适配Qwen3-VL多模态模型（2B/8B/30B-A3B），真机跑通RK3588（aarch64）。详解VQFTensor目录结构、64字节对齐落盘、FNV校验及mmap加载机制，含零依赖Python解析器。
• 10.04 11:31:14
  发表了文章 2026-10-04 11:31:14

  0.8MB 跑通 Qwen｜第 16-2 篇：逐字段解剖——推理引擎权重格式的 VQFHeader / VQFSig / VQFTensor

  本篇深度解析Qwen推理引擎VQF v2文件头：432字节固定布局、小端序、64B对齐目录起始（448偏移），通过`_Static_assert`严控结构体尺寸，以`magic/version/size`三重门禁保障零依赖纯C加载安全。真机RK3588实测，揭穿注释与字节不符彩蛋，夯实字节序纪律。（239字）
• 10.04 11:28:15
  发表了文章 2026-10-04 11:28:15

  0.8MB 跑通 Qwen｜第 16-1 篇：VQF 的野心——推理引擎如何把量化与布局固化到文件

  本系列手搓零依赖纯C推理引擎，仅0.8MB即可在RK3588上跑通Qwen3-VL多模态大模型。核心创新VQF格式将量化类型、内核布局与模型属性固化于2.17GB单文件中，实现mmap直挂、零转换加载，真正达成“加载即用”。
• 10.04 00:39:31
  发表了文章 2026-10-04 00:39:31

  0.8MB 跑通 Qwen｜第 15-3 篇：推理引擎单步走一次生成——token 循环与 KV 追加

  本系列《0.8MB跑通Qwen》用纯C手搓零依赖推理引擎，实测RK3588板端运行Qwen3-VL多模型；本文以gdb单步追踪decode循环，直观展示“采样→前向→KV追加→停判”全过程，将大模型逐token生成钉在胶片上。（239字）
• 10.04 00:38:51
  发表了文章 2026-10-04 00:38:51

  0.8MB 跑通 Qwen｜第 15-2 篇：推理引擎的 prefill 与 decode——两条路径为何分开

  本篇详解Qwen推理引擎中prefill与decode双路径设计：prefill一次性处理整段prompt（如18 token），批量写入KV缓存；decode逐token循环生成，追加KV。通过RK3588真机gdb断点实证，明确二者独立入口、状态流转与性能动因，手搓零依赖纯C引擎的核心逻辑。（239字）
• 10.04 00:38:07
  发表了文章 2026-10-04 00:38:07

  0.8MB 跑通 Qwen｜第 15-1 篇：推理引擎入口架构——参数 → 分发（serve/自检）→ 退出

  本系列《0.8MB跑通Qwen》聚焦ARM端零依赖纯C推理引擎，实测适配Qwen3-VL-2B/8B及30B-A3B模型，在RK3588板端完成真机验证。本文详解`main()`入口如何通过命令行参数分发至serve、离线转换或自检三种命运，并用GDB抓取真实调用链，厘清初始化与退出逻辑。（239字）
• 10.04 00:34:43
  发表了文章 2026-10-04 00:34:43

  0.8MB 跑通 Qwen｜第 14-3 篇：推理引擎的批处理正确性边界——margin 0.71 vs 0.032

  本篇精读Qwen3-VL系列推理引擎的“位级一致性”本质：批量与串行输出大多逐字节一致，但因浮点累加顺序差异，在near-tie（近平局）场景下存在翻盘风险——margin（如0.71 vs 0.032）决定是否一致。这是工程结果，非数学承诺。
• 10.04 00:33:57
  发表了文章 2026-10-04 00:33:57

  0.8MB 跑通 Qwen｜第 14-2 篇：单 SSE 流与串行队列——推理引擎的"单机守则"

  本系列《0.8MB跑通Qwen》聚焦ARM端零依赖纯C推理引擎，适配Qwen3-VL多尺寸模型（2B/8B/30B），基于RK3588实测。本文详解“单机守则”：推理状态串行锁定、SSE流独立输出、HTTP与推理线程职责分离，揭示为何默认串行是稳定前提而非性能缺陷。（239字）
• 10.04 00:33:07
  发表了文章 2026-10-04 00:33:07

  0.8MB 跑通 Qwen｜第 14-1 篇：大模型推理的连续批处理——iteration-level 调度思想

  本系列《0.8MB跑通Qwen》聚焦ARM端零依赖纯C推理引擎，适配Qwen3-VL多模态模型，在RK3588上实测落地。本文详解iteration-level连续批处理：动态聚合多请求的decode步，单次前向服务多人，兼顾并发与确定性。（239字）
• 10.04 00:32:13
  发表了文章 2026-10-04 00:32:13

  0.8MB 跑通 Qwen｜第 13-3 篇：推理引擎的回退与收益边界——哪些场景 spec 才划算

  本文精析Speculative Decoding在ARM端的收益边界：基于RK3588实测，揭示“62%命中率仍变慢”的根源——单步Decode仅44ms时，验证开销与KV回滚反致负增益；明确开启条件：长上下文、高重复性、大模型、贪婪采样。零依赖纯C，适配Qwen3-VL系列。
• 10.04 00:31:14
  发表了文章 2026-10-04 00:31:14

  0.8MB 跑通 Qwen｜第 13-2 篇：草稿 + 验证——推理引擎里 spec decode 的实现

  本系列《0.8MB跑通Qwen》聚焦ARM端零依赖纯C推理引擎，实测RK3588上运行Qwen3-VL多模态模型；详解speculative decode实现——基于n-gram草稿、批量验证与无损回放，确保输出位级一致，兼顾 correctness 与工程可控性。（239字）
• 10.04 00:29:03
  发表了文章 2026-10-04 00:29:03

  0.8MB 跑通 Qwen｜第 13-1 篇：推理引擎的 decode 为什么慢——逐词、带宽、不可并行

  本系列《0.8MB跑通Qwen》聚焦ARM端零依赖纯C推理引擎，适配Qwen3-VL多模态模型，在RK3588上实测decode瓶颈——逐词生成、内存带宽受限、无法并行。直击每词92ms硬地板，为推测解码（speculative decode）铺路，实现“一次前向多产出”。
• 10.04 00:28:26
  发表了文章 2026-10-04 00:28:26

  0.8MB 跑通 Qwen｜第 12-3 篇：复现 13.1×——推理引擎的跨进程恢复实测怎么做（含口径拆解）

  本系列《0.8MB跑通Qwen》聚焦ARM端零依赖纯C推理引擎，实测RK3588平台运行Qwen3-VL多模型；详解跨进程KV恢复机制，揭示prefill/TTFT/wall三口径差异，13.1×加速比可复现、可验证。（239字）
• 10.04 00:27:41
  发表了文章 2026-10-04 00:27:41

  0.8MB 跑通 Qwen｜第 12-2 篇：推理引擎的磁盘 KV 快照格式——0.47 GB 从哪来

  本系列《0.8MB跑通Qwen》聚焦ARM端零依赖纯C推理引擎，实测RK3588上部署Qwen3-VL多模态模型。本文详解0.47GB磁盘KV快照格式：64字节头+token IDs+28层F32原样KV，逐字段对账到字节级，诠释“宁大勿错”的可靠性设计。（239字）
• 10.04 00:24:53
  发表了文章 2026-10-04 00:24:53

  0.8MB 跑通 Qwen｜第 12-1 篇：LLM 推理的跨进程恢复——服务重启了，会话不能断

  本系列《0.8MB跑通Qwen》聚焦ARM端零依赖纯C推理引擎，实现在RK3588上部署Qwen3-VL等多尺寸模型。本文详解`--disk-kv`机制：将KV Cache落盘持久化，支持进程重启后按前缀精准恢复，实现“会话不断连”，2K上下文prefill加速达23.6×，真正打通边缘AI服务可用性最后一环。（239字）
• 10.04 00:21:40
  发表了文章 2026-10-04 00:21:40

  0.8MB 跑通 Qwen｜第 11-3 篇：推理引擎里 KV 缓存的一生——内存、容量与淘汰

  本系列《0.8MB跑通Qwen》聚焦ARM端零依赖纯C推理引擎开发，实测RK3588平台流畅运行Qwen3-VL-2B/8B等多版本。本文详解KV缓存“出生—续用/覆盖—死亡”三段式生命周期，揭示预分配、逻辑覆盖、进程级销毁本质，破除“命中即加速、淘汰即释放”认知误区。（239字）
• 10.04 00:20:57
  发表了文章 2026-10-04 00:20:57

  0.8MB 跑通 Qwen｜第 11-2 篇：大模型推理的前缀缓存键——怎么知道"两轮一样"？

  本系列《0.8MB跑通Qwen》聚焦ARM端零依赖纯C推理引擎，实测RK3588上高效运行Qwen3-VL多模态模型。本文详解前缀缓存核心机制：以token序列最长公共前缀（LCP）为键，实现KV复用；并揭示“完全相同反不复用”的安全设计——确保prefill刷新logits，杜绝空响应。
• 10.04 00:20:20
  发表了文章 2026-10-04 00:20:20

  0.8MB 跑通 Qwen｜第 11-1 篇：大模型推理中多轮对话的浪费——上一轮 prefill 算完就被扔了

  本系列《0.8MB跑通Qwen》聚焦ARM端零依赖纯C推理引擎，实测RK3588平台高效运行Qwen3-VL多模态模型；核心突破是默认启用前缀KV复用，使多轮对话prefill耗时骤降27倍，显著消除历史重复计算，大幅提升端侧长会话效率。（239字）
• 10.04 00:19:30
  发表了文章 2026-10-04 00:19:30

  0.8MB 跑通 Qwen｜第 10-3 篇：推理引擎里诚实的坑——哪些场景稀疏无收益，甚至负优化

  本篇实测揭示稀疏注意力的真相：短上下文（<1K）开`--sparse-attn`反成负优化！RK3588板端验证，详列8条“禁用清单”，每条附源码行号与实测数据。明确边界：q4 KV、推测解码、L3驱逐等均与稀疏互斥，并坦承`test-sparse`自检崩溃缺陷。（239字）
• 10.04 00:18:52
  发表了文章 2026-10-04 00:18:52

  0.8MB 跑通 Qwen｜第 10-2 篇：推理引擎的 sparse top-k 块选择——"只看该看的"到底怎么选

  本系列《0.8MB跑通Qwen》聚焦ARM端零依赖纯C推理引擎，实测RK3588上高效运行Qwen3-VL多模态模型。本文深度剖析sparse_attn_head的top-k块选择机制——探针抽样、prefill重要性预留、贪心补满与recency保险四段代码，揭示长上下文稀疏注意力如何精准“找针”，并实证k=1时板端翻车根源。（239字）
• 10.04 00:17:35
  发表了文章 2026-10-04 00:17:35

  0.8MB 跑通 Qwen｜第 10-1 篇：大模型推理的长上下文为什么必须稀疏——O(n²) 的注意力 vs O(n·k) 的"只看该看的"

  本系列手搓0.8MB纯C推理引擎，零依赖跑通Qwen3-VL多模型。本文聚焦长上下文瓶颈：RK3588实测显示，注意力耗时占比从18%飙升至71%。提出块稀疏方案——将O(n²)注意力压至O(n·k)，实现每词成本与上下文长度无关，为端侧大模型长文本推理提供关键路径。（239字）
• 10.04 00:15:57
  发表了文章 2026-10-04 00:15:57

  0.8MB 跑通 Qwen｜第 9-3 篇：推理引擎的 q8 KV 精度对照——量化进注意力，输出差多少

  本系列《0.8MB跑通Qwen》手搓零依赖纯C推理引擎，适配Qwen3-VL多尺寸模型，在RK3588上实测q8 KV量化：输出误差仅≈0.01，端到端PPL损失＜1%，带宽降为52%，精度与效率达成教科书级平衡。（239字）
• 10.04 00:15:17
  发表了文章 2026-10-04 00:15:17

  0.8MB 跑通 Qwen｜第 9-2 篇：推理引擎的 flash_attn_single_q_q8_neon——单 q 单遍扫全 KV

  本系列《0.8MB跑通Qwen》聚焦ARM零依赖纯C推理引擎，精读`flash_attn_single_q_q8_neon`内核：通过Q单次量化、q8 KV单遍扫描、在线softmax与尾部归一，显著降低带宽与内存开销，实现在RK3588等端侧设备高效运行Qwen3-VL系列模型。（239字）
• 10.04 00:14:34
  发表了文章 2026-10-04 00:14:34

  0.8MB 跑通 Qwen｜第 9-1 篇：推理引擎的 KV 也量化——q8 KV 把缓存与 decode 带宽压到一半

  本系列手搓零依赖纯C推理引擎，仅0.8MB即可在RK3588上跑通Qwen3-VL多模型。本文详解q8 KV量化：将f16 KV压至INT8，按token每头独立定标，缓存与decode带宽降低约48%，兼顾精度与效率，f32仅作调试探针。
• 10.04 00:13:49
  发表了文章 2026-10-04 00:13:49

  0.8MB 跑通 Qwen｜第 8-3 篇：推理引擎的 KV 缓存结构——按 token 还是按头存

  本系列《0.8MB跑通Qwen》聚焦ARM端零依赖纯C推理引擎，适配Qwen3-VL多模态模型，在RK3588上实测。本文精析KV缓存的token-major布局设计原理，揭示其如何兼顾prefill与decode访存效率，直击带宽瓶颈。（239字）
• 10.04 00:13:04
  发表了文章 2026-10-04 00:13:04

  0.8MB 跑通 Qwen｜第 8-2 篇：在线 softmax——推理引擎的注意力为什么不能先算完 e^x 再除

  本系列手搓0.8MB零依赖纯C推理引擎，适配Qwen3-VL多模型，在RK3588（aarch64）真机实测。本文详解softmax溢出陷阱：fp32下exp>88.7即inf，剖析朴素/稳定/在线三版实现，揭示“减max”数学等价性与在线rescale的流式优势。（239字）
• 10.04 00:12:19
  发表了文章 2026-10-04 00:12:19

  0.8MB 跑通 Qwen｜第 8-1 篇：大模型推理的自注意力数学——Q·K^T / softmax / V

  本文精讲自注意力三步核心：Q·K^T打分、softmax归一化、加权V求和，逐行对照纯C引擎源码（vllm_transformer.c），剖析√d缩放、因果掩码与数值稳定性等工程地雷，聚焦Qwen3-VL系列在RK3588上的零依赖推理实现。（239字）
• 10.04 00:11:34
  发表了文章 2026-10-04 00:11:34

  0.8MB 跑通 Qwen｜第 7-3 篇：推理引擎的预热与测量抖动——为什么报告要"重复 3 次取中位"

  本系列《0.8MB跑通Qwen》聚焦ARM端零依赖纯C推理引擎开发，实测适配Qwen3-VL多模型，在RK3588上验证性能抖动——单内核耗时波动达1.7倍，确立“预热+3次取中位”为可信基准口径。（239字）
• 10.04 00:10:52
  发表了文章 2026-10-04 00:10:52

  0.8MB 跑通 Qwen｜第 7-2 篇：推理引擎的混合精度路由——flags 决定谁用 Q8、谁用 Q4

  本系列《0.8MB跑通Qwen》聚焦ARM端零依赖纯C推理引擎，适配Qwen3-VL多模态模型，在RK3588上实现实测。核心创新是混合精度路由：prefill阶段用Q8保精度，decode阶段用Q4省带宽，通过flags比特位动态调度，兼顾速度与质量。（239字）
• 10.04 00:10:01
  发表了文章 2026-10-04 00:10:01

  0.8MB 跑通 Qwen｜第 7-1 篇：大模型量化的 Q4_0 格式——与 GGUF 对齐的 4bit 布局

  本系列《0.8MB跑通Qwen》聚焦ARM端零依赖纯C推理引擎，适配Qwen3-VL多模态模型，在RK3588上实测通过。详解GGUF对齐的Q4_0量化：32个float压缩至18字节（f16 scale + 16 nibble），剖析nibble打包规则与11倍误差代价，为端侧高效部署夯实底层基础。（239字）