本系列《0.8MB跑通Qwen》聚焦ARM端零依赖纯C推理引擎，适配Qwen3-VL多模态模型（2B/8B/30B），在RK3588上实测。视频支持分两层：帧序列路径已落地；MP4/H.264解码为独立未完成模块，API清晰、默认不构建、不演示未验证功能，体现严谨工程边界。（239字）

本系列《0.8MB跑通Qwen》聚焦ARM端零依赖纯C推理引擎，适配Qwen3-VL多模态模型（2B/8B/30B），在RK3588平台实测通过。核心突破：safetensors→VQF转换与推理共用同一量化路径，实现位级可复现，体积压缩至2.2–4.2GB，真机重转SHA256完全一致。（239字）

本系列《0.8MB跑通Qwen》用纯C手写零依赖推理引擎，实现在RK3588（aarch64）上部署Qwen3-VL多模态模型。真机实测：64×64图经24层ViT编码得4个视觉token，耗时仅295.3ms，支持图文理解与视频分析。（239字）

本系列《0.8MB跑通Qwen》用纯C手搓零依赖推理引擎，适配Qwen3-VL多模型，在RK3588（aarch64）实测通过。核心含strcmp路由表与自研轻量JSON解析器，精准拦截非法请求（如`msgs`→400），严守兼容边界，代码精简可控，专注教学与边缘部署。（239字）

本系列《0.8MB跑通Qwen》聚焦ARM端零依赖纯C推理引擎，适配Qwen3-VL多模态模型（2B/8B/30B），在RK3588平台实测通过。本文详解词表编译：将7MB tokenizer.json编译为1.95MB可审计vocab.bin，精准处理byte-level解码（如0xAD/0x7F等历史坑），实现板端逐位一致、冷启动仅约2秒。（239字）

本系列《0.8MB跑通Qwen》聚焦ARM零依赖纯C推理引擎，适配Qwen3-VL多版本模型，在RK3588平台实测。本文详解GGUF→VQF的“反量化再量化”路径：将llama.cpp已量化权重（Q4_0/Q8_0等）先还原为F32，再经统一量化与重排固化为VQF格式，确保内核兼容性与可验证性。（239字）

本系列手搓零依赖纯C推理引擎，仅0.8MB即可在RK3588上跑通Qwen3-VL多模态大模型。核心创新VQF格式将量化类型、内核布局与模型属性固化于2.17GB单文件中，实现mmap直挂、零转换加载，真正达成“加载即用”。

本篇深度解析Qwen推理引擎VQF v2文件头：432字节固定布局、小端序、64B对齐目录起始（448偏移），通过`_Static_assert`严控结构体尺寸，以`magic/version/size`三重门禁保障零依赖纯C加载安全。真机RK3588实测，揭穿注释与字节不符彩蛋，夯实字节序纪律。（239字）

本篇详解Qwen3-VL多模态推理中MRoPE三维位置编码机制：通过`mrope_section=[24,20,20]`将64维旋转频率分给时间/高/宽三轴，支持视觉token网格定位；并数值推演“强行降维至1D”的相位偏差——7×7图像下最高达4.71弧度（近270°），40/64维严重失准，导致注意力失效。纯文本因t=h=w自动退化，故该bug无法被文本测试捕获。（239字）

作者把创世虚拟世界CRM（创世Genesis，自部署 3D 虚拟世界）的 AI Agent 通道（HTTP + WebSocket + JSON 约定）封装成 8 个 MCP 工具（discover/enter/observe/say/walk_to/follow/chat_history/leave），stdio 版已上 npm 与官方 MCP Registry，随后为零安装补了 Streamable HTTP 远端点。本文实录打通过程：stdout 纯净性、initialize 必填字段、Mixed Content 协议陷阱、官方 SDK 拖入 34 包后的零依赖重写、GET 400 被目

本系列《0.8MB跑通Qwen》聚焦ARM端零依赖纯C推理引擎，实测适配Qwen3-VL-2B/8B及30B-A3B模型，在RK3588板端完成真机验证。本文详解`main()`入口如何通过命令行参数分发至serve、离线转换或自检三种命运，并用GDB抓取真实调用链，厘清初始化与退出逻辑。（239字）

本系列《0.8MB跑通Qwen》聚焦ARM端零依赖纯C推理引擎，实测RK3588（4×A76+4×A55）上适配Qwen3-VL-2B/8B及30B-A3B模型。通过三组真机实验揭示“核多≠快”本质：仅绑4大核最优，设8线程反降效12%，验证大小核架构下线程配置需严守硬件特性。（239字）

本系列《0.8MB跑通Qwen》聚焦ARM端零依赖纯C推理引擎，实测RK3588上运行Qwen3-VL多模态模型；详解speculative decode实现——基于n-gram草稿、批量验证与无损回放，确保输出位级一致，兼顾 correctness 与工程可控性。（239字）

本系列手搓0.8MB纯C推理引擎，零依赖跑通Qwen3-VL多模型。本文聚焦长上下文瓶颈：RK3588实测显示，注意力耗时占比从18%飙升至71%。提出块稀疏方案——将O(n²)注意力压至O(n·k)，实现每词成本与上下文长度无关，为端侧大模型长文本推理提供关键路径。（239字）

本篇详解Qwen推理引擎中prefill与decode双路径设计：prefill一次性处理整段prompt（如18 token），批量写入KV缓存；decode逐token循环生成，追加KV。通过RK3588真机gdb断点实证，明确二者独立入口、状态流转与性能动因，手搓零依赖纯C引擎的核心逻辑。（239字）

本篇实测揭示稀疏注意力的真相：短上下文（<1K）开`--sparse-attn`反成负优化！RK3588板端验证，详列8条“禁用清单”，每条附源码行号与实测数据。明确边界：q4 KV、推测解码、L3驱逐等均与稀疏互斥，并坦承`test-sparse`自检崩溃缺陷。（239字）

本系列《0.8MB跑通Qwen》聚焦ARM端零依赖纯C推理引擎，实现在RK3588上部署Qwen3-VL等多尺寸模型。本文详解`--disk-kv`机制：将KV Cache落盘持久化，支持进程重启后按前缀精准恢复，实现“会话不断连”，2K上下文prefill加速达23.6×，真正打通边缘AI服务可用性最后一环。（239字）

本篇精读Qwen3-VL系列推理引擎的“位级一致性”本质：批量与串行输出大多逐字节一致，但因浮点累加顺序差异，在near-tie（近平局）场景下存在翻盘风险——margin（如0.71 vs 0.032）决定是否一致。这是工程结果，非数学承诺。

本系列《0.8MB跑通Qwen》聚焦ARM端零依赖纯C推理引擎，实测RK3588上高效运行Qwen3-VL多模态模型。本文深度剖析sparse_attn_head的top-k块选择机制——探针抽样、prefill重要性预留、贪心补满与recency保险四段代码，揭示长上下文稀疏注意力如何精准“找针”，并实证k=1时板端翻车根源。（239字）

本系列《0.8MB跑通Qwen》聚焦ARM端零依赖纯C推理引擎，适配Qwen3-VL多模态模型，在RK3588上实测落地。本文详解iteration-level连续批处理：动态聚合多请求的decode步，单次前向服务多人，兼顾并发与确定性。（239字）

本系列《0.8MB跑通Qwen》聚焦ARM端零依赖纯C推理引擎开发，实测RK3588平台流畅运行Qwen3-VL-2B/8B等多版本。本文详解KV缓存“出生—续用/覆盖—死亡”三段式生命周期，揭示预分配、逻辑覆盖、进程级销毁本质，破除“命中即加速、淘汰即释放”认知误区。（239字）

本系列《0.8MB跑通Qwen》聚焦ARM端零依赖纯C推理引擎，适配Qwen3-VL多模态模型，在RK3588上实测。本文精析KV缓存的token-major布局设计原理，揭示其如何兼顾prefill与decode访存效率，直击带宽瓶颈。（239字）

本系列《0.8MB跑通Qwen》聚焦ARM端零依赖纯C推理引擎，实测RK3588上部署Qwen3-VL多模态模型。本文详解0.47GB磁盘KV快照格式：64字节头+token IDs+28层F32原样KV，逐字段对账到字节级，诠释“宁大勿错”的可靠性设计。（239字）

本系列《0.8MB跑通Qwen》聚焦ARM端零依赖纯C推理引擎，适配Qwen3-VL多模态模型，在RK3588上实测decode瓶颈——逐词生成、内存带宽受限、无法并行。直击每词92ms硬地板，为推测解码（speculative decode）铺路，实现“一次前向多产出”。

本系列《0.8MB跑通Qwen》聚焦ARM端零依赖纯C推理引擎，适配Qwen3-VL多尺寸模型（2B/8B/30B），基于RK3588实测。本文详解“单机守则”：推理状态串行锁定、SSE流独立输出、HTTP与推理线程职责分离，揭示为何默认串行是稳定前提而非性能缺陷。（239字）

本系列《0.8MB跑通Qwen》聚焦ARM端零依赖纯C推理引擎，实测RK3588平台高效运行Qwen3-VL多模型。本文深入`vllm_tp_parfor`，揭示调用线程主动领任务、静态切块与分级收尾机制，以计数器实验确证“每核皆算力”，展现极致轻量与工程严谨的统一。（239字）

本系列《0.8MB跑通Qwen》聚焦ARM端零依赖纯C推理引擎，适配Qwen3-VL多模态模型，在RK3588上实测部署。核心采用llama.cpp中450行MIT许可NEON汇编内核，通过机械提取实现零转录风险，并严守许可署名规范，诠释开源合规与工程严谨的统一。（239字）

本系列《0.8MB跑通Qwen》聚焦ARM端零依赖纯C推理引擎，适配Qwen3-VL多模态模型，在RK3588芯片实测落地。核心创新是Q8权重的8×8内存重排，使宽矩阵GEMM提速约1.7倍，且位级结果一致，兼顾性能与精度。（239字）

本系列手搓零依赖纯C推理引擎，仅0.8MB即可在RK3588上跑通Qwen3-VL/30B等大模型。本文聚焦“带宽瓶颈”：decode每生成一词需重读全部权重，推理时间≈权重字节数÷内存带宽。实测表明，Q4/Q8量化+紧凑布局可提升有效带宽3倍，是边缘部署的生存前提。（239字）

本系列《0.8MB跑通Qwen》聚焦ARM端零依赖纯C推理引擎，实测RK3588上高效运行Qwen3-VL多模态模型。本文详解前缀缓存核心机制：以token序列最长公共前缀（LCP）为键，实现KV复用；并揭示“完全相同反不复用”的安全设计——确保prefill刷新logits，杜绝空响应。

本系列手搓0.8MB零依赖纯C推理引擎，适配Qwen3-VL多模型，在RK3588（aarch64）真机实测。本文详解softmax溢出陷阱：fp32下exp>88.7即inf，剖析朴素/稳定/在线三版实现，揭示“减max”数学等价性与在线rescale的流式优势。（239字）

本系列《0.8MB跑通Qwen》聚焦ARM零依赖纯C推理引擎，精读`flash_attn_single_q_q8_neon`内核：通过Q单次量化、q8 KV单遍扫描、在线softmax与尾部归一，显著降低带宽与内存开销，实现在RK3588等端侧设备高效运行Qwen3-VL系列模型。（239字）

本文精析Speculative Decoding在ARM端的收益边界：基于RK3588实测，揭示“62%命中率仍变慢”的根源——单步Decode仅44ms时，验证开销与KV回滚反致负增益；明确开启条件：长上下文、高重复性、大模型、贪婪采样。零依赖纯C，适配Qwen3-VL系列。

本文精讲自注意力三步核心：Q·K^T打分、softmax归一化、加权V求和，逐行对照纯C引擎源码（vllm_transformer.c），剖析√d缩放、因果掩码与数值稳定性等工程地雷，聚焦Qwen3-VL系列在RK3588上的零依赖推理实现。（239字）

本系列《0.8MB跑通Qwen》聚焦ARM端零依赖纯C推理引擎，实测RK3588平台高效运行Qwen3-VL多模态模型；核心突破是默认启用前缀KV复用，使多轮对话prefill耗时骤降27倍，显著消除历史重复计算，大幅提升端侧长会话效率。（239字）

本系列《0.8MB跑通Qwen》用纯C手搓零依赖推理引擎，实测RK3588板端运行Qwen3-VL多模型；本文以gdb单步追踪decode循环，直观展示“采样→前向→KV追加→停判”全过程，将大模型逐token生成钉在胶片上。（239字）

本系列《0.8MB跑通Qwen》手搓零依赖纯C推理引擎，适配Qwen3-VL多尺寸模型，在RK3588上实测q8 KV量化：输出误差仅≈0.01，端到端PPL损失＜1%，带宽降为52%，精度与效率达成教科书级平衡。（239字）

本系列《0.8MB跑通Qwen》聚焦ARM端零依赖纯C推理引擎开发，实测适配Qwen3-VL多模型，在RK3588上验证性能抖动——单内核耗时波动达1.7倍，确立“预热+3次取中位”为可信基准口径。（239字）

本系列手搓零依赖纯C推理引擎，仅0.8MB即可在RK3588上跑通Qwen3-VL多模型。本文详解q8 KV量化：将f16 KV压至INT8，按token每头独立定标，缓存与decode带宽降低约48%，兼顾精度与效率，f32仅作调试探针。

本系列《0.8MB跑通Qwen》聚焦ARM端侧轻量化部署，基于RK3588平台，自研零依赖纯C推理引擎，适配Qwen3-VL多模态模型。核心突破在于手写线程池vllm_tp——摒弃OpenMP，采用常驻线程、spin-then-event、调用者参与及静态绑核四大设计，将微秒级小并行区调度开销降低12倍，实现在资源受限边缘设备高效运行大模型。（239字）

本系列《0.8MB跑通Qwen》聚焦ARM端零依赖纯C推理引擎，实测RK3588平台运行Qwen3-VL多模型；详解跨进程KV恢复机制，揭示prefill/TTFT/wall三口径差异，13.1×加速比可复现、可验证。（239字）

本系列《0.8MB跑通Qwen》聚焦ARM端零依赖纯C推理引擎，适配Qwen3-VL多模态模型，在RK3588上实测通过。详解GGUF对齐的Q4_0量化：32个float压缩至18字节（f16 scale + 16 nibble），剖析nibble打包规则与11倍误差代价，为端侧高效部署夯实底层基础。（239字）

本系列《0.8MB跑通Qwen》聚焦ARM端零依赖纯C推理引擎，适配Qwen3-VL多模态模型，在RK3588上实现实测。核心创新是混合精度路由：prefill阶段用Q8保精度，decode阶段用Q4省带宽，通过flags比特位动态调度，兼顾速度与质量。（239字）

几乎每个 Python 文件都有 if __name__ == __main__，但很少有人说清它在防什么。本文用可复现的代码讲透 4 类真实事故：多进程递归崩溃、导入即连数据库、-m 与文件路径的差异、pytest 拿不到准备逻辑，并给出什么时候其实可以不写。