AI 助理
文档备案控制台

C语言

首页 标签 C语言
# C语言 #
关注
40601内容
最新 热门 文章 问答 视频 课程 训练营
独孤圣人123
|
1月前
|
博文
|
来自： 大数据与机器学习
0.8MB 跑通 Qwen｜第 16-1 篇：VQF 的野心——推理引擎如何把量化与布局固化到文件
本系列手搓零依赖纯C推理引擎，仅0.8MB即可在RK3588上跑通Qwen3-VL多模态大模型。核心创新VQF格式将量化类型、内核布局与模型属性固化于2.17GB单文件中，实现mmap直挂、零转换加载，真正达成“加载即用”。
# JSON # C语言 # 数据安全/隐私保护 # 数据格式 # 索引
独孤圣人123
|
1月前
|
博文
|
来自： 大数据与机器学习
0.8MB 跑通 Qwen｜第 15-1 篇：推理引擎入口架构——参数 → 分发（serve/自检）→ 退出
本系列《0.8MB跑通Qwen》聚焦ARM端零依赖纯C推理引擎，实测适配Qwen3-VL-2B/8B及30B-A3B模型，在RK3588板端完成真机验证。本文详解`main()`入口如何通过命令行参数分发至serve、离线转换或自检三种命运，并用GDB抓取真实调用链，厘清初始化与退出逻辑。（239字）
# NoSQL # C语言 # C++
独孤圣人123
|
1月前
|
博文
|
来自： 大数据与机器学习
0.8MB 跑通 Qwen｜第 4-3 篇：核绑定实验——推理引擎在 ARM 大小核上为什么叮嘱"勿设 8 线程"
本系列《0.8MB跑通Qwen》聚焦ARM端零依赖纯C推理引擎，实测RK3588（4×A76+4×A55）上适配Qwen3-VL-2B/8B及30B-A3B模型。通过三组真机实验揭示“核多≠快”本质：仅绑4大核最优，设8线程反降效12%，验证大小核架构下线程配置需严守硬件特性。（239字）
# Java # Linux # 调度 # C语言 # C++
独孤圣人123
|
1月前
|
博文
|
来自： 千问大模型
0.8MB 跑通 Qwen｜第 6-1 篇：推理引擎的 ARMv8.2 dotprod——`vdotq_s32` 一条指令做 4 个点积
本系列《0.8MB跑通Qwen》聚焦ARM零依赖纯C推理引擎，实测RK3588平台，适配Qwen3-VL多模型。本文详解ARMv8.2 dotprod指令（vdotq_s32）如何在真实大内核中释放性能，破除微基准误导，揭示寄存器压力下加速本质。（239字）
# 大模型服务平台百炼 # 编译器 # C语言
独孤圣人123
|
1月前
|
博文
|
来自： 大数据与机器学习
0.8MB 跑通 Qwen｜第 8-2 篇：在线 softmax——推理引擎的注意力为什么不能先算完 e^x 再除
本系列手搓0.8MB零依赖纯C推理引擎，适配Qwen3-VL多模型，在RK3588（aarch64）真机实测。本文详解softmax溢出陷阱：fp32下exp>88.7即inf，剖析朴素/稳定/在线三版实现，揭示“减max”数学等价性与在线rescale的流式优势。（239字）
# 缓存 # C语言 # 内存技术
独孤圣人123
|
1月前
|
博文
|
来自： 大数据与机器学习
0.8MB 跑通 Qwen｜第 9-3 篇：推理引擎的 q8 KV 精度对照——量化进注意力，输出差多少
本系列《0.8MB跑通Qwen》手搓零依赖纯C推理引擎，适配Qwen3-VL多尺寸模型，在RK3588上实测q8 KV量化：输出误差仅≈0.01，端到端PPL损失＜1%，带宽降为52%，精度与效率达成教科书级平衡。（239字）
# 缓存 # C语言 # C++
独孤圣人123
|
1月前
|
博文
|
来自： 大数据与机器学习
0.8MB 跑通 Qwen｜第 4-1 篇：推理引擎为什么换掉 OpenMP——线程唤醒与亲和（vllm_tp 设计）
本系列《0.8MB跑通Qwen》聚焦ARM端侧轻量化部署，基于RK3588平台，自研零依赖纯C推理引擎，适配Qwen3-VL多模态模型。核心突破在于手写线程池vllm_tp——摒弃OpenMP，采用常驻线程、spin-then-event、调用者参与及静态绑核四大设计，将微秒级小并行区调度开销降低12倍，实现在资源受限边缘设备高效运行大模型。（239字）
# 并行计算 # Java # API # 调度 # C语言
独孤圣人123
|
1月前
|
博文
|
来自： 千问大模型
0.8MB 跑通 Qwen｜第 5-2 篇：推理引擎的 Q8 对称量化——scale 从哪来
本系列聚焦ARM端零依赖纯C推理引擎，实测RK3588跑通Qwen3-VL多模态模型。本文详解Q8对称量化核心——scale标定：为何用f16存、为何除127、误差如何从0.033暴增至0.44，揭示量化精度的生死线。（239字）
# 大模型服务平台百炼 # 存储 # 安全 # C语言
独孤圣人123
|
1月前
|
博文
|
来自： 大数据与机器学习
0.8MB 跑通 Qwen｜第 7-1 篇：大模型量化的 Q4_0 格式——与 GGUF 对齐的 4bit 布局
本系列《0.8MB跑通Qwen》聚焦ARM端零依赖纯C推理引擎，适配Qwen3-VL多模态模型，在RK3588上实测通过。详解GGUF对齐的Q4_0量化：32个float压缩至18字节（f16 scale + 16 nibble），剖析nibble打包规则与11倍误差代价，为端侧高效部署夯实底层基础。（239字）
# 定位技术 # C语言 # C++
独孤圣人123
|
1月前
|
博文
|
来自： 大数据与机器学习
0.8MB 跑通 Qwen｜第 1-3 篇：推理引擎的自检门——没有模型的确定性测试，第一次读懂 PASS/FAIL
本文介绍RK3588平台LLM推理引擎的“自检门”机制：无需模型文件，通过标量参考对拍、固定种子随机与确定性PASS/FAIL测试，快速验证编译后代码正确性；实测覆盖L3缓存、量化点积等核心逻辑，体现工业级可信验证思想。（239字）
# 缓存 # 测试技术 # C语言 # C++ # NoSQL
免费试用