索引

首页 标签 索引
# 索引 #
关注
68239内容
|
17天前
| |
给一家制造企业做 AI 可见度基线:字段定义与踩坑记录
一份可直接抄的 AI 可见度基线检查清单:三层十二个字段、用服务器访问日志统计爬虫到达次数,以及 4 个真实踩坑记录。
GEO技术与工具全景:从监测仪表盘到Schema的实战指南
本文系统梳理GEO实战技术:涵盖监测仪表盘、自采样方法、Schema结构化标记、robots协议与爬虫日志,并聚焦时效、电商、本地三类题型落点。强调工具分数仅为信号,效果需通过版本、平台、题集与原始输出的可复核观测来验证。(239字)
|
18天前
|
RAG 检索增强生成原理详解:为什么你的 RAG 效果差,问题多半在检索端
很多人做 RAG 效果不好就换模型,其实瓶颈在检索端。本文用可跑的代码拆解 RAG 工作流程:切分、向量检索、重排、拼 Prompt,讲清每步为何重要。
|
18天前
| |
别再把整个数据库Schema塞给AI了:5个Token优化策略,帮你省下80%的API账单
文章从一次浪费3000美元的教训切入,指出将全量数据库Schema塞给AI会导致token成本线性增长、SQL准确率下降。提出五个优化策略:RAG动态Schema选择、渐进式披露、Schema压缩与序列化优化、前缀缓存、自适应路由与语义压缩。组合使用后,240表数据库的token消耗可降低92%以上,SQL准确率从72%提升至85%。文章强调RAG需结合外键图扩展以避免JOIN路径断裂,推荐从RAG和前缀缓存入手,并提醒避开用LLM压缩Schema、忽略缓存失效、不做索引版本控制等坑。
0.8MB 跑通 Qwen|第 16-1 篇:VQF 的野心——推理引擎如何把量化与布局固化到文件
本系列手搓零依赖纯C推理引擎,仅0.8MB即可在RK3588上跑通Qwen3-VL多模态大模型。核心创新VQF格式将量化类型、内核布局与模型属性固化于2.17GB单文件中,实现mmap直挂、零转换加载,真正达成“加载即用”。
0.8MB 跑通 Qwen|第 12-1 篇:LLM 推理的跨进程恢复——服务重启了,会话不能断
本系列《0.8MB跑通Qwen》聚焦ARM端零依赖纯C推理引擎,实现在RK3588上部署Qwen3-VL等多尺寸模型。本文详解`--disk-kv`机制:将KV Cache落盘持久化,支持进程重启后按前缀精准恢复,实现“会话不断连”,2K上下文prefill加速达23.6×,真正打通边缘AI服务可用性最后一环。(239字)
0.8MB 跑通 Qwen|第 14-1 篇:大模型推理的连续批处理——iteration-level 调度思想
本系列《0.8MB跑通Qwen》聚焦ARM端零依赖纯C推理引擎,适配Qwen3-VL多模态模型,在RK3588上实测落地。本文详解iteration-level连续批处理:动态聚合多请求的decode步,单次前向服务多人,兼顾并发与确定性。(239字)
0.8MB 跑通 Qwen|第 12-2 篇:推理引擎的磁盘 KV 快照格式——0.47 GB 从哪来
本系列《0.8MB跑通Qwen》聚焦ARM端零依赖纯C推理引擎,实测RK3588上部署Qwen3-VL多模态模型。本文详解0.47GB磁盘KV快照格式:64字节头+token IDs+28层F32原样KV,逐字段对账到字节级,诠释“宁大勿错”的可靠性设计。(239字)
0.8MB 跑通 Qwen|第 12-3 篇:复现 13.1×——推理引擎的跨进程恢复实测怎么做(含口径拆解)
本系列《0.8MB跑通Qwen》聚焦ARM端零依赖纯C推理引擎,实测RK3588平台运行Qwen3-VL多模型;详解跨进程KV恢复机制,揭示prefill/TTFT/wall三口径差异,13.1×加速比可复现、可验证。(239字)
免费试用