从收录到验证,一套插件增量聚合怎么在云上重跑
2026-11-19 的只读快照里,本站 hidden=0 的插件共 29,277 条;2026-08 那批 387 条有 99.7% 带实装验证等级,2026-11 前 17 天的 6,149 条只剩 1.8%,两组数差 98 个百分点。原因不在数据,而在批次推进顺序。下面拆成四步。
三个输入:库文件、过滤条件、时间字段
| 项目 | 取值 | 说明 |
|---|---|---|
| 数据源 | /var/lib/docker/volumes/deepseek-harness-hub_appdata/_data/dev.db |
SQLite 单文件,容器卷内的生产库 |
| 快照时间 | 2026-11-19 | 当日只读查询,不落写操作 |
| 主表 | Plugin |
一行 = 一个站内收录项 |
| 过滤条件 | hidden = 0 |
已收录且未下架;不加这条会多出 1,075 条隐藏项 |
| 落库方式 | sqlite3 只读连接,结果导出 CSV |
不改结构、不建索引 |
| 时间字段 | createdAt |
毫秒整数,typeof() 返回 integer |
createdAt 是写进 Plugin 表的时间,不是建仓时间也不是首发时间;全表区间 2026-08-17 到 2026-11-17。
第一刀:把毫秒整数切成月
最常见的错误是把 createdAt 当日期字符串用,或忘了除 1000:unixepoch 只吃秒。
SELECT strftime('%Y-%m', createdAt / 1000, 'unixepoch') AS 入库月,
COUNT(*) AS 收录数
FROM Plugin
WHERE hidden = 0
GROUP BY 入库月
ORDER BY 入库月;
四行月份连续、没有缺口;依次 387、13,878、8,863、6,149,加起来正好 29,277。
第二刀:验证等级和验证状态分开统计
verifyLevel 与 verifyStatus 语义不同,要两条查询分别跑。
-- 口径 A:验到第几级(L4 真实安装 / L5 运行时冒烟)
SELECT strftime('%Y-%m', createdAt / 1000, 'unixepoch') AS 入库月,
SUM(verifyLevel = 'L4') AS 有L4,
SUM(verifyLevel = 'L5') AS 有L5,
SUM(verifyLevel IS NULL OR verifyLevel = '') AS 无等级
FROM Plugin
WHERE hidden = 0
GROUP BY 入库月
ORDER BY 入库月;
-- 口径 B:验没验过、过没过,只对 11 月批跑一次
SELECT verifyStatus, COUNT(*) AS 条数
FROM Plugin
WHERE hidden = 0
AND createdAt >= strftime('%s', '2026-11-01') * 1000
AND createdAt < strftime('%s', '2026-12-01') * 1000
GROUP BY verifyStatus
ORDER BY 条数 DESC;
两者不能互相替换:11 月批带等级 108 条、pass 103 条,一个问等级,一个问过没过。
跑出来的四行
| 入库月 | 收录数 | 有L4 | 有L5 | 无等级 | 有等级占比 | ≥10 星 | ≥10 星占比 |
|---|---|---|---|---|---|---|---|
| 2026-08 | 387 | 323 | 63 | 1 | 99.7% | 226 | 58.4% |
| 2026-09 | 13,878 | 11,117 | 1,378 | 1,383 | 90.0% | 1,600 | 11.5% |
| 2026-10 | 8,863 | 5,394 | 1,489 | 1,980 | 77.7% | 385 | 4.3% |
| 2026-11(前 17 天) | 6,149 | 107 | 1 | 6,041 | 1.8% | 202 | 3.3% |
四行合计 29,277 条,与 hidden=0 总量对得上:没漏行,也没重复计入。
11 月批的 verifyStatus:
| 状态 | 条数 | 占 6,149 |
|---|---|---|
| none | 6,042 | 98.3% |
| pass | 103 | 1.68% |
| fail | 4 | 0.07% |
none 占 98.3%,fail 只有 4 条,后者不是质量差。
口径边界
createdAt是入库时间,stars是当日快照值,两者都不能当趋势用。verifyStatus与verifyLevel不同源,单看任一个都会带偏结论,也不能相加。
数据本身说明的四件事
一、验证是排队的。 99.7%、90.0%、77.7%、1.8% 单调下降,新批排在队尾。
二、入库与验证错位两到三个月。 11 月批 6,149 条只有 108 条带等级(107 条 L4、1 条 L5)。
三、星标基座在变薄。 ≥10 星占比从 58.4% 降到 11.5%、4.3%、3.3%,与收录量反向。
四、入库是脉冲式的。 11-09 一天 1,062 条,11-11 只有 5 条,日间差 212 倍。
定时与资源节制
只发一条聚合查询,一次扫全表就够;循环里按月各查要扫四遍。任务放在 06:00 前错峰。
换一个月度窗口要改哪几处
最常见的失误是换月忘了改右边界:右边界仍用「今天」,11 月 20 日就跑成 19 天,1.8% 立刻不可比。写成 >= 月初 AND < 下月初 更稳。
分母也要定清:换成「有星标的条目数」,3.3% 就不是这个值。
这份数据的局限
- 单点快照。数字都是 2026-11-19 一次查询的结果,没有前后对照。
- 两个验证字段只记结果,不记排队时间与重试次数:「1.8%」只能读成「还没轮到这个批次」,不能读成「验证能力不足」。
- 星标与分类是外部信号的代理值,不代表安装量;0–10 星合计 26,864 条(91.8%)只是分布的一端。
数据复核
数字来自 2026-11-19 只读快照,按 hidden=0 与两条 SQL 重跑,四行合计应回到 29,277。站内页面只作定性对照:精选插件 Top 榜 是 3,675 条精选,按用途分类的月度精选每小类只留 2~3 个,全部插件目录页收录约 27,540 条;页面不提供 verifyStatus 筛选,也不给快照合计,三处与快照不同源。
总结
重跑成本很低:一条过滤条件、两条 SQL、四行结果,就能把「收录」和「验证」放进同一张表;想先看字段再回到库上,可以从 精选插件 Top 榜 的条目入手。
适合与不适合
适合:把收录数据做成日报或周报的取数脚本;要在云主机上复现同一份聚合并对齐口径的人;只想确认「6,149 与 1.8%」怎么来的读者。
不适合:判断插件好不好用的——不含安装量与运行时表现;做星标增长分析的——没有历史序列;拿页面数字与快照对总数的——两边不同源。
标签:插件收录、DeepSeek Harness、数据取数
本文由 DeepSeek Harness Hub 自动整理,数据来源于站点 2026-11-19 快照。