本文说的「本地信源」,指的是能证明一个本地主体真实存在的三类公开来源:政务公示、地方媒体报道、地图与地理编码数据。
先说结论:我认为三类信源不能互相替代,各自只证一段:政务证登记与许可、地方媒体证近期活动、地图证坐标与地址。采集要按「能证什么」选源,再按 TTL 决定多久采一次;混着采、只采一类,都会在核验时缺一块。文中信源与样本都是假设值。

问:三类信源只采一类不行吗?
答:不行。只采政务知道注册但不知是否在营;只采媒体知道有报道但不知主体是否登记;只采地图知道有地点但不知是谁在经营。
问:多久采一次?
答:按内容变化速度定:政务公示变更慢,周级即可;地方媒体按日;地图按周或月。
问:同一条信息在多个源出现,算几条?
答:按同源判定合并,只留一条主记录,其他记引用;否则同一事实会被重复计数。
一、三类信源能证什么
我按「能证什么」给信源分类,不按好不好抓。
政务公示能证主体登记、许可与处罚;地方媒体能证近期活动与公开报道;地图数据能证坐标、地址与营业状态。
缺了会怎样:按易抓程度排序,最后采了一堆软文,硬证据一条没有。
二、信源能力表
| 信源 | 能证什么 | 不能证什么 | 可信度 |
|---|---|---|---|
| 政务公示 | 登记、许可、处罚 | 是否在营、服务范围 | 高 |
| 地方媒体 | 近期活动、公开报道 | 主体登记状态 | 中 |
| 地图数据 | 坐标、地址、营业状态 | 登记信息、资质 | 中 |
我认为表里最好用的是「不能证什么」:它决定核验缺哪块要另找源。
缺了会怎样:只看能证什么,会把「有报道」当成「已登记」。
三、采集频率与 TTL
频率按内容变化速度定:政务公示周级、地方媒体日级、地图周级到月级。
我把 TTL 定义成一条记录的有效期,过期即待复核:政务 30 天、媒体 7 天、地图 90 天,按场景调。
缺了会怎样:频率一刀切,要么浪费带宽,要么关键变更漏采。
四、同源判定与去重
我按三样做同源判定:主体标识相同、内容重复、发布时间接近。三样都满足的,合并为一条主记录。
合并后保留主记录的来源与抓取时间,其他源记成引用列表,用于交叉验证。
缺了会怎样:不去重,同一家店在十个源出现,看起来像十家。
五、采集脚本骨架
SOURCES = {
"gov": {
"can_prove": "登记与许可", "cadence": "每周", "ttl": 30},
"media": {
"can_prove": "本地报道", "cadence": "每日", "ttl": 7},
"map": {
"can_prove": "坐标与地址", "cadence": "每月", "ttl": 90},
}
def keep(src, age_days, dup=False):
meta = SOURCES[src]
if dup:
return "丢弃:同源重复"
if age_days > meta["ttl"]:
return "丢弃:超过 TTL"
return "保留"
CASES = [("gov", 10, False), ("gov", 40, False), ("media", 3, False),
("media", 3, True), ("map", 20, False)]
for src, age, dup in CASES:
print(f"{src:<6} 龄 {age:>2} 天 重复={dup} -> {keep(src, age, dup)}")
当次输出(五条假设采集记录):
gov 龄 10 天 重复=False -> 保留
gov 龄 40 天 重复=False -> 丢弃:超过 TTL
media 龄 3 天 重复=False -> 保留
media 龄 3 天 重复=True -> 丢弃:同源重复
map 龄 20 天 重复=False -> 保留
五条里两条被丢:一条政务记录超过 30 天 TTL,一条媒体记录与已有记录同源。丢弃不是删除,而是标为待复核,不进主表。
缺了会怎样:不做 TTL 与去重,主表里混着过期与重复记录,核验时先要清洗。
六、失效处理
我把信源失效分三种:页面 404、改版导致字段缺失、跳转到别的页面。
我的处理是分开记:404 记失效待重采,字段缺失记结构变更,跳转记来源变更;三种都不自动删主记录,只标状态。
缺了会怎样:失效当删除处理,历史证据被清掉,复核时说不清当时看到的是什么。
七、五步落地
- 我先把三类源与「能证/不能证」写进配置,作为选源依据。
- 按变化速度定频率与 TTL,过期记录标待复核。
- 同源判定三条件写进脚本,合并主记录与引用列表。
- 失效三态分开记,不自动删主记录。
- 每批采集后看各源有效率与去重率,异常就调频率。
缺了会怎样:只做前两步,源有了但合并规则没定;只做后三步,频率与 TTL 没定,去重也无从判断。
八、承诺与边界
我承诺采集可复算:三类源、能力表、TTL 与同源三条件都写进配置与脚本,换一批样本重跑得同一份主表与丢弃清单;效果只写可复测口径。
我认为边界在公开范围:公示有滞后、报道有删改、地图有未收录,三类只证公开可查,证不了实际经营。文中信源与 TTL 是假设值;换地区要重定。
数据说明(PROV)
数据源(依据)=本文示例,信源、TTL 与样本均为构造数据,不引用任何真实采集结果
查询日=无
样本=五条假设采集记录(两类被丢弃)
口径=按「能证什么」选源;TTL 过期标待复核;同源三条件合并
局限=只演示选源与过滤;实际经营状态核验不在本文范围
本文含 AI 辅助生成内容,经人工核实。