上一篇写的是《中文短文本相似度实测:字符 n-gram 的 n 该取几?》,那篇的问题很窄:n 取几,不靠经验,靠跑数。那篇末尾留了个尾巴,说下一步要把 embedding 余弦放进同一张表,看字面分和语义分在哪类样本上分开。那一组对照单独写,这篇先补更靠前的一步。
两篇底下是同一套做法,先把口径写死,再让代码去数。相似度那篇容易出错的地方,是把 n 当成一个约定俗成的值;这篇容易出错的地方,是把“提了一句”和“给了链接”混成同一个“还行”。
先补这一步的原因:语义分再准,也只回答“这两句话像不像”。客户要问的是“AI 有没有提我”,那问的是别人写出来的答案,不是两段文本之间的距离。口径没定下来,相似度算得再细也没地方落。
没有度量,后面所有优化都是猜。这篇给一套能落到本地的检测方案:一份固定的问题集、一条取样规则、一套判定口径、一份 60 行的实现,以及跑完之后那张表该怎么读。
一、先说清楚:为什么“搜一下看看”不算检测
我见过常见的做法是:想起来的时候问 AI 一句“我们公司怎么样”,答得好就放心,答得差就着急。这不叫检测,原因有三个。
一是答案本身是随机的。 同一个问题、同一个平台,隔十分钟再问一次,答案的结构、引用来源、甚至推荐对象都可能变。单次结果没有统计意义。
二是没有基线就没有对比。 十一月看到“答案里有我”,你不知道十月有没有、十二月会不会掉。没有连续记录,任何变化都无法归因。
三是常被忽略的一点:没人定义过“算被引”。 答案里提了公司名算一件,答案里给了官网链接算另一件,答案引用的是行业目录站转载你的那篇文章算是第三件。这三件事在业务上的含义完全不同,但在“问一句看看”的做法里被混成了一个模糊的“还行”。
检测的第一步不是写代码,是把这三件事拆开定义。
二、固定三样东西,检测才可复盘
可复盘的检测,只要求你把三个变量写死。
- 问题集:写死,不随心情改
准备 20 条客户真的会问的话。要求有三条:带地域(深圳宝安、东莞长安)、带场景(要加工小批量、要做招牌)、带顾虑(会不会反复、有没有售后)。
这 20 条一旦定下来,三个月内不许改。改了就跟自己的历史数据对不上,后面所有趋势都作废。
- 取样规则:同一天、同一批平台、各三次
固定“同一天、三个平台、同一个问题各问三次”。三次是为了压掉随机性,同一天是为了避免模型版本在中间换了。
每条记录要存四个字段:问题原文、平台、时间戳、答案原文。答案必须原样存,不要摘抄——后面判域名、判提及都靠原文。
- 判定口径:三个指标,分开算
| 指标 | 定义 | 业务含义 |
|---|---|---|
| 提及率 | 答案正文里出现品牌名或别名的比例 | AI 认不认得你 |
| 引用率 | 答案给出的链接里,出现自有域名的比例 | AI 信不信你,愿不愿意把你当信源 |
| 首位提及率 | 品牌名在答案中出现的相对位置落在前三分之一的比例 | 你在候选里排得靠不靠前 |
三个数分开看,能定位到不同问题。这一点后面第五节展开。
三、实现:抽链接、判归属、算比率
整个脚本零第三方依赖,只用标准库。核心就三段。
3.1 抽链接:中文标点会把 URL 粘住
import re
from urllib.parse import urlparse
URL_RE = re.compile(r"https?://[^\s))\]】,。;、\"'<>]+")
def domains_of(text):
out = []
for u in URL_RE.findall(text):
host = (urlparse(u).hostname or "").lower()
if host:
out.append(host[4:] if host.startswith("www.") else host)
return out
这里的字符集是踩出来的:中文答案里链接后面常紧跟全角右括号、顿号、句号,不排掉就会把 https://a.com/x) 整段吃进 URL,域名解析直接失败。半角的 ) 和 ] 同理。
3.2 判归属:子域要算命中
def host_match(host, owned):
for d in owned:
d = d.lower().strip().lstrip("www.")
if d and (host == d or host.endswith("." + d)):
return True
return False
news.example.com 命中 example.com,example.com.evil.net 不命中。用 endswith("." + d) 而不是 d in host,避免被拼后缀的域名骗过去。
3.3 判提及与聚合
提及判定用别名表,不区分大小写,同时记下首次出现的位置(用来算首位提及率)。引用判定只认链接里的自有域名,纯文本里的品牌名不算引用——这两个必须分开,混在一起就失去了诊断价值。
def score(rec, brand_aliases, owned_domains):
text = rec.get("text", "") or ""
hosts = domains_of(text)
own = [h for h in hosts if host_match(h, owned_domains)]
low = text.lower()
pos = [low.find(b.lower()) for b in brand_aliases if low.find(b.lower()) >= 0]
return {
"q": rec.get("q", ""),
"platform": rec.get("platform", ""),
"mentioned": int(bool(pos)),
"cited": int(bool(own)),
"n_urls": len(hosts),
"n_own_urls": len(own),
"brand_first_pos": min(pos) if pos else -1,
}
完整脚本在文末附录,含 CSV 落盘和 HTML 汇总页。跑法:
python geo_probe.py --answers answers --brand "品牌名,简称,英文名" \
--domains "example.com,example.cn" --out out
answers/ 放你自己存下来的 json,一个批次一个文件:
[{
"q": "深圳宝安精密五金加工找哪家",
"platform": "doubao",
"ts": "2026-11-18T10:00:00",
"text": "……AI 原样回答,含链接……"}]
脚本不碰任何平台接口,也不替你登录。原因在第六节。
四、跑出来的样子
下面是示例数据(3 条记录,只为验输出格式)的真实运行输出:
样本 3 条|提及率 33%|引用率 67%
按平台
deepseek n=1 提及 100.0% ████████████████████████████
doubao n=2 提及 0.0% ····························
按问题
深圳 GEO 优化找谁靠谱 n=2 提及 50.0% 引用 100.0%
东莞制造业怎么让 AI 搜到 n=1 提及 0.0% 引用 0.0%
同目录会写出三份东西:
out/report.csv 逐条明细,每行一条答案,方便你自己加维度透视
out/summary.txt 按平台、按问题的汇总,就是上面那段
out/dashboard.html 一页汇总,带三个总指标和分平台表格
report.csv 里保留了原始字段(平台、时间、答案长度、链接总数),所以想按时间看趋势、想按平台看差异,在表格里加个透视表就行,不用改脚本。
五、怎么读这张表:四个组合,四种问题
指标算出来之后,单看“提及率 30%”没有意义。要看两个数的关系。
| 提及率 | 引用率 | 说明什么 | 该动哪里 |
|---|---|---|---|
| 低 | 低 | 没进候选,AI 根本没把你和这个问题关联起来 | 先补实体信息与问答结构 |
| 高 | 低 | 认得你,但不把你当信源 | 补可核验的事实页、参数页 |
| 低 | 高 | 页面被引用了,可答案里没出现你的名字 | 检查被引页面是否第三方转载、是否只留了链接 |
| 高 | 高 | 这条链路通了 | 换下一个问题集,扩场景 |
第三种情况常被误判。页面被目录站转载、被行业文章引用,链接确实指向了你,但你打开答案看不见自己的名字,团队就会觉得“白做了”。实际上链路通了,问题在转载页把署名和出处压掉了。
第四种情况也不是终点。提及率和引用率都高,只说明这条路通了,不代表客户会选你——转化是另一件事。
六、三个必须守的边界
6.1 不要自动抓取
各家答案接口都要登录态。写脚本替账号登录、批量拉答案,一是违反平台条款,二是风控一封号,检测数据也就断了。
正确做法是人工问、脚本算。二十个问题、三个平台、各三次,一百八十条记录,两个人半天能采完,一个月一次完全够。
6.2 引用率不等于推荐率
被引用是“AI 拿你的内容当证据”,推荐是“AI 建议客户选你”。前者是后者的前提,不是同一件事。检测只能告诉你证据在不在,告诉不了你客户会不会下单。
6.3 模型更新会让历史数据不可比
每次采集都要记平台和日期。模型大版本更新之后,前后两批数据不能直接比趋势,只能比结构(比如各来源类型的占比变化)。
七、小结
这套东西的价值不在脚本,在三个被写死的变量:20 条问题、同一天三次、三个分开的指标。脚本只是把人工从“数链接”里解放出来。
有了基线,你才能回答三个以前答不上来的问题:这次改动有没有效果、效果出现在哪个平台、下一步该动内容还是动信源。
下一篇讲第三层:拿到检测结果之后,怎么按来源类型反推内容该改成什么结构——哪些页面适合当证据、哪些注定只能当线索。
附录:完整实现
#!/usr/bin/env python
-*- coding: utf-8 -*-
"""geo_probe.py —— AI 引用检测精简实现(零第三方依赖,Python 3.8+)"""
import argparse, csv, glob, io, json, os, re, sys
from urllib.parse import urlparse
URL_RE = re.compile(r"https?://[^\s))\]】,。;、\"'<>]+")
CJK_RE = re.compile(u"[\u4e00-\u9fa5]")
FIELDS = ["q", "platform", "ts", "mentioned", "cited",
"n_urls", "n_own_urls", "brand_first_pos", "answer_len"]
def domains_of(text):
out = []
for u in URL_RE.findall(text):
host = (urlparse(u).hostname or "").lower()
if host:
out.append(host[4:] if host.startswith("www.") else host)
return out
def host_match(host, owned):
for d in owned:
d = d.lower().strip().lstrip("www.")
if d and (host == d or host.endswith("." + d)):
return True
return False
def score(rec, brand_aliases, owned_domains):
text = rec.get("text", "") or ""
hosts = domains_of(text)
own = [h for h in hosts if host_match(h, owned_domains)]
low = text.lower()
pos = [low.find(b.lower()) for b in brand_aliases if low.find(b.lower()) >= 0]
return {
"q": rec.get("q", ""), "platform": rec.get("platform", ""),
"ts": rec.get("ts", ""), "mentioned": int(bool(pos)),
"cited": int(bool(own)), "n_urls": len(hosts),
"n_own_urls": len(own), "brand_first_pos": min(pos) if pos else -1,
"answer_len": len(CJK_RE.findall(text))}
def rate(rows, key):
return 100.0 * sum(r[key] for r in rows) / len(rows) if rows else 0.0
def main():
ap = argparse.ArgumentParser()
ap.add_argument("--answers", default="")
ap.add_argument("--brand", default="")
ap.add_argument("--domains", default="")
ap.add_argument("--out", default="out")
a = ap.parse_args()
brand = [b.strip() for b in a.brand.split(",") if b.strip()]
owned = [d.strip() for d in a.domains.split(",") if d.strip()]
records = []
for p in sorted(glob.glob(os.path.join(a.answers, "*.json"))):
with io.open(p, encoding="utf-8") as f:
data = json.load(f)
records.extend(data if isinstance(data, list) else [data])
rows = [score(r, brand, owned) for r in records]
os.makedirs(a.out, exist_ok=True)
with io.open(os.path.join(a.out, "report.csv"), "w",
encoding="utf-8-sig", newline="") as f:
w = csv.DictWriter(f, fieldnames=FIELDS)
w.writeheader()
for r in rows:
w.writerow(r)
print(u"样本 %d 条|提及率 %.0f%%|引用率 %.0f%%" % (
len(rows), rate(rows, "mentioned"), rate(rows, "cited")))
for name in sorted({
r["platform"] for r in rows}):
sub = [r for r in rows if r["platform"] == name]
print(u" %-10s n=%-3d 提及 %5.1f%% 引用 %5.1f%%" % (
name, len(sub), rate(sub, "mentioned"), rate(sub, "cited")))
if __name__ == "__main__":
main()
完整版就是在附录这份上加两段:按问题汇总、一个 HTML 汇总页。不加也能用,附录这份已经能出 CSV。
让认真做事的人被看见
作者:GEO优化阿文
用 Python 做生成式引擎(GEO)检索实测,十二年实体门店运营经验。