GEO 研究黑盒的正确姿势:盯住行为,不要猜内部
在一次关于向量化与长上下文管理的对话里,我(王涛)问 GPT:你刚才这次检索,到底有没有做查询改写?做了几次?用了 BM25 还是向量检索?重排权重多少?最终送进模型的 prompt 长什么样?它一个都答不上来。如果连系统设计者都未必能解释单次结果的成因——模型版本、实验配置、索引状态、缓存、排序策略牵一发动全身——那 GEO 从业者再沉迷于“破解平台内部机制”就不只是徒劳,而是方向性错误。
黑盒不是待解之谜,是研究对象
GEO 和传统 SEO 最大的分野在这里:SEO 的底层是公开的爬虫逻辑和排名规则,算法再保密也有迹可循;AI 检索却是一个连执行者自己都无法回溯的黑盒。这个问题的落脚点不是“我们能不能打开盒子”,而是“我们不打开盒子,还能不能研究它”。
我的回答是:能。把研究对象从内部实现切换到可观测行为。我在搭自己的多平台 AI 采样器时,就是按这套思路来的——固定 50 题基准集,固定平台,固定提问方式,然后反复采样、统计、找稳定规律。不问“豆包内部为什么这么回答”,只问“在同样的输入下,它是不是稳定地表现出同一种倾向”。可稳定复现的行为规律,就是 GEO 能抓住的事实。
行为规律的优先级,比我预想的高得多
后来我把这套思路和 GEO 价值评级对照,发现“黑盒采样与归因”被列为最高优先级主题,六星。这个排名不是某个人的偏好,而是因为行为是整个 GEO 链条里唯一同时满足三个条件的东西:可观测、可重复、可对比。内部机制一个条件都不满足。
这句话直接改写了我对 AI 解释的态度。平台给出“因为……所以……”的机制说明时,以前我会记下来当事实;现在没有可复现的观测支撑,我一律标为假设。AI 自己解释它怎么检索、怎么排序,同样按传闻处理。传闻可以当线索,不能当结论。
可复现不等于全覆盖
必须说清楚边界。行为规律是统计意义上的,不是单次请求层面的。采样器可以看到某个问题在两个平台存在稳定的输出差异,但同一个平台换一个模型版本、换一天、换一个缓存状态,结果可能就变了。架构可知不代表单次结果可解释——这句话是双向的,既提醒 SEO 老手别迷信结构图,也提醒做采样的人:采样到的规律只对采样窗口内的条件成立。
平台本身也在快速变化。采样数据覆盖不了全平台全时段,AI 检索还在不断加入多模态、工具调用、深度推理这些新变量。每加入一个变量,之前的行为规律就要重新验证。所以这个研究对象是活的,不是点一次采样器就能一劳永逸的。
黑盒立场是我做过最省力又最硬核的判断
回头看,“研究对象是行为”这句话的价值不在于它是一个新观点,而在于它把所有 GEO 动作统一到了同一个认识论基础上。它带来了三个实际改变。
第一,知识库的措辞变得清醒了。凡是涉及平台内部机制的说法,不标“假设”就不允许入库。第二,给客户的 AI 品牌可见度报告只摆采样复现出来的事实——可比数据、稳定差异、可复现的倾向——而不是平台机制的故事。第三,GEO 优化动作从“猜平台想要什么”变成了“测平台对什么有反应”。我在做采样时踩过这个坑:试图通过 prompt 去“推”出平台内部逻辑,最后得到一大堆不可验证的猜测。现在我不推了,我只测——测出来的行为,才是 GEO 唯一可靠的依据。
这件事让我意识到,AI 黑盒对 GEO 不是障碍,反而是机会。正因为所有人都只看到盒子外面,谁先建立系统化的外部观测,谁就拿到了这个领域的第一手事实。
—— 王涛(Taomir)