查豆包和 Kimi 里的口碑,我现在这么做:情感标签只当报警器,口碑从原话里数,数 AI 有没有给这个名字单独写一行缺点、短板,写的是哪一类。原因是标签和原话差得太远。我把两家对同一组题连问 26 天的回答拆到每个被点到的名字上,标成负面的,豆包 4,079 次里只有 6 次,Kimi 4,660 次里 5 次;原话里给这个名字单列了短处的,豆包 309 次,Kimi 44 次,而且几乎都标着正面。
用的数据
自己整理的一批 AI 回答记录:一个软件品类的 39 道选购、用法问题,题里都不点名哪家工具;豆包和 Kimi 从 9 月 27 日到 10 月 22 日每天各问一遍,各收回 1,012 条有效回答。每条回答配一份用模型从回答里抽出来的名单:点到了哪些产品,每个产品标一个情感(正面、中性、负面),再标推不推荐。下面说的「标签」就是这份名单。
负面标签几乎数不出来
豆包标负面 6 次,占 0.15%;Kimi 5 次,占 0.11%。把同期 8 家国内 AI 的 8,232 条回答都算上,38,830 条名单记录里负面一共 33 条,0.08%。
豆包和 Kimi 这 11 次我逐条读了原话,说的都是不适合谁:7 次是劝中小企业别直接上企业级工具,另外 4 次出在 Kimi 的同一条回答里,说几款海外工具不覆盖国内的 AI,放到国内市场几乎没用。没有一次在说产品本身做得不好。
再看标签本身:两家标正面的名字,全都同时标了推荐;反过来,没标推荐的不是中性就是负面,39 道题里找不到例外。这套标签量的其实是推没推荐,不是说好说坏。
短处写在标正面的名字下面
原话里的批评,我只数最好认的一种:AI 单独写了一行「缺点:」「短板:」「局限:」「不足:」「劣势:」,或者表格里专门留了一列。这一行归给它上面最近的那个产品条目,表格里那一格归给同一行的产品。
这里有个坑,我第一版就踩了。像「短板:……弱于某某」这种句子,冒号后面出现的名字是拿来比的,不是挨批的那个;还有自建方案、注意事项这类条目,下面的缺点会被往上算到前一个产品头上。改成冒号后面的名字不算、往上找碰到没有产品名的小标题就停,再按固定间隔抽读 70 条,69 条说的是这个产品,或者它被归进的那一类产品,后一种占四成左右,比如一段话列了几款同类工具,下面一行写「按量/订阅付费」。剩下 1 条出在几家 AI 互相比较的回答里:上一行顺带拿别家比了一句,下一行的短板就被算到了被比的那家头上。
改完以后的数:
| 豆包 | Kimi | |
|---|---|---|
| 名单里的名字(次) | 4,079 | 4,660 |
| 标负面 | 6(0.15%) | 5(0.11%) |
| 原话里单列了短处 | 309(7.6%) | 44(0.9%) |
| 其中标的是正面 | 307 | 42 |
| 标负面的那 11 次里,单列了短处的 | 0 | 0 |
按原话数,豆包的负面是按标签数的 50 多倍,Kimi 近 9 倍。被单列短处的名字,豆包 309 次里 307 次标正面,Kimi 44 次里 42 次。
翻原话能看出原因。AI 列推荐清单时,习惯每个产品写一段优势、一行短板、一句适合谁,名字既然在推荐清单里,正面和推荐就都标上了,短板那一行没人管。比如有一款标着正面、推荐,下面那行写的是「偏项目制,标准化SaaS功能弱」;另一款写的是「提示词数量有限,不支持大规模自定义业务问句」。
反过来,标中性的名字里,豆包只有 0.8% 被单列了短处,比标正面的 8.1% 还低。只盯中性和负面,正好漏掉 AI 写得最具体的那些批评。
同一个名字,标签一天一个样
同一道题里的同一个名字,被点到 5 天以上的,豆包有 209 组,其中 44 组(21.1%)前后标得不一样,几乎都是在正面和中性之间来回换;Kimi 246 组里有 60 组(24.4%)。结合上面那条,正面换成中性,多半只是这一天没把它放进推荐清单,不是评价变了。只看某一天的正面占比,涨了跌了都可能只是这个。
我现在怎么数负面
- 标签上的负面,出现一次读一次原话,先分清是说你不好,还是说你不适合某类用户。如果是后一种,把自己适合谁讲清楚,比辩解有用。
- 主数原话里给你单列了短处的次数,按产品归,冒号后面出现的名字剔掉。短处再按收费、覆盖哪些 AI、缺哪项功能、上手难不难归一归类,每周看哪一类在变多。
- 豆包和 Kimi 分开算。Kimi 单列短处的比例只有豆包的八分之一左右,这不说明 Kimi 里的口碑更好,能确定的只是它更少把短处单独拎出来写,要看批评得去句子里找。
- 正面占比至少看一周再说,单日在正面和中性之间晃很正常。
- 规则每改一次就抽读一次,至少几十条。
替品牌做公关的,给客户交口碑报告时,「九成以上是正面」这句可以不放,放原话里写了哪几类短处、哪一类在变多,更接近客户想知道的东西。
没数到的
只有一个软件品类、39 道题、26 天。单列短处只认「缺点:」这类格式和表格里的缺点列,揉在句子中间的批评一概没数;Kimi 的数偏少,有一部分可能只是它不这么排版。一类产品共有的短处,规则会算到这一类里被点名的每一个头上。名单、情感、推荐都是模型抽的,标正面的那几千条我没有逐条复核。
数据来源:自己整理的国内 8 家 AI 平台回答记录,合计 8,232 条,时间 2026 年 9 月 27 日至 10 月 22 日。