作者:姚杨 | 专栏:阿杰的技术成长
周五晚上,阿杰 刷到一条新闻:某大模型又在权威评测里拿了满分,推理能力"超越人类专家"。他转发给老陈:「看看,AI 这智力,是不是已经没我们什么事了?」
老陈 回了一个字:「测过没?」
「评测表上不都写着吗?逻辑推理、数学、代码,全 S 级。」
「那些题,它大概率在训练数据里见过——你考它背过的题,它当然满分。」老陈 甩来一个链接,「这个擂台它没见过,你让它上去打一局,再告诉我它有多聪明。」
阿杰 问老陈 要来了这个项目的源码(https://github.com/smarty-kiki/guandan_challenge),在自己电脑上部署好,打开就是一桌牌。
一个掼蛋牌桌。四个座位,四个大模型。
一、把 AI 请上桌:它的"考场"第一次变了
阿杰 本来以为是什么复杂的东西,结果 30 秒就上手了:给四个座位填上模型 Key——南座 DeepSeek、东座 Kimi、北座 MiniMax、西座 StepFun,点开始,牌就发下来了。
这里没有标准答案。 掼蛋不是问答、不是选择题,是两副牌 108 张、四个人、对家组队的博弈——你永远不知道对家手里是什么,也不知道下家会怎么压制你。牌可以背规则(级牌 2 到 A、红心级牌是逢人配、双上连升三级),但每一局牌都是新的,没人能把"这一局该怎么打"背下来。
这正是老陈 要的:一个模型没背过题的考场。
「注意看,每个 AI 都是自己动手的。」老陈 在语音里说,「看牌、理牌、拆牌、出牌、过牌——它得自己决定怎么组牌、什么时候压制、什么时候隐忍。每一步都在桌面上摆着,不是黑箱。」
二、第一局:规则背得滚瓜烂熟,牌打得一塌糊涂
阿杰 让四家 AI 先自相残杀,他旁观。第一局就把他看笑了。
模型 A 开局就暴露了一个致命问题——它不算牌。 掼蛋打到中局,牌桌上出了几张 A、几张王、还剩几张大牌,老手心里都有本账。模型 A 出牌全靠"当前这一手",完全不管外面还剩什么。
「你看它,」老陈 说,「它脑子里全是『标准牌型』和『最优解』——但那是在信息完整的题里练出来的。牌桌上信息是不完整的,这题它没见过。」
更绝的是模型 B:打到关键局,它手里明明有拆开就能压制对家的牌型,却死守着一手"大牌"不动,被对家连续跑掉。它不是不想赢,是它的"策略"里根本没有"队友"这个概念——掼蛋是对家组队,南家和北家是一伙的,可它出牌时眼里只有自己。
「这就是『背答案』和『真理解』的区别,」老陈 补了一刀,「你能背下掼蛋的全部规则,甚至背下十套经典打法——但牌桌上每一秒都是新情况,没有现成答案可背。它得现场想。」
三、围观它的"思考":推理链在这里露馅
阿杰 发现牌桌上每个 AI 旁边都有个标识,点开能看到它完整的决策过程——它拿到一手牌,是怎么分析的、为什么这么出。
阿杰 越看越上头:这比看 AI 写代码有意思多了,因为代码有模板,牌没有。
他看到一个模型面对「拆不拆对子」纠结了整整几行推理——它的"思考"里在反复权衡牌型概率,可旁边显示的对家已经出完了一手牌,它压根没把已经打出的牌算进剩余牌堆。
「看明白了吗?」老陈 问。
「它是在『思考』,但它的思考建立在错误的假设上——它以为牌堆是静态的。它没学会在博弈中动态更新信息。」
「这就是为什么我说它是应试教育:它擅长在给定条件里推出结论,但不擅长在对手也在变的情况下做决策。后者才是真正的智力,而前者,很多时候只是检索。」
四、一晚上过去:有的越打越精,有的原地打转
阿杰 让这桌牌打了一晚上。第二天起来看战绩,他发现了最有意思的事:
有的模型会"长记性"。 它被同一种牌型坑过一次之后,后面几局明显换了打法——平台每局结束都会让 AI 自动复盘,把得失提炼成经验存下来,下一局它会"读经验"再上场。于是你能看到它一局局进化:被炸过一次,就知道留一手;被对家偷跑过,就知道盯紧。
有的模型则原地打转。 输了一晚上,打法几乎没变——不是它不想学,是它把"复盘"也当成了一道背过的题,总结出来的全是正确的废话:「本局我方表现欠佳,应加强配合」——听起来很有道理,下一局该怎么输还怎么输。
「你看出差距了吧,」老陈 说,「这跟背多少书没关系。真正的智能是能从一个陌生环境里学出规律,而不是把已知的规律背得更熟。 牌桌上的输赢,一晚上就能把模型的『学习能力』和『检索能力』分开。」
五、像看斗蛐蛐一样,看懂大模型的真实水平
阿杰 现在每天早上第一件事,就是打开这桌牌,看四家 AI 打几局。
「我以前看 AI 的能力,全是看榜单——考试分数、评测排名,那些数字让我以为它什么都行。现在看它打牌,我才真正理解了它的水平:它能背下人类几千年的知识,但面对一个需要临场推理、动态博弈的牌桌,它和刚学会规则的萌新差不多。」
「这不丢人,」老陈 说,「掼蛋本来就难——它考的是信息不完整下的决策,是人类棋牌里最接近真实世界的博弈。但正是因为它难、因为它陌生,它才是一面照妖镜。 你想知道一个模型是真聪明还是背答案,别问它考过的题,扔它上一张没见过的牌桌。」
「像看斗蛐蛐一样看它们打架,输赢、风格、会不会长记性,全在牌桌上摆着——比任何评测榜单都真实。」
阿杰 盯着屏幕里四个 AI 你来我往,若有所思:「那照这么说,AI 的能力评测,以后是不是都得加一桌牌?」
老陈 笑了:「加不加牌桌我不知道,但我知道——考它背过的题,你测不出智力;只有考它没背过的,你才看得见底牌。」
至于阿杰 后来往牌桌上加了自己的座位、跟四个模型轮流单挑、被虐了一晚上之后,怎么"驯"出一个专属于自己的牌神 Agent——那是另一个故事了。