换个模型,知识资产作废一半

简介: 本文探讨大模型更换带来的“知识迁移”困境:业务中积累的提示词、规则、格式等“喂法”高度依赖原模型,换模型后准确率骤降。EvoOntology实验揭示——知识库演化中57%是模型专属“餐具”(喂法),仅记录型资产(字段映射、探针证据、标准答案等)真正跨模型保值。核心结论:分清“生成物”与“记录物”,冻结事实、重调喂法、以标准答案为裁判,迁移即可控可验。

之前给客户做一个报告生成项目。测试环境用云厂商的大模型,效果不错,客户也认可;正式交付按要求换成客户集团私有化部署的模型,准确率掉了很多。

模型的更换,对于写代码的人,可能无感,甚至有时候是生产力提升——这个新出的模型实在夯,之前的都弱爆了!但是对于业务来说可能情况就相反了。过去两年给 AI 攒的业务知识:几千条数据字典,一条条核对出来的业务规则,调了几百遍才顺手的提示词。这些东西全是照着现在这个模型的脾气磨出来的。模型一换,还作数吗?
这个其实是两种不同的需求。写代码更多关注模型能力差距,谁强换谁,唯一需要考虑的是价格、成本。另一种是:项目里那套提示词、示范样例、输出格式的约定,全是照着一个模型的脾气磨了几个月的,搬到新模型上,这些调校能不能保持。但现实情况就是这样,同样一句指令,原来的模型懂,新的模型不懂。当时我们管这叫兼容性问题,靠重新调参硬磨了回来,磨到什么程度算恢复,其实也没有裁判,全凭人看着像。

后来读到人民大学 EvoOntology 项目(arXiv 2609.15779)的一组实验,才发现这不是我们项目特有的事故,是有数字的规律。而且实验回答了一个我们当时没顾上想的问题:项目里攒下的那些业务知识——报告怎么组织、数据口径怎么取、哪些数字该进哪张表——换模型的时候,哪些是真的作废了,哪些根本没动过?

上一篇文章里我核过这个项目的评测模块源码,谈的是它怎么让知识库自己长大;这篇只谈迁移——模型换了,长出来的东西还剩多少。


一、同一份业务,四个模型养出四份不一样的知识库

实验设计很干净。GPT 家两款、Claude 家两款,四个模型从同一份初始知识库出发,面对同一份企业数据,各自跑任务、各自积累,互不通信。若干轮之后,把四份知识库放在一起比。

长歪了,而且歪得很明显。两两比较各自沉淀下来的概念集合,重合度最高的一对只有 0.62。交叉使用也一律掉分:把 GPT 养的那本交给 Claude 用,成绩至少掉 6.6 个百分点,最惨的一档平均掉 10.9;每一列都是自己养的那份得分最高,没有例外。

有个细节容易被略过:两款 Claude 之间的重合度(0.55)比两款 GPT 之间(0.61)还低。同一家厂商的模型,互相之间也没养出多少默契。说明这个印记不在「厂商风格」这么粗的层面上,它长在具体模型的行为习惯里——它怎么查知识库、习惯什么粒度的回答、到什么时候觉得信息够了。指望「都选同一家」来躲开迁移成本的团队,这条路走不通。

直觉反应是:攒的东西随模型报废,攒了也白攒。先别急着下这个结论,得先搞清楚一件事——这四个模型各自改来改去的,改的到底是什么。


二、改来改去,改的大半是怎么喂

把四个模型演化中被接受的修改按内容拆开:改「知识怎么喂给模型」的占 57%——入口说明怎么写、查询接口按什么粒度返回、提示词怎么措辞。这一整套安排,下文简称喂法。改业务内容本身的占 34%;剩下 9% 动的是底层结构。

也就是说,超过一半的收益不是往库里补了新的业务知识,而是把知识的喂法调得越来越合这个模型的脾气。论文里有个例子:GPT-5.5 在演化中长出了一套常用查询片段的收藏,它发现存几段验证过的查询、下次直接拿来用,比自己每次现写顺手;Claude-Opus-4.8 完全没长这个,它长出来的是分档更细的入口说明。同一个业务,同一份数据,两个模型给自己配了两套不同的餐具。

餐具随模型作废,天经地义。麻烦的是账没这么干净——第一节里连概念的重合度都只有 0.62,概念总不能算餐具,那是知识本身。

乍看矛盾,拆开不是。概念重合度低,不必然说明两个模型对业务的理解有冲突,它们可能只是给相近的东西起了不同名字、切了不同粒度,论文作者自己也承认,标识符对不上不能判定语义不等价。但交叉使用实打实掉分,说明差别也不只是叫法:概念该切多细、挂在哪个上级概念底下、跟哪些字段映射打包在一起,这些选择都是被模型的行为一轮轮筛出来的。表达什么和怎么表达,在演化里是揉在一起长的,揉进去的那部分就是迁移成本。

所以第一节的实验真正说的是:不是知识作废了,是知识和喂法记在了同一个账本上,换模型时被一起扔掉了。想保住点什么,得先把账本拆成两本。


三、哪种知识不随模型作废

拆账的标准就一条:换一个模型,这条知识会不会变。

业务定义不会变。「收入」按回款算还是按开票算,是业务定的,跟模型无关。字段映射不会变。某个概念对应数据库里哪一列,这是数据库的事实。探针证据不会变。某一列的取值分布长什么样,是发真实查询核对过的,记录的是观测结果,不是谁的看法。人工核定过的标准答案也不会变。历史任务的对错,不随答题的人换人而改变。

这四样的共同点是,它们是对世界的记录,不是模型的生成。EvoOntology 有一条纪律,我在上一篇里说它最值得抄:每条进库的语义,必须由一次可执行的探针查询作凭证。判断某个字段可能是「收入」,不能只写一句「我认为这个字段像收入」,必须真发查询,看字段类型、看真实取值、看关联关系,核对通过才许写入,并且把这次观察一并存档。观测,不随观测者换人而改变。

这个区分在另一篇文章《向量库为什么回答不了「为什么」》里讲得最透:让模型解释一个决策,它给你的是照着结果圆出来的事后叙事,换个模型,叙事就换个样子;而在决策发生那一刻记录下来的证据,不随解释者改变。生成的东西随模型作废,记录的东西不会。

这不是纸上推演,有团队真的完整换过一遍模型。淘天商家财务团队把同一套知识库和决策函数先跑在 opus 上,后来模型换成 gpt5.5、glm5.2、qwen,平台整个换了一遍,真实需求的输出稳定性没有变。活下来的正是记录的那一半——红冲工单要取哪些证据、哪条路绝对不能走,这些判断写在本体和决策函数里,不写在哪个模型的提示词里。

这还能回答一个常见问题:AI 生成的知识文档算不算资产?大部分不算。自动总结出来、没人核对过的业务说明和字段描述是生成物,不等换模型就开始腐化。只有经过探针核对、留下观测凭证、或者人工核定过的那部分,才算完成了从生成到记录的转化。


四、标准答案是唯一中立的资产

记录那一半里,哪种最值钱?这决定了迁移那天手里有没有牌。

把知识库内容层的组件逐个屏掉、重跑同一批任务,账是这样的:去掉字段映射,掉 13.4 分;去掉探针证据,掉 8.7 分。两根最承重的墙,恰好都在记录那一半里。知识库最值钱的部分,正是最不怕模型换代的部分——这是整组实验里我认为最让人安心的结论。

但迁移那天真正决定成败的是第四样:标准答案,也就是验证任务集。原因在演化循环的工作机制里。它敢自动修改知识库,靠的是每次修改都要在同一批验证任务上、同参数同预算地跟旧版本成对比较,赢了才发布——上一篇我核过这道门控的实现,也核过拆掉它的代价:去掉门控,掉 11.2 分,整个系统退化成让模型自由改知识库。

验证任务不依赖任何一版知识库,也不依赖任何一个模型,它是整个系统里唯一中立的资产。迁移那天,知识库可以重长,喂法可以重调,只要标准答案还在,重长就是有裁判、有方向、会收敛的过程;标准答案丢了,迁移就退化成把所有东西凭感觉重调一遍,而且没有任何办法证明调完比原来好——开头报告生成项目里那场「磨到什么程度算恢复、全凭人看着像」的调参,就是这个状态。

拆出来的账本长这样:

image.png

账本对着实验算是算清了。但它管不管用,得拿一个真项目的账来对一对。


五、拿一个真项目的账本来对

我们建筑工程这边有一个本体数据平台,管着元素分类、空间分类和属性字典。它一直在开发基于大模型的语义匹配:设计师的模型里写「砼柱」,物料系统里叫「RC柱」,验收记录里是「结构柱」,让模型判断这些是不是同一个东西。喂法进了生产环境,就是这个样子——一堆照着某个模型的脾气调出来的判断逻辑。

拿账本逐项对。

业务语义已经有了。属性字典的表里躺着 name、definition、unit、data_type、value_limit,这就是业务定义和值域该有的样子。C30 混凝土是什么、强度值域多少,换任何模型都不会变。这部分可以直接入账,而且它已经是以数据库表的形式存在的,比大多数团队「写在文档里」的语义层硬得多。

喂法那本账也很清楚。匹配的提示词、候选项的组织方式、接口返回的粒度,都是照现在这个模型调的,换模型就得重调。这属于正常损耗,不用心疼。

真正的问题在中间地带。「结构柱=砼柱=RC柱」这类判断,现在既不在字典里,也不在任何表里,它活在模型的隐式理解里——每次匹配成功,这个判断就随会话消失了,下次遇到同样的写法再判一遍。按第三节那条标准,这是最典型的生成物:干着记录该干的活,却没留下任何记录。模型明天停服,这些判断全部清零,而且没人说得清清零的到底是哪些。

补法也是照账本来的。每次匹配成功,把表面写法、归一到的概念、来源样本、置信度、有没有人工复核过,存成一条证据;等价关系从反复出现的证据里定期提炼,落进数据库,别再让模型每次现场重判;历史项目的验收台账、算量表这些人工核定过的结果,收进标准答案集。这三样补齐,平台就有了完整的语义和裁判。

到那天再换匹配模型,迁移就是照流程走:字典和证据表冻结不动,旧的提示词和接口配置整份归档(别删,回滚要用,它还是研究「不同模型要不同喂法」的第一手样本),让新模型在真实任务上重新调出它的匹配策略,然后拿历史台账回放验收——新策略算出来的结果跟当年人工核定的对得上、确实更好,才发布。重长也不是从零开始,EvoOntology 的收敛曲线给过参照:概念数从 61 长到 80 就不怎么长了,语义缺口的大头早被已有知识填掉,新模型要长的主要是喂法,收敛得快。这么走下来,迁移从一场事故演练变成一次普通发版。

这里还有个转机。喂法原本最让人沮丧的地方是「随模型作废」,但证据一旦入账,它反而成了语义的原料产地——每一次匹配都在沉淀证据,每一次人工复核都在加厚标准答案集。两者之间不是一堵墙,是一条能修通的转化通道。修不修,取决于第一天记账的时候有没有给证据留位置。


六、多模型并行,和行业标准的形态

迁移是一次性事件,更日常的状态是多个模型同时在跑:不同任务路由到不同模型,或者新旧模型灰度并行。这时候账怎么记?

三条路线摆在一起。每个模型养一份完整的知识库,性能最优——自己养的永远最高——代价是 N 份运维,而且业务定义被复制了 N 份,哪天口径变更,N 份要同步改。所有模型共用一份,运维最省,代价是实测每个模型至少损失 6.6 分。第三条:语义基础共享一份,喂法每个模型各配一套。

我取第三条。理由不是它居中,而是前两条各违反了资产的一半本性:定义和证据本来就不随模型变,就该只有一份;接口粒度本来就模型相关,就该各配各的。

把这个结论再放大一层,就是跨组织行业标准的唯一现实形态:只统一事实的格式,放开事实的用法。行业标准能要求的是每条语义必须带来源、带凭证、带核定记录;不能要求的是所有人用同一种方式建模、组织、暴露——迁移实验已经证明连一个模型家族内部都对不齐,跨组织更不可能。


七、发布之前,三件事说清楚

0.62 是个代理指标,别当精确刻度用。概念标识符的重合度判定不了语义等价,重合度低未必等于知识冲突;但交叉使用的掉分是硬证据,喂法的差异真实存在、真实花钱。我的读法是:知识资产完全可移植被证伪了,完全不可共享没有被证明。哪些能共享,拿第三节那句话逐项过,不能打包下结论。

实验跑在数据智能体基准上,不是真实企业。权限控制、多人修改、规则冲突、审计、长期版本治理,都不在范围内。第五节给建筑平台开的方子是在论文机制上做的工程外推,落地时每一步都会撞上论文没碰的组织问题——人工核定谁来做、按什么节奏做、核错了谁负责,这些比技术难。

「随模型作废」不能当成放弃治理喂法的借口。它会作废,但作废前的每一天都在生产环境里服役,它的每次修改同样要过门控、要能回滚——EvoOntology 对喂法的编辑用的是和业务内容同一套配对验证,没有因为这层是模型相关的就放任自由改。会过期的资产也是资产,过期之前它得是对的。


结语

这篇文章说到底是一个记账原则:知识资产分两种,记录下来的和生成出来的。探针观测、人工核定、标准答案是记录,跟着业务走;调好的提示词、演化出的接口形态是生成,跟着模型走。资产的保值率,等于其中记录的比例。

换模型不是重建,是重长。冻结事实,归档旧的那套喂法,让新模型在标准答案的裁判下重新长出它自己的喂法,迁移就不是一件心里没底的事,而是一件有流程、有验收、能做完的事。

好在最值钱的资产恰好最保值。两根最承重的墙是字段映射和探针证据,都在业务语义里;唯一的裁判是标准答案,换几代模型它都坐在那里。往证据和标准答案里投的每一分钱,都不会给下一款模型陪葬。

模型是公用的,一代代地换;记录是自己的,一寸寸地攒。换模型那天,账本上一眼看得清哪些带得走。语义基础设施做到这一步,才算数。

目录
相关文章
|
6天前
|
云安全 人工智能 运维
当攻击全面Agent化,你的安全防御能否跟上AI Speed?
多起客户侧AK泄露事件应急的真实观察
1290 6
|
4天前
|
人工智能 API 开发工具
DeepSeek Harness 神插件:白嫖 13 家大厂模型
`dsh-our-free-model` 是 DeepSeek Harness 神级插件:零配置、零API Key、零账号,聚合13家大厂免费模型(含DeepSeek V4.1 Flash、Kimi K3等),支持本地网关、用量看板与自动降级,真正实现“白嫖即用”。
|
9天前
|
存储 人工智能 安全
千问办公官网入口网页版登录:qwenwork.cn 注册送2000积分、登录送100积分
阿里云千问办公(QwenWork)是AI智能工作平台,支持一句话生成PPT、表格、网页、视频及数据分析。个人免费版送2000积分+每日登录赠100分,含1GB存储、5个发布页;企业版198元/席/月起。阿里千问办公QwenWork官网:https://t.aliyun.com/U/0VCTGt 阿里AI工作平台,一句话完成数据分析、PPT 生成、视频剪辑、网页搭建等复杂任务
|
29天前
|
人工智能 JSON API
全网刷屏的 Jev 模型正式开放!一手实战测评 + 保姆级教程
全网爆火的 Jev 模型是什么?有什么用?怎么使用?怎么接入 AI 编程工具?效果真的好么?傻子可懂的 Jev 保姆级实战教程 + 项目实战测评来啦
9868 33
|
15天前
|
存储 人工智能 并行计算
大模型本地部署终端选型方法论:以 Qwen3.8-27B 为例的四档分层完整流程
本文提出一套大模型本地部署终端选型方法论:定约束、定档位、定框架、定参数四步决策法,配合入门、主力、质量、无损四档分层模型。以 Qwen3.8-27B 实测数据为例,逐环节解读显存、带宽、存储、散热、系统、预算等要素,给出面向不同预算的优选方案、决策自查清单与市场观察框架。文末前瞻 AI 笔记本的 CPU+GPU 与统一内存两条路线,论证四步决策法在新品类上的延续性。
|
6天前
|
Web App开发 人工智能 JavaScript
太猛了,一个月干到15W+,给大家推荐一个最近爆火的开源逆向工具:REA
REA(Reverse Engineer Anything)是近期爆火的开源AI逆向工具,4月发布,1个月内斩获15万+ Star。它让AI Agent无需源码即可分析二进制、APK、JS/Electron、HAR包等17类目标,自动反编译、生成可运行代码,并强制返回带证据与局限的结论。全本地执行,MIT协议,支持Hopper/Ghidra/IDA等引擎,一行命令即可上手。
694 2
太猛了,一个月干到15W+,给大家推荐一个最近爆火的开源逆向工具:REA
|
4天前
|
人工智能 开发者
Qoder CN 大使计划正式开启|无限创造,等你一起
全年免费积分、优先内测、活动支持与更多共创机会,邀请用 Qoder 把想法变成现实的你。
465 0
|
14天前
|
人工智能 JSON 自然语言处理
2026 年 Jev 决策模型深度拆解:原理解读、实战测评与保姆级落地教程
有一款特殊AI模型在开发者圈子刷屏,它摒弃传统大模型擅长的对话聊天能力,专注做高速结构化决策,它就是TypeSafe AI推出的Jev模型。该模型由ChatGPT共同发明人Diogo Almeida主导研发,定位为**System One Model(系统一模型)**,对标人类大脑快速直觉判断的思维模式,在响应延迟、调用成本、结构化输出稳定性上相比传统生成式大模型有着巨大差异。本文会完整拆解Jev底层原理、三大核心原语能力、适用业务场景,同时提供可直接运行的curl、Python代码示例,并且结合多组实测数据,客观分析模型优势与能力边界,帮助普通开发者和AI应用从业者快速上手落地。
992 1