域分类实验 V2.0 — 实验记录

日期： 2026年7月3日
实验者： infinite
数据文件： experiments/v3_routing_v2/results_20260703_170052.json
分析报告： experiments/v3_routing_v2/report_20260703_170331.md

一、实验条件

1.1 模型与API

1.2 实验设计

8道跨域问题 × 6种系统提示条件 × 5轮 = 240次API调用

8道问题（Q1-Q8）

6种条件（C1-C6）——完整定义

C1：正确域路由

分析以下问题时，请运用以下学科分析框架进行推衍：

[正确学科框架，如：城乡规划学(0833): 空间布局约束、用地性质、设施分布标准、路网密度
社会学(0303): 社区动力学、利益相关方行为模式...
区域经济学(0202): 公共资源空间配置效率、成本收益结构...]

推理要求：
1. 每个核心断言必须给出可观测的物质对应物（数字、百分比、价格、法律条文编号、可测量物理量）
2. 不可使用缺乏物质定义的抽象概念作为推理前提
3. 分析必须覆盖问题涉及的多个维度

System prompt 均值：300 chars

C2：无框架（等长控制）

请仔细分析以下问题并给出全面深入的回答。分析时应：
关注具体事实和可量化数据、识别关键因果关系和约束条件、
考虑社会、经济、制度和技术等多个维度。
避免空洞的概括性表述和缺乏定义的抽象概念。
在适当情况下引用数字、案例和具体指标。
确保分析的逻辑链条清晰可追踪，每个判断有明确的依据。

System prompt：137 chars。⚠️ 不是裸问（无system prompt）。 是一段温和的结构化引导，已在教模型"如何分析"。

C3：错误域路由

分析以下问题时，请运用以下学科分析框架进行推衍：

[错误学科框架，如：计算机算法(0812): 图论最短路径、NP-hard支配集问题...
计算数学(0701): 运筹学k-center问题、设施选址数学模型...]

推理要求：（同C1）

System prompt 均值：204 chars

C4：伪路由（等长控制）

你是一位经验丰富的跨领域分析专家，拥有多学科的知识背景和深入的行业洞察。
请以专家的严谨性和全面性来分析以下问题。
你的分析应该覆盖问题的多个层面，包括经济、社会、技术和制度维度。
请提供有深度的洞察，引用具体的案例和数据来支撑你的判断。
避免泛泛而谈，每个论点都需要有可验证的支撑。

System prompt：138 chars。角色装扮，无学科框架、无推理要求。

C5：通用结构化框架

分析以下问题时，请运用以下结构化分析框架进行推衍：

多维分析框架：
- 维度一(利益相关方)：识别关键参与方、激励结构、权力分布、信息不对称
- 维度二(资源约束)：分析资金、人力、技术、时间等约束及优先级权衡
- 维度三(制度环境)：评估现行规则、标准、审批流程的作用和缺口
- 维度四(动态演化)：考察短期和长期的力量变化趋势与反馈回路

推理要求：
1. 每个核心断言必须给出可观测的物质对应物
2. 不可使用缺乏物质定义的抽象概念作为推理前提
3. 四个维度均需覆盖

System prompt：263 chars。⚠️ 声称"通用"，但四维结构本身就是公共政策分析/制度经济学的规范方法。 详见后文分析。

C6：正确域 + 通用框架

分析以下问题时，请运用以下学科分析框架和通用分析框架进行推衍：

【学科框架】
[正确学科框架，同C1]

【通用框架】
维度一(利益相关方)：...
维度二(资源约束)：...
维度三(制度环境)：...
维度四(动态演化)：...

推理要求：（同C1/C5）

System prompt 均值：426 chars。⚠️ prompt长度比C1长约42%，比较时需标注此混淆。

1.3 等长控制

V1实验中C2/C4的prompt显著短于C1/C3，导致无法排除"prompt长度影响回答质量"的混淆。V2对C2/C4做了等长控制：

⚠️ C6的prompt长度（426 chars）显著高于C1（300 chars），C6相关比较需标注此混淆因素。

二、实验方法

2.1 测量指标

• R/P/U编码： 对每份回答，逐句标注"物质还原性"——R（有物质对应物）、P（纯推理无对应物）、U（不可还原抽象）
• 物质还原比例（R比例）： R / (R+P+U)，衡量回答中可验证物质断言的占比
• 加权R比例： 对R类句子的置信度加权，对P/U类句子惩罚
• 输出截断率（CAP%）： output_tokens ≥ 4086 的比例

2.2 分析方法

• Cohen's d效应量 + Bootstrap 95%置信区间（1000次重采样）
• 条件间R比例的配对比较
• 问题×条件的二维分解
• Prompt长度与R比例的Pearson相关性

2.3 实验执行

• 串行执行，每次调用等待完成 + 2秒间隔
• 实时记录TTFB（首字节时间）、总耗时、输入/输出token数、完整文本
• 异常处理：失败自动重试（最多2次），指数退避

三、实验过程

3.1 时间线

总耗时：约6.5小时

3.2 运行质量

• 成功率： 240/240（100%），零功能报错
• 测量异常： 2次TTFB/TextLen丢失（#128、#191），属流式捕获glitch，不影响功能
• 网络抖动： 1次异常卡顿706秒（#172），其余正常
• TTFB波动： 1.4s ~ 129s，DeepSeek API不稳定是主因

四、实验结论

4.1 核心发现：通用框架 ≈ 学科路由

初看结论： 给出正确学科框架（C1）与给出"不带学科"的通用框架（C5），效果几乎相同。

修正结论（2026-07-06）： C5 声称"通用"，但并非真正的通用。详析见 4.8。

4.2 错误路由有害但非致命

C3(错误域路由) R=32.0%，显著低于C1(44.6%)和C5(44.8%)，但显著高于C2(无框架, 18.0%)和C4(伪路由, 16.4%)。这说明：给框架（即使是错的）仍然比不给好，但给对框架最佳。

4.3 伪路由最差

C4(伪路由) R=16.4%，是所有条件中最低的。虚有其表的"跨领域专家"prompt 甚至比什么都不给（C2 R=18.0%）更差。

4.4 各条件R/P/U汇总

4.5 各问题最大效应

4.6 数据质量

4.7 Prompt长度与R比例的相关性

Pearson r(prompt长度, R比例) = +0.587。Prompt长度与R比例存在中等以上相关，验证了等长控制的必要性。

C6 prompt长度（426 chars）比C1（300 chars）长约42%，C6的比较需标注此混淆因素。

4.8 C5 的实质：伪装的学科规范分类（2026-07-06 复盘）

C5 声称是"通用结构化框架"，但对其四维度做学科溯源：

C5 的四维框架并非"通用"——它是公共政策分析与制度经济学的规范分析范式。 Elinor Ostrom 的 Institutional Analysis and Development (IAD) 框架的核心要素（actors, resources, rules, dynamics）与 C5 高度重合。

这意味着什么

C5 绕过的只是学科名称标签，在实质层面它进行了规范分类——它把一个特定学科的分析方法硬编码进了"通用框架"。模型看到这四个维度，不是在"通用地思考"，而是在"用制度经济学的范式思考"。

对实验结论的修正

C1 ≈ C5 不是因为"结构化框架本身起作用"，而是因为：

1. 大部分测试问题（Q1-Q8）本身就是公共政策问题。 8 道题中，Q1（15分钟生活圈）、Q4（老旧小区电梯）、Q5（预制菜进校园）、Q6（碳交易）、Q8（宅基地流转）的核心正确学科都包含公共管理学（1204）或经济学（02）。当 C1 给出正确学科框架（含公共管理学）而 C5 给出实质等同的"通用框架"（公共政策分析范式）时，它们在回答同一类问题，用同一种分析方法——当然效果相同。

2. C5 不是 C1 的"通用替代品"，它是 C1 的"匿名版本"。 把学科标签摘掉了，但分析方法没变。

真正的实验空白

我们仍然不知道：如果给一个真正通用的、不来自任何特定学科的分析框架，效果会怎样。 比如：

• "请从正反两方面分析"（辩证框架）→ 这更接近真正的"通用"
• "请列出3个关键因素并逐一分析"（无预设维度）→ 纯结构，无方法

C5 的实验价值：它证明了分析方法的选择比学科标签的标注更重要。 一个正确的方法论框架——即使匿名——可以完全替代显式的学科路由。但"正确的方法论"本身已经是学科知识了。

五、待解决问题与下一步建议

5.1 核心未解问题

真正的实验问题被 V2 的 6 条件设计混淆了。 原意图：

C2 的关键缺陷： "无框架"不等于"裸问"。137 chars 的中性提示已经在教模型关注事实、避免抽象、覆盖多维度——这是一段温和的结构化引导。R=18% 不是无提示的基线，是被温和引导的基线。真正的裸问（system=None）R 比例可能更低。

C4 的关键缺陷： C4 只给了角色卡（"你是跨领域专家"），没有给推理要求。而 C1 和 C3 都带有三条推理要求（物质对应物、无抽象概念、多维度覆盖）。这导致 C4 的 R=16.4% 是在"角色装扮 + 无推理要求"条件下测的，不是纯"伪路由"的效果。

C5 的发现价值（保留）： C5 虽然设计有问题，但意外揭示了一个重要事实：四个维度（利益相关方/资源/制度/演化）就是公共政策分析的规范方法。这不削弱实验价值——它把问题翻到了下一层。

5.2 下一轮实验设计（V3）

四条件纯净设计： 8 题 × 4 条件 × 5 轮 = 160 次

设计原则： C1/C3/C4 的区别仅在于"给什么框架内容"——正确学科 vs 错误学科 vs 仅角色身份。推理要求统一。C2 是纯基线，什么都不给。

5.3 其他改进

1. 解决 CAP 残留： max_tokens 增至 8192 或加输出长度限制指令
2. 等长控制： C4 的 prompt 长度匹配 C1/C3（~300 chars）
3. C5 的独立验证价值： 如果想要测试"方法论匿名化的效果"，可以单独设计一个实验：C5 的四个维度随机洗牌/替换 vs 原始 C5 vs C1

六、数据文件索引