❤️ 如果你也关注 AI 的发展现状，且对 AI 应用开发感兴趣，我会每日分享大模型与 AI 领域的开源项目和应用，提供运行实例和实用教程，帮助你快速上手AI技术！
🥦 AI 在线答疑 -> 智能检索历史文章和开源项目 -> 丰富的 AI 工具库 -> 每日更新 -> 尽在微信公众号 -> 搜一搜：蚝油菜花 🥦
💻 「学术圈地震！OpenAI放出论文复现「照妖镜」，8316项测试让AI原形毕露」
大家好，我是蚝油菜花。当ChatGPT还在用漂亮话应付论文提问时，这个来自OpenAI的核弹级评测框架，正在用显微镜级标准检验AI的真实学术能力！
你是否也遭遇过这些AI幻觉暴击：
- 📜 让AI解释论文创新点，结果把参考文献编成科幻小说
- 💻 代码生成看似完美，一运行直接内核崩溃
- 📊 实验数据漂亮得不像话，查原始论文发现全是虚构...
今天解密的 PaperBench ，正在重定义AI能力评估！这个包含8316个评分节点的「学术CT机」：
- ✅ 从理论理解到实验复现，全程自动化追踪每个细节
- ✅ 用Docker容器锁死测试环境，杜绝「本地能跑」式作弊
- ✅ 轻量版+完整版双模式，既适合快速验证也支持深度调优
已有团队用它发现GPT-4在长期任务规划上的致命缺陷——你的AI模型准备好接受学术级「压力测试」了吗？
🚀 快速阅读
PaperBench是OpenAI开源的AI智能体系统性评测框架。
- 功能：通过复现学术论文全流程，评估智能体的理论理解、代码实现和实验执行能力。
- 技术：采用层次化评分树和自动化评分系统，在标准化Docker环境中确保测试一致性。
PaperBench 是什么
PaperBench是专为评估AI智能体复现学术论文能力设计的开源基准测试。它要求智能体完成从论文理解、代码开发到实验执行的全流程任务，通过8316个精细化评分节点全面量化智能体的学术实践能力。
评测结果显示，当前主流AI模型在复杂任务规划和长期执行方面仍显著落后人类专家。该框架采用Docker容器统一测试环境，并开发了基于大模型的自动评分系统，其评分结果与人类专家评估具有高度一致性。
PaperBench 的主要功能
- 全流程评估：覆盖论文理解、代码实现、实验执行完整复现链条。
- 自动化评分：8316节点层次化评分树结合大模型自动评分。
- 环境标准化：Ubuntu 24.04 Docker容器保证测试一致性。
- 资源可控：限制GPU和API使用，确保评估反映真实能力。
- 轻量级变体：提供简化版评估方案降低参与门槛。
PaperBench 的技术原理
- 任务模块：定义理论解析、代码生成、实验执行三类核心任务。
- 评分体系：树状结构细分8316个评分节点，自动评分系统经人类专家校准。
- 容器化隔离：基于Docker的测试环境配备A10 GPU和可控API访问。
- 智能体配置：支持SimpleAgent/IterativeAgent等不同工作模式对比研究。
如何运行 PaperBench
系统要求
- Python 3.11（3.12未测试，3.13会破坏chz组件）
安装依赖
for proj in nanoeval alcatraz nanoeval_alcatraz; do
pip install -e project/"$proj"
done
可用评测集
- PaperBench：https://github.com/openai/preparedness/project/paperbench/README.md
- SWELancer（即将推出）
- MLE-bench（即将推出）
资源
- GitHub 仓库：https://github.com/openai/preparedness
❤️ 如果你也关注 AI 的发展现状，且对 AI 应用开发感兴趣，我会每日分享大模型与 AI 领域的开源项目和应用，提供运行实例和实用教程，帮助你快速上手AI技术！
🥦 AI 在线答疑 -> 智能检索历史文章和开源项目 -> 丰富的 AI 工具库 -> 每日更新 -> 尽在微信公众号 -> 搜一搜：蚝油菜花 🥦
