DeepSeek 把智能体运行环境开源了,可它自己写着一句:这个软件没做过安全审计

简介: 本文探讨DeepSeek Harness插件化架构对测试的三大挑战:评测环境与工作环境耦合、兼容性变更导致断言失效、沙箱可替换带来的隔离不确定性;提出版本钉死、可达清单实测、断言分层等最小验证实践。

一句话定位:这不是"DeepSeek 的模型强不强",而是"拿它自己的运行环境给自己打分,这件事本身怎么验"——载体是一套插件化的客户端,对象是"换一个插件,旧结论还在不在"。同样的检查可迁移到 CI Runner 升级后的用例复现、SDK 大版本升级后的契约回归、报表口径调整后的口径对账。

摘要

DeepSeek 在 2026 年 8 月 13 日以 MIT 协议开源了智能体运行框架 DeepSeek Harness,设计原则是"一切皆插件":模型、工具、沙箱、会话、调度、界面全是可替换插件。它的 README 有一句全大写的提醒——会有破坏兼容性的变更;仓库里的 SAFETY.md 更直接:这是实验性的开发者预览软件,未经安全审计,不得视为安全或可用于生产;沙箱"不保证隔离"。本文讲这套设计给测试带来的三个具体问题,以及可以立刻做的最小验证。

README 里有一行全大写的字:THERE WILL BE COMPATIBILITY-BREAKING CHANGES。

这句话出现在 DeepSeek Harness(下称 dsh)的 Developer preview 一节,就在"运行前请先看安全说明"那行下面。一个开源项目把这两句话放在一起,其实已经说清了它的定位:能用,但别指望它稳。

dsh 在 2026 年 8 月 13 日以 MIT 协议开源,定位是"智能体运行框架"——模型是引擎,它负责让引擎在真实环境里调用工具、读写文件、跑命令。设计原则叫"一切皆插件",模型、工具、技能、会话、沙箱、存储、循环、调度、界面全都是可替换插件,连 Agent 循环本身都是普通包。

这个设计对测试的含义,比"又一个 Agent 客户端"要多得多。

image.png

它给自己写的那份 SAFETY.md

仓库里的 SAFETY.md 我逐句读了,措辞比常见的免责声明具体:

DeepSeek Harness is experimental developer-preview software. It has not undergone a security audit and must not be treated as secure or production-ready.

后面一段解释原因:这个项目可以执行模型生成的代码和命令、加载第三方插件、访问开放给它的网络、进程、凭据与文件;错误的模型输出、缺陷、配置错误、恶意输入或不可信插件都可能损坏主机、改删文件、泄露数据。

关于沙箱,措辞同样不留余地:

Sandboxing, approval prompts, and permission controls can reduce risk, but they do not guarantee isolation or prevent damage.

最后一句是"不要把 dsh 当作不可信工作负载的唯一安全控制"。

这份文档的价值不在于它承认了风险——几乎所有项目都会承认。它的价值在于把风险拆成了可核对的条目,并且给出了五条使用建议:最小权限、用一次性虚拟机或容器、备份可访问的文件、除非接受风险否则别放敏感凭据、允许运行前检查插件与命令。

这套写法可以直接抄进我们自己的工具评估模板。

第一个问题:拿它测,又拿它打分

dsh 的模型层是插件,适配层覆盖多家提供方,本地 OpenAI 兼容端点也是插件。这套设计让"同一套运行时跑不同模型"变得很轻。

问题随之而来:如果你用它跑模型的 benchmark,而它同时又是你日常干活的客户端,那"打分环境"和"工作环境"是同一个。

这不是 dsh 独有的问题,但插件化把它放大了。一次插件升级、一次默认值调整、一次工具描述改写,都可能让模型的行为走向变化——你测出来的分数变化,可能是模型变了,也可能是壳变了。

系统评测领域有条老规矩:被测对象与测试载体要尽量分离。放到这里,最小做法是给评测单独一份 profile(配置组装),锁住版本、锁住插件清单,只换模型层。

第二个问题:兼容性变更会连带改掉断言

dsh 的插件机制建立在 Cordis 上,官方文档的说法是:每个注册都是运行时可逆的副作用,插件卸载时这些副作用会被撤销;上下文变化会依据组件声明的依赖触发激活与停用。

这个机制很漂亮,对测试的影响也很直接:一个插件的卸载,会连带另一个插件的依赖失效。如果你的用例断言了"某工具存在"或"某输出格式固定",一次插件调整就能让它变红——而这不是 bug,是设计。

所以断言要分层写:断言业务结果(订单状态对不对)比断言工具名与输出格式更耐久。这条原则在普通自动化里也成立,只是这里的变化频率更高。

README 那句全大写的提醒,其实是在提前告诉你:不要把断言挂在版本上。想锁住,就锁版本号,并且接受它锁住的是"当时的行为"而不是"当时的结果"。

image.png

第三个问题:沙箱是插件,所以它也能被换掉

本节不另配图:要说的只有"沙箱实现可替换"这一层,用文字交代更快,画成图会重复图一已经表达过的相交关系。

上面那句是 SAFETY.md 里最硬的一句的反面:沙箱、审批提示、权限控制"可以降低风险,但不保证隔离"。

放在插件架构里读,这句话有两层含义。一是沙箱的实现本身是一个插件,可以替换,也可以配置得更宽;二是即便限制被执行,也保护不了"项目被允许访问的那些资源"——这是权限设计的固有限制,不是实现缺陷。

对测试的直接含义:你要测的不是"沙箱开没开",而是"开了之后它能碰到什么"。这两件事在检查表上经常被合并成一条,实际差别很大。

可行的做法是给沙箱做一份"可达清单":网络(能不能出网、能出到哪)、文件(能读哪些目录、能写哪些)、凭据(环境变量里有什么)、进程(能不能起子进程)。四栏,每栏写实测结果,而不是写配置意图。

可以立刻做的三件最小验证

第一,版本钉死。把运行时版本、插件清单、模型 id 全部钉在评测配置里,独立于日常使用的那份配置。这一条能挡掉大部分"分数抖动其实是壳变了"。

第二,可达清单。按上面四栏做一次实测,得出"这个环境里它能碰到什么",而不是"我们以为它碰不到什么"。

第三,断言分层。把现有用例分成两层:业务结果层(必须稳定)与交互细节层(允许随插件变化)。第二层的失败要能自动归到"环境变化"而不是"缺陷"。

三个问题之外,还有一处容易被忽略的采样偏差

dsh 的会话是可追溯的:官方文档说,模型看到的内容都会写进一份只追加的会话日志——系统提示、思维链、工具调用与结果、子 Agent 派发、每一次上下文注入,都能在轨迹视图里按来源查看。

对测试来说这是好事:可追溯意味着可复盘。但它也带来一种错觉——日志里有记录,不等于记录是全的。

它的抽样粒度是"会话",不是"任务"。一次任务如果被拆成三个会话,失败发生在第二个会话的边界上,日志会完整记录三份,但没有任何一处记录"这三份本该一起交付"。

所以用这类工具跑评测时,要给评测集定义交付单元:一次任务对应几个会话、以哪个会话的结束为判定点、会话之间允许有没有人工干预。这三条不写清楚,复现会变得很难——你会发现同一份配置跑两次,结果不一致,却没处查。

与"自建壳"的对比

团队里常见的问题是:要不要自己写一个 Agent 壳。dsh 这类项目的存在,给出了第三种答案——用现成的壳,但把关键层替换成自己实现的插件。

这个方案的吸引力在于成本:省掉了一整套工具调用、会话管理、权限控制的轮子。风险也清楚:壳的内核演进不受你控制,而且官方明写了会有破坏兼容的变更。

我倾向于这样取舍:壳用现成的,评测基线全部自建。基线一旦自建,壳升级带来的漂移就能被自己的用例捕捉到,而不是等到业务侧发现行为变了。

我保留的一点疑问

dsh 的定位是"Agent 时代的操作系统",插件市场正在筹备。这个方向能不能成,我不做判断——从测试角度,我只关心一件事:当几乎所有能力都变成第三方插件时,"可信基线"由谁来定。

SAFETY.md 给了五条使用建议,其中一条是"允许运行前检查插件、配置和拟执行命令"。这句话在单机使用时可执行,在团队流水线里几乎不可执行——没有人会逐条读每个插件。

所以团队落地时,真正的门槛不是技术,而是这套检查的组织方式:谁维护白名单、谁负责升级、出了问题怎么回滚。这三件事没有官方答案,得自己写。

本文部分内容参考了霍格沃兹测试开发学社整理的相关技术资料,主要涉及软件测试、自动化测试、测试开发及 AI 测试等内容,侧重测试实践、工具应用与工程经验整理。

相关文章
|
18天前
|
Linux 开发工具 iOS开发
Codex保姆级教程(下载+安装+登录+使用,含所有版本,2026最新)
Codex是OpenAI推出的开源AI编程智能体,本地运行,可理解整个代码库,支持自然语言指令改代码、执行命令、跑测试、修Bug,兼容Win/macOS/Linux。(239字)
8131 58
|
3天前
|
弹性计算 人工智能 API
Codex超详细入门指南(下载·安装·登录·上手,全版本覆盖,2026最新版)
建议收藏本教程,2026 全年各版本更新随时回来查阅。如果你在搭建过程中遇到任何问题,欢迎结合 阿里云工单系统 提交技术支持请求,或在 阿里云开发者社区 搜索 Codex 相关话题交流。 祝你编码愉快,效率翻倍!
1552 1
|
6天前
|
JSON 前端开发 API
阿里云最新Qwen4-Max大模型介绍:模型定位、特征、能力、适用场景解析
2026 年 11 月 11 日,阿里发布第四代旗舰模型Qwen4-Max预览版,首发千问 AI 平台 Token Plan,并同步接入千问办公、Qoder 等入口。该版本聚焦知识理解、世界感知、编程与 Agentic 四项升级,主打复杂编程、专业办公、前端设计与专业软件操作。预览期至 11 月 25 日 24:00,到期后模型标识下线;限时 2 折、新用户再享 5 折,最低 1 折可体验。
|
19天前
|
JavaScript API iOS开发
DeepSeek Harness下载、安装、配置一篇搞定(2026整理,送常用插件)
DeepSeek Harness(DSH)是DeepSeek于2026年开源的MIT协议AI Agent框架,支持插件化组装模型、工具、沙箱与UI,兼容主流大模型。本文提供免Node.js的桌面端安装包(Win/macOS),含详细图文教程及热门插件推荐。
5736 69
|
6天前
|
云安全 人工智能 安全
|
13天前
|
Linux 开发工具 iOS开发
2026最新codex下载安装保姆级使用教程(下载+安装+登录+使用,含所有历史版本)
本文详解OpenAI Codex国内快速上手指南:提供Win/macOS/Linux全平台免安装包、npm/Homebrew等多方式安装、账号/API Key双登录、简体中文切换,覆盖下载、安装、汉化、使用及高频避坑(如微软商店失败、npm超时等),10分钟即可跑通。
2962 9
|
6天前
|
人工智能 前端开发 API
阿里云Qwen4-Max 大模型详解:定位、特征、能力、适用场景与相对Qwen3-Max差异解析
2026年11月11日,阿里发布第四代旗舰模型Qwen4-Max预览版,首发千问AI平台Token Plan并接入千问办公、Qoder等入口。该版本聚焦知识理解、世界感知、编程与Agentic四项升级,主打复杂编程、专业办公、前端设计与专业软件操作等真实任务。预览期为11月11日10:00至11月25日24:00,仅支持Token Plan调用,到期后模型标识下线;限时2折、新用户再享5折,最低1折可体验。
|
3天前
|
Linux Go 开发工具
手机上跑 DeepSeek 智能体:开源安卓客户端 DSH Go 安装与使用指南
DSH Go 是一款开源安卓客户端,将 DeepSeek Harness 智能体引擎装进手机:免 Root、免 Termux,一键安装即用;支持本机运行(内置 Ubuntu+Node.js)或远程接管电脑会话;具备插话打断、过程折叠、屏幕操控、端到端加密分享等特色功能,真正实现智能体“口袋化”。
2430 0
|
11天前
|
人工智能 安全 API
DeepSeek Harness下载、安装、配置一篇搞定(2026整理,送常用插件)
DeepSeek Harness(dsh)是DeepSeek AI于2026年开源的轻量级Agent运行框架,基于Cordis内核,践行“一切皆插件”理念。支持Web/桌面双端,开箱即用;内置多模型接入、丰富插件生态(超3.5万),适配编程、办公、创作等场景。(239字)
1893 1