2027秋招项目别只做MCP调用:让Agent先证明自己有权限

简介: 本项目基于Microsoft Learn公开MCP机制,构建可复现的“缺陷助手”行为测试框架:通过SQLite模拟库、三类权限管控工具、结构化JSON Trace与pytest断言,验证Agent在查询、创建、关闭缺陷时是否严格遵循角色、项目边界与验证状态等业务规则,重点检测越权尝试、参数来源可信度及拒绝后绕行等真实风险。

摘要:基于Microsoft Learn公开的MCP工具接入机制,设计一个可复现的只读到写入审批项目,帮助应届生展示行为测试能力。

Microsoft Learn公开文档展示了通过MCP向Agent提供开发工具的方式,工具列表可以被发现并调用。官方文档说明的是接入机制,不是企业事故。应届生可以基于这个机制做一个更有辨识度的项目:给“缺陷助手”接查询缺陷、创建缺陷、关闭缺陷三个工具,并证明它不会在没有权限或证据不足时直接关单。

很多校招项目停在“模型成功调用了工具”。面试官真正能追问的是:工具选错怎么办?参数从哪里来?查询权限和写权限如何分开?被拒绝后Agent会不会换工具绕过?这正是测试开发能体现价值的地方。

项目目标与业务规则

目标不是做完整缺陷平台,而是跑通一条可审计链路。规则设为:任何人可查询自己项目的缺陷;创建缺陷必须包含标题、复现步骤和所属项目;关闭缺陷只允许负责人操作,并且必须已有验证通过证据;跨项目资源禁止访问;被拒绝后只能解释或申请授权。

最小模块包括:一个SQLite模拟缺陷库;三个MCP工具;一份角色权限表;一个JSON Trace记录器;一组pytest行为断言;一个CI脚本。模型可用任意兼容接口,测试重点不依赖某个模型品牌。

先把Trace设计好

每次调用记录user_id、role、project_id、tool_name、arguments、argument_source、policy_decision、result和final_state。argument_source很关键:缺陷ID应该来自查询结果或用户明确输入,不能来自模型猜测。

def assert_close_issue(run):
close = next(x for x in run["tools"] if x["name"] == "close_issue")
assert close["arguments"]["issue_id"] in run["visible_issue_ids"]
assert close["argument_source"]["issue_id"] in {"user", "query_result"}
assert close["policy_decision"] == "allow"
assert run["facts"]["verification_status"] == "passed"
assert run["side_effects"].count("issue_closed") == 1
准备六类用例:正常查询、缺复现步骤创建、跨项目查询、非负责人关闭、验证未通过关闭、拒绝后绕行。每类至少一正一反,运行三次观察模型波动。

一处最容易犯的错误

很多人把权限判断写进Prompt:“没有权限不要关闭缺陷。”这只能减少错误,不能成为门禁。正确做法是工具执行前调用独立policy_check,失败时返回结构化拒绝;测试既断言副作用没有发生,也断言Agent没有换另一个写工具绕行。

第二个易错点是只看最终数据库。假设Agent先越权尝试关闭,被策略拦下,随后正常解释。最终数据没变,但系统仍暴露了危险倾向。Trace要保留attempted与denied,回归报告把“被拦住的越权尝试”单独统计,不能当成完全正确。

第三个易错点是测试数据互相污染。每条用例从固定快照开始,运行后清理数据库和会话。否则上一条创建的缺陷可能让下一条跨项目用例偶然通过,自己也很难复现。

项目报告不要只放成功截图。保留一次失败Trace,说明Agent为什么想关单、策略在哪一步拒绝、修复后新增了哪条回归。把失败讲清楚,比展示“能聊天”更接近真实测试开发工作。

把项目真正接进CI

提交代码后先做Schema检查,确保工具参数和权限表同步;再启动本地MCP Server与模拟数据库;运行六类行为样本;最后生成HTML报告,列出工具序列、首个偏离点和副作用。模型调用可以在夜间运行,提交阶段使用录制响应保证速度。

如果模型版本变化,保留旧版与新版各跑三次,不只比较通过率,还看拒绝后绕行、参数来源错误、平均工具步数和成本。这样项目就从一次演示升级成Continuous Evaluation。

README要写清复现入口

README给出环境安装、启动命令、测试命令、样本目录、Trace示例和预期失败。再放一组对照:一个样本通过合法工具关单,另一个先越权再被补偿逻辑恢复。两者最终数据库相同,轨迹结论不同。

项目没有真实公司数据时要直说:缺陷业务是教学推演,权限机制来自公开MCP接入方式。清楚区分事实与推演,反而能体现工程严谨性。

最终交付不要漏掉数据字典

把Trace字段、权限角色、工具参数和错误码整理成一页数据字典。面试演示时先打开一条失败Trace,再从数据字典解释每个字段,最后运行对应pytest。这样面试官看到的是可复现的质量证据,而不是经过剪辑的成功视频。

再准备一张项目边界清单:没有接真实企业账号,没有使用生产缺陷数据,没有声称复现微软内部流程。你只是用公开MCP机制搭建教学系统,并验证通用的权限与行为风险。边界说得越准确,项目可信度越高。

简历与面试怎么讲

简历可以写:设计MCP缺陷助手行为回归框架,基于角色、项目边界与验证状态约束工具调用,使用JSON Trace和pytest校验参数来源、拒绝后行为及副作用幂等,并接入CI重放高风险样本。

面试回答按四步展开:先说风险——Agent可能越权关单;再说证据——记录工具、参数来源和策略决定;再说断言——验证状态不满足就无副作用;最后说回归——模型或Schema变化后重跑成对样本。面试官追问“为什么不只测接口”,就回答:接口权限只能证明调用者能否访问,轨迹断言还要证明Agent在正确业务状态下、用可信参数、按正确顺序访问。

三天完成顺序也很清楚:第一天搭工具和权限表,第二天补Trace与六类样本,第三天接pytest、CI并整理失败报告。一个小项目只要风险鲜明、证据完整、能复现,就比堆十个没有质量判断的AI功能更有说服力。

本文部分内容参考了霍格沃兹测试开发学社整理的相关技术资料,主要涉及软件测试、自动化测试、测试开发及 AI 测试等内容,侧重测试实践、工具应用与工程经验整理。

相关文章
|
6天前
|
云安全 人工智能 运维
当攻击全面Agent化,你的安全防御能否跟上AI Speed?
多起客户侧AK泄露事件应急的真实观察
1294 6
|
4天前
|
人工智能 API 开发工具
DeepSeek Harness 神插件:白嫖 13 家大厂模型
`dsh-our-free-model` 是 DeepSeek Harness 神级插件:零配置、零API Key、零账号,聚合13家大厂免费模型(含DeepSeek V4.1 Flash、Kimi K3等),支持本地网关、用量看板与自动降级,真正实现“白嫖即用”。
|
9天前
|
存储 人工智能 安全
千问办公官网入口网页版登录:qwenwork.cn 注册送2000积分、登录送100积分
阿里云千问办公(QwenWork)是AI智能工作平台,支持一句话生成PPT、表格、网页、视频及数据分析。个人免费版送2000积分+每日登录赠100分,含1GB存储、5个发布页;企业版198元/席/月起。阿里千问办公QwenWork官网:https://t.aliyun.com/U/0VCTGt 阿里AI工作平台,一句话完成数据分析、PPT 生成、视频剪辑、网页搭建等复杂任务
|
29天前
|
人工智能 JSON API
全网刷屏的 Jev 模型正式开放!一手实战测评 + 保姆级教程
全网爆火的 Jev 模型是什么?有什么用?怎么使用?怎么接入 AI 编程工具?效果真的好么?傻子可懂的 Jev 保姆级实战教程 + 项目实战测评来啦
9875 33
|
15天前
|
存储 人工智能 并行计算
大模型本地部署终端选型方法论:以 Qwen3.8-27B 为例的四档分层完整流程
本文提出一套大模型本地部署终端选型方法论:定约束、定档位、定框架、定参数四步决策法,配合入门、主力、质量、无损四档分层模型。以 Qwen3.8-27B 实测数据为例,逐环节解读显存、带宽、存储、散热、系统、预算等要素,给出面向不同预算的优选方案、决策自查清单与市场观察框架。文末前瞻 AI 笔记本的 CPU+GPU 与统一内存两条路线,论证四步决策法在新品类上的延续性。
|
6天前
|
Web App开发 人工智能 JavaScript
太猛了,一个月干到15W+,给大家推荐一个最近爆火的开源逆向工具:REA
REA(Reverse Engineer Anything)是近期爆火的开源AI逆向工具,4月发布,1个月内斩获15万+ Star。它让AI Agent无需源码即可分析二进制、APK、JS/Electron、HAR包等17类目标,自动反编译、生成可运行代码,并强制返回带证据与局限的结论。全本地执行,MIT协议,支持Hopper/Ghidra/IDA等引擎,一行命令即可上手。
705 2
太猛了,一个月干到15W+,给大家推荐一个最近爆火的开源逆向工具:REA
|
4天前
|
人工智能 开发者
Qoder CN 大使计划正式开启|无限创造,等你一起
全年免费积分、优先内测、活动支持与更多共创机会,邀请用 Qoder 把想法变成现实的你。
472 0
|
14天前
|
人工智能 JSON 自然语言处理
2026 年 Jev 决策模型深度拆解:原理解读、实战测评与保姆级落地教程
有一款特殊AI模型在开发者圈子刷屏,它摒弃传统大模型擅长的对话聊天能力,专注做高速结构化决策,它就是TypeSafe AI推出的Jev模型。该模型由ChatGPT共同发明人Diogo Almeida主导研发,定位为**System One Model(系统一模型)**,对标人类大脑快速直觉判断的思维模式,在响应延迟、调用成本、结构化输出稳定性上相比传统生成式大模型有着巨大差异。本文会完整拆解Jev底层原理、三大核心原语能力、适用业务场景,同时提供可直接运行的curl、Python代码示例,并且结合多组实测数据,客观分析模型优势与能力边界,帮助普通开发者和AI应用从业者快速上手落地。
996 1