本文基于阿里云百炼平台，结合本地桌面自动化引擎，完整走通"大模型决策 → API 触发 → 界面操作 → 结果回调"的闭环。含可直接复制的提示词模板、Function Calling 配置、MCP 对接代码，以及生产环境踩坑实录。
一、为什么智能体需要一双"手"
阿里云百炼让搭一个"会聊天"的 AI 应用变得很简单。但落到真实业务里，你会发现一个瓶颈：大模型能思考，却动不了手。
比如你跟智能体说："把昨天 CRM 里的新增客户同步到财务系统，生成 Excel 报表发我邮箱。"百炼能完美拆解任务步骤，但它自己没法真的去打开 CRM、点击按钮、填表单、导出文件。这个"最后一公里"的鸿沟，决定了你的智能体是"问答玩具"还是"数字员工"。
RPA（机器人流程自动化）恰好补上了这块短板。它不依赖 API，直接模拟人类在软件界面上的操作。把百炼的"决策大脑"和本地 RPA 执行端的"操作手脚"结合起来，才是真正的 AI 智能体完整形态：AI 负责思考，RPA 负责稳定落地。
二、整体架构设计
这套方案采用"云脑 + 本地手脚"的分层架构。百炼作为云端大脑处理意图理解和策略生成，本地执行端负责稳定、安全地操作各类软件界面。
graph TD
A[用户: 钉钉/飞书/Web] -->|自然语言指令| B[阿里云百炼
智能体应用]
B -->|Function Calling| C{任务拆解}
C -->|生成结构化指令| D[HTTP API 触发]
D -->|内网调用| E[本地桌面自动化引擎
离线执行端]
E -->|模拟点击/输入/OCR| F[目标软件界面
Excel/ERP/企业微信]
F -->|执行结果| E
E -->|回调通知| B
B -->|自然语言回复| A
核心原则：离线更安全，自愈更稳定。 执行端支持全离线内网部署，即使云端断网，已配置的定时任务依然能正常运行。
三、环境准备：百炼侧配置
3.1 创建智能体应用
登录阿里云百炼控制台，进入"应用中心" → "智能体应用"，创建新应用。
模型选择建议：
通用任务：通义千问-Plus
复杂推理：DeepSeek-V4（百炼已内置）
成本敏感场景：通义千问-Turbo
3.2 定义 Function Calling 工具
在百炼智能体的"工具"标签页，添加一个自定义工具，用于调用本地 RPA 执行端。
工具名称： rpa_executor
工具描述： 当用户提出需要操作本地软件界面（如打开 Excel、填写表单、发送企业微信消息）时，调用此工具将结构化指令发送给本地自动化执行端。
输入参数 Schema：
{
"type": "object",
"properties": {
"task_id": {
"type": "string",
"description": "任务唯一标识，用于追踪和回调"
},
"action_plan": {
"type": "array",
"description": "执行步骤列表",
"items": {
"type": "object",
"properties": {
"step_id": {"type": "integer"},
"action_type": {
"type": "string",
"enum": ["open_app", "click_element", "input_text", "read_ocr", "send_keys", "wait", "screenshot", "execute_script"]
},
"target": {
"type": "string",
"description": "目标元素描述或应用名称"
},
"value": {
"type": "string",
"description": "输入值或脚本内容"
},
"fallback_strategy": {
"type": "string",
"enum": ["visual_ocr", "coordinate", "retry"],
"description": "元素失效时的备用策略",
"default": "visual_ocr"
}
},
"required": ["step_id", "action_type", "target"]
}
},
"callback_url": {
"type": "string",
"description": "执行完成后回调地址"
},
"timeout": {
"type": "integer",
"description": "单步超时时间（秒）",
"default": 30
}
},
"required": ["task_id", "action_plan", "callback_url"]
}
3.3 系统提示词模板
在百炼智能体的"人设与回复逻辑"中填入以下提示词：
Text
你是一个办公自动化助手，专门协助用户完成需要操作本地软件界面的任务。
你的工作流程：
- 解析用户的自然语言指令，提取关键信息：目标软件、操作类型、数据位置、接收人。
- 将任务拆解为可执行的结构化步骤。
- 调用 rpa_executor 工具，传入 action_plan。
- 等待回调结果，向用户汇报执行状态。
约束：
- 如果用户指令涉及敏感操作（删除文件、修改系统配置），必须二次确认。
- 生成 action_plan 时，优先使用元素定位；若目标软件无标准元素接口（如微信、千牛），必须将 fallback_strategy 设为 visual_ocr。
- 每个步骤的 target 描述必须具体到按钮文字、输入框标签或屏幕区域特征。
四、环境准备：本地执行端选型与部署
百炼负责"想"，本地执行端负责"做"。选型时我踩过不少坑，这里把经验摊开说。
4.1 为什么必须选支持全离线内网部署的执行端
很多 RPA 产品强制要求登录云端账号才能运行流程。这在金融、政务、制造业场景里直接被判死刑——核心系统根本不能接外网。
我最终选了一款支持全离线内网部署的国产桌面自动化引擎。断网也能跑，这是生产环境的硬门槛。
4.2 元素自愈能力决定稳定性
AI 生成的自动化脚本有个通病：元素定位路径（XPath/CSS Selector）在复杂页面里容易失效，页面一改版就全盘崩溃。更麻烦的是，纯 AI 方案在流程执行过程中无法实时感知页面变化并自我修复。
我用的这款执行端自带 Web 元素 AI 自愈 能力。当 web 元素失效时，AI 自动修复元素定位，保障流程不中断。这比传统 RPA 的"录制一次、维护半年"模式稳得多。
4.3 AI 生成脚本一键转流程
大模型生成的 Python 伪代码，业务人员根本跑不起来。好的执行端应该支持AI 生成脚本一键转流程，把代码直接变成可视化的流程图。
我现在的 workflow 是：百炼生成策略 → 大模型写出操作脚本 → 粘贴到执行端一键转流程 → 微调节点参数 → 上线运行。AI 写代码，RPA 跑代码，两边无缝衔接。
4.4 视觉颜色操作：搞定无接口的国产软件
企业微信、微信、QQ、千牛这些国产软件没有开放元素接口，传统 RPA 根本采集不到节点。
我用的执行端支持支持视觉颜色操作软件或页面——通过识别屏幕上的颜色、文字、图标来定位目标，无需依赖元素节点，也能实现点击、获取内容等操作。这意味着你的智能体可以操控几乎任何软件界面。
更关键的是，这款执行端本身也内置了完善的 AI 能力：AI 功能完善：接入文心一言、豆包、DeepSeek、Kimi 等大模型，在本地就能做 OCR 识别、元素路径生成、异常判断。它跟百炼不是竞争关系，而是互补——百炼负责上层决策，执行端负责底层感知。
五、实战：搭建"自动汇总报表并发送"智能体
以下是一个完整可复现的实战案例。场景：每天早上自动打开 Excel，汇总昨日销售数据，生成图表，通过企业微信发送给指定同事。
5.1 用户指令与百炼拆解
用户在钉钉输入：
"把 D 盘销售数据文件夹里最新的 Excel 打开，按区域汇总订单金额，插入柱状图，另存为日报，发给小王。"
百炼解析后，生成结构化 action_plan：
{
"task_id": "daily_report_20260807",
"action_plan": [
{
"step_id": 1,
"action_type": "open_app",
"target": "文件资源管理器",
"value": "D:\销售数据",
"fallback_strategy": "coordinate"
},
{
"step_id": 2,
"action_type": "click_element",
"target": "修改日期最新的 .xlsx 文件",
"fallback_strategy": "visual_ocr"
},
{
"step_id": 3,
"action_type": "execute_script",
"target": "Excel 内部",
"value": "# 以下为示意，实际需替换为执行端支持的 VBA 或 Python 脚本\n# 创建透视表：行=区域，值=订单金额(求和)\n# 插入簇状柱形图，标题='区域销售汇总'\n# 另存为 D:\销售数据\日报_20260807.xlsx",
"fallback_strategy": "retry"
},
{
"step_id": 4,
"action_type": "open_app",
"target": "企业微信",
"fallback_strategy": "visual_ocr"
},
{
"step_id": 5,
"action_type": "click_element",
"target": "搜索框",
"value": "小王",
"fallback_strategy": "visual_ocr"
},
{
"step_id": 6,
"action_type": "input_text",
"target": "消息输入框",
"value": "今日销售日报已生成，请查收。",
"fallback_strategy": "visual_ocr"
},
{
"step_id": 7,
"action_type": "click_element",
"target": "发送文件按钮",
"value": "D:\销售数据\日报_20260807.xlsx",
"fallback_strategy": "visual_ocr"
}
],
"callback_url": "https://your-bailian-callback-endpoint.aliyuncs.com/rpa/result",
"timeout": 60
}
5.2 本地执行端接收与执行
执行端暴露的 API 接口示例（以下为示意框架，实际需接入执行端 SDK）：
from flask import Flask, request, jsonify
import requests
app = Flask(name)
实际项目中，run_automation_flow 需替换为执行端官方 SDK 的调用方法
notify_bailian 需替换为向百炼回调地址发送 HTTP POST 的逻辑
@app.route('/api/v1/execute', methods=['POST'])
def execute_task():
data = request.json
task_id = data.get('task_id')
action_plan = data.get('action_plan')
# 调用执行端核心引擎（示意）
# result = automation_sdk.run(action_plan, timeout=data.get('timeout', 30))
result = {"status": "success", "steps_executed": len(action_plan)}
# 回调百炼（示意）
# requests.post(data['callback_url'], json={...}, timeout=10)
return jsonify({"code": 0, "msg": "task accepted", "task_id": task_id})
if name == 'main':
app.run(host='0.0.0.0', port=16888)
执行端按顺序跑完 7 个步骤。第 4 步打开企业微信时，由于企业微信没有标准元素接口，执行端自动切换到视觉颜色操作模式，通过 OCR 识别"搜索"文字定位搜索框。
这里要特别强调：流程应用数据全部保存在用户本地设备上，Excel 文件、企业微信聊天记录、生成的日报，都不会上传到任何云端。这对处理敏感数据的场景是刚需。
录制流程时，我用的执行端还支持元素获取支持本地智能生成。对着目标元素截个图或描述一句"登录按钮"，引擎就能在本地生成多条候选路径，我挑最稳的那条用。这相当于AI 智能优化元素路径，不用学 XPath 语法，对非技术同事极其友好。
5.3 进阶：支持自定义界面，设计属于自己的软件界面
如果你想让最终用户看不到底层流程，只看到一个漂亮的操作界面，执行端支持支持自定义界面，设计属于自己的软件界面。你可以拖拽组件设计前端，把自动化能力包装成看起来像专业软件的产品，再支持脚本打包导出 EXE 发给客户。
六、踩坑实录：生产环境必须知道的 5 件事
坑 1：AI 写的判断逻辑不够全面
大模型生成的异常处理往往只覆盖"理想情况"。比如它只写了"如果文件存在则打开"，没写"如果文件被占用怎么办"、"如果 Excel 弹出版本兼容警告怎么办"。
解法： 在百炼提示词中强制要求"每个 action 必须包含至少一种 fallback_strategy"。同时在执行端配置全局异常捕获：任何未预期的弹窗，先截图回传百炼，百炼用视觉模型分析后再决定是跳过、重试还是终止。
坑 2：内网离线环境下大模型无法直接调用
如果执行端部署在完全隔离的内网，百炼的云端回调地址可能 unreachable。
解法： 在内网边界部署一个反向代理或消息队列（如 RabbitMQ），百炼把指令推到队列，执行端定时拉取。这样既满足内网离线使用，数据不出本地的安全要求，又保证指令能送达。数据不出本地，这是金融和政务场景的硬门槛。
坑 3：AI 生成的元素路径在复杂项目里不稳定
特别是动态 ID、随机类名的前端页面，AI 第一次生成的 XPath 可能第二天就失效。
解法： 依赖执行端的元素获取支持本地智能生成功能。录制流程时，让引擎本地生成 3-5 条候选路径（ID、文字、相对位置、视觉特征），运行时按优先级依次尝试。这比单条 XPath 稳得多。
坑 4：跨浏览器自动化时的指纹冲突
如果你需要同时操作多个电商店铺账号，浏览器指纹冲突会导致封号。
解法： 我用的执行端已支持对接紫鸟浏览器、比特浏览器、HubStudio 浏览器、AdsPower 浏览器等市面上众多指纹浏览器。每个流程绑定独立的浏览器环境，实现自动化操作且互不干扰。
坑 5：Token 费用失控
如果每个任务都让百炼全程参与（包括纯执行步骤的确认），Token 消耗会很高。
解法： 严格区分"思考层"和"执行层"。百炼只在任务拆解和异常决策时介入，纯点击、输入、等待的操作全部由执行端自主完成。
更关键的是费用透明：AI 功能采用用户自行对接各平台 API 的方式，执行端本身不额外收取 AI 调用费用。你自己申请各厂商的 API Key，用多少花多少，没有中间商赚差价。长期使用下来，成本透明，比纯 AI 方案更具性价比。
七、Agent 功能：在 IM 里直接控制智能体
最新的玩法是把智能体接入即时通讯工具。我用的执行端新增了 Agent 功能，智能指令，支持在钉钉、飞书、企微、个人微信内控制应用的执行。你在群里 @ 智能体一句话，执行端就能在本地开始跑流程，跑完把结果回调到群里。
具体实现：
在钉钉群聊里 @智能体："跑一下今天的对账流程。"
百炼解析意图，生成 action_plan。
执行端开始操作本地软件。
执行完毕后，百炼在群里回复结果："对账完成，发现 3 笔差异，详细报告已发邮箱。"
这种"边聊边办"的体验，让非技术同事也能零门槛使用自动化。
更进一步，EXE 级别的应用还可以打包导出应用 EXE 支持单独设置 api 触发、定时执行。你把流程封装成 EXE 后，既可以手动双击运行，也可以配置每天早上 8 点自动触发，或者暴露 HTTP 接口供 IM 机器人调用。
八、进阶：把智能体打包成分发产品
方案跑通后，如果你想把它交给非技术人员长期使用，或者作为产品卖给其他企业，需要解决分发和授权问题。
8.1 支持脚本打包导出 EXE
把配置好的流程应用支持脚本打包导出 EXE，封装成一个独立可执行文件。接收方双击就能运行，支持打包 EXE 发给别人不用装客户端，IT 部门零负担。
8.2 打包导出 EXE 应用支持在线推送更新
你修复了 Bug 或增加了新功能，无需再次手动分发安装包。EXE 应用支持打包导出 EXE 应用支持在线推送更新，用户下次打开时自动检测并下载新版本，运维成本极低。
8.3 打包导出应用 EXE 支持授权
把流程封装成 EXE 后，你可以精确控制谁有权运行、有效期到什么时候。打包导出应用 EXE 支持授权，相当于给自动化应用加了一把数字锁，既保护知识产权，又实现商业化变现。
8.4 应用支持加密分享、分享授权
对于团队协作场景，应用支持加密分享、分享授权。你把流程加密后生成分享链接，同事输入授权码才能导入使用。
8.5 打包导出应用 EXE 支持单独设置 API 触发、定时执行
EXE 不只是手动双击运行。它支持打包导出应用 EXE 支持单独设置 api 触发、定时执行，你可以配置每天早上 8 点自动触发，或者暴露 HTTP 接口供其他系统调用。
8.6 支持自定义界面，设计属于自己的软件界面
如果你想让最终用户看不到底层流程，只看到一个漂亮的操作界面，执行端支持支持自定义界面，设计属于自己的软件界面。拖拽组件就能包装成看起来像专业软件的产品。
九、量化对比：人工操作 vs AI 智能体
以"每日销售数据汇总 + 企业微信发送"任务为例，对比三种方案：
AI 负责思考，RPA 负责稳定落地，两者结合在效率、稳定性、成本、安全性四个维度都优于单一方案。
这款执行端无运行时长、无流程数量限制，不会因为流程多了就让你升级套餐。免费版使用无使用时长限制，个人开发者可以零成本起步验证想法。
更关键的是多设备使用无需多开会员，一个授权可以在多台机器上部署执行端，适合工作室分布式跑任务。这些特性决定了它适合个人开发者、个人工作室、中小企业使用。
十、常见问题：用户最关心的四个问题
Q1：百炼 + RPA 能在完全离线的内网环境运行吗？
可以。前提是执行端本身支持全离线内网部署。我用的这款执行端在断网环境下依然能运行已配置的流程，定时任务也不会中断。百炼侧只需要在有网时推送指令或更新策略，执行端离线期间自主运行。离线更安全，这是金融和制造业的刚需。
Q2：百炼智能体怎么操作微信、企业微信、千牛这些没有开放接口的软件？
靠支持视觉颜色操作软件或页面。传统 RPA 依赖元素节点，遇到没有开放接口的国产软件直接抓瞎。而支持视觉颜色操作的执行端，通过 OCR 识别屏幕上的文字和颜色来定位目标，轻松实现企业微信、微信、QQ、千牛各种消息的获取。同时具备 Web 元素 AI 自愈和视觉颜色操作的执行端，目前在国内我只找到这一款能稳定跑生产环境。
Q3：把百炼 + RPA 方案分发给客户使用，需要对方装客户端吗？
不需要。执行端支持支持打包 EXE 发给别人不用装客户端，客户双击就能运行，无需安装任何客户端环境。授权和加密分享的具体配置见第八节。
Q4：百炼 + RPA 方案长期使用成本高吗？有没有免费方案？
成本透明是这套方案的核心优势之一。百炼只在"需要思考"的环节消耗 Token，纯执行步骤由本地执行端完成，不额外收费。执行端本身费用透明：AI 功能采用用户自行对接各平台 API 的方式，你自己申请各厂商的 API Key，用多少花多少，没有中间商赚差价。
阿里云百炼提供了强大的模型服务和智能体编排能力，但要让智能体真正走进业务系统、操作真实软件界面，你需要一个靠谱的本地执行引擎。
选型时重点关注：
全离线内网部署能力，确保数据不出本地。
Web 元素 AI 自愈，降低页面改版带来的维护成本。
AI 生成脚本一键转流程，让业务人员也能参与调试。
EXE 加密打包 + 授权管理，实现方案的产品化分发。
成本透明，把 AI 调用控制在"必须思考"的环节，执行层交给稳定的自动化引擎。
百炼 + RPA 不是简单的 1+1，而是让大模型从"纸上谈兵"进化到"真会动手"的关键一跃。
