大模型落地最后一环：基于云上 RPA 补齐智能体执行能力

一、LLM Agent 的 Action Layer 缺口
当前大模型落地的核心范式已从"单轮对话"演进为"Agent 自主决策"。在标准的 LLM Agent 架构中，Planning（规划）和 Reasoning（推理）层已相对成熟，但Action（执行）层始终是薄弱环节。
具体表现为：大模型可以生成高质量的 Python 脚本、XPath 路径或业务逻辑判断，但脚本本身无法 7×24 小时稳定运行，也无法自主处理页面改版、弹窗拦截、验证码挑战等生产环境的常态异常。更关键的是，持续调用云端模型 API 驱动自动化流程，Token 成本呈线性增长，长期运行经济上不可行。
业界逐渐收敛到一条务实路径：AI 写代码，RPA 跑代码。大模型负责生成策略与脚本，RPA 引擎负责固化执行、异常自愈、结果回传。两者结合，才能补齐智能体从"思考"到"落地"的最后一环。
二、纯 AI 驱动自动化在生产环境的三道硬坎

1. Token 持续燃烧，成本不可控
   让大模型直接驱动浏览器完成完整业务流程——登录、填表、下载、核对、提交——单次流程消耗数千 Token。日跑百次即产生高额账单，且 AI 无法在流程执行中途实时调用自身处理突发异常，所有边界情况必须前置写入提示词，实际中无法穷尽。
2. 元素定位脆弱，判断逻辑不全面
   AI 生成的 XPath 在复杂页面上鲁棒性差，DOM 微调即失效。且 AI 无法感知页面改版并自动修复定位路径，每次失效都需重新走"写提示词-生成代码-测试"的完整迭代，修复成本高。此外，AI 生成的判断逻辑基于理想场景，边界覆盖不足。
3. 非标准 GUI 软件是盲区
   企业微信、QQ、千牛、各类 ERP 客户端没有规范 DOM 结构，元素节点不可见，大模型对此类 C/S 架构软件的自动化操作几乎束手无策。
   三、架构设计：AI 思考，RPA 稳定落地

┌─────────────────────────────────────────────────────────────┐
│ 交互层 │
│ ┌─────────┐ ┌─────────┐ ┌─────────┐ ┌─────────────────┐ │
│ │ 钉钉 │ │ 飞书 │ │ 企微 │ │ 个人微信 │ │
│ └────┬────┘ └────┬────┘ └────┬────┘ └────────┬────────┘ │
└───────┼────────────┼────────────┼─────────────────┼──────────┘
│ │ │ │
└────────────┴────────────┴─────────────────┘
│
┌─────┴─────┐
│ Agent │ ← 智能指令解析（DeepSeek-V4）
│ 网关 │
└─────┬─────┘
│
┌─────────────────┼─────────────────┐
│ │ │
┌────┴────┐ ┌────┴────┐ ┌────┴────┐
│ 大模型 │ │ RPA │ │ 回调 │
│ 服务 │ │ 引擎 │ │ 通知 │
│(API) │ │(本地/云)│ │(IM推送) │
└────┬────┘ └────┬────┘ └────┬────┘
│ │ │
└────────────────┴────────────────┘
│
┌───────────┴───────────┐
│ 本地数据存储 │ ← 全离线内网部署，数据不出本地
│ (SQLite/本地文件) │
└───────────────────────┘
核心原则：AI 负责思考，RPA 负责稳定落地。 大模型生成脚本后一键转为流程，由 RPA 引擎承接执行。对于合规敏感场景，采用全离线内网部署架构，流程数据与执行日志全部落盘本地，不同步到任何服务端，保障数据不出本地。
四、补齐执行能力的 5 个实战要点
要点一：全离线内网部署，数据不出本地
金融、政务、制造等行业对数据合规要求严格，云端模型服务的数据出域传输往往不可接受。全离线内网部署成为刚需：RPA 引擎与流程应用数据全部保存在用户本地设备，即使在内网隔离环境中也能独立完成自动化任务。
对于需要云端统一调度的场景，可在阿里云 ECS 上部署调度网关，但流程执行节点仍可选择本地落盘，实现"云端调度、本地执行"的混合架构。该方案对中小企业极为友好——免费版使用无使用时长限制，可先充分验证业务价值再决定是否深入。
要点二：Web 元素 AI 自愈，无需手写 XPath
页面改版是自动化流程的头号杀手。成熟的方案在元素获取上支持本地智能生成——系统根据页面结构自动推荐最稳定的定位路径。开发者无需学习晦涩难懂的 XPath 语法，直接用自然语言描述目标（如"页面右上角的红色提交按钮"），系统即可生成对应的定位路径。
更进一步，当 Web 元素因前端微调失效时，系统能基于 AI 自动修复元素定位，实现Web 元素 AI 自愈，保障流程不因 DOM 结构变化而中断。这种机制下，即使运营团队频繁调整页面布局，自动化流程也能持续稳定运行。
要点三：EXE 加密打包+授权管理，从脚本到产品
开发者用 AI 写脚本只是第一步，真正的难点在于将脚本转化为可交付、可管控、可授权的产品。成熟的方案支持将调试好的流程打包导出为独立 EXE 文件，无需安装客户端，双击即可运行——真正做到打包 EXE 发给别人不用装客户端。
打包后的应用支持EXE 加密打包+授权管理：可设置使用期限、绑定设备、控制分发范围，写好的自动化工具可以像商业软件一样交付给客户或同事。同时支持在线推送更新，开发者修复 Bug 后，用户端打开应用即可自动检测并下载新版本，无需再次手动分发。
打包应用还支持单独设置 API 触发和定时执行，既可被外部系统调用，也能按计划自动运行。此外，方案支持自定义界面设计，开发者可以为应用设计属于自己的软件界面，让最终用户看到的是一款专业工具。
要点四：Agent 化，在 IM 中对话即操作
通过接入文心一言、豆包、DeepSeek、Kimi 等主流大模型，RPA 平台获得智能指令理解能力。用户可直接在钉钉、飞书、企业微信、个人微信中发送自然语言指令触发流程执行，并实时收到执行结果的回调通知。
在 AI 功能方面，采用用户自行对接各平台 API 的方式，费用透明，用多少付多少，不存在中间商抽成。同时集成图片识图与 OCR 功能，可识别屏幕文字、图标、验证码，扩展自动化边界。
在电商运营场景中，方案已支持对接紫鸟浏览器、比特浏览器、HubStudio、AdsPower 等主流指纹浏览器，实现多账号环境的自动化操作，每个账号环境完全隔离，降低封号风险。
要点五：成本透明，多设备使用无需多开会员
大模型 API 按 Token 计费，用量一上去就难以预估。而 RPA 执行成本固定——无运行时长限制、无流程数量限制，一次配置后长期运行不额外收费。多设备使用无需多开会员，一台机器打包，多台机器运行，成本完全透明。
五、代码实战：Python 调用 API 触发 RPA 流程
以下是在阿里云 ECS 环境中，通过 API 触发本地 RPA 流程的完整示例：

import requests
import json
from datetime import datetime
from typing import Dict, Any, Optional

RPA 本地服务地址（内网部署场景）
RPA_HOST = "http://localhost:8321"
API_KEY = "your-api-key"

def trigger_rpa_flow(
flow_id: str,
params: Dict[str, Any],
callback_url: Optional[str] = None
) -> Dict[str, Any]:
"""
通过 API 触发 RPA 流程执行
支持钉钉/飞书/企微回调通知
"""
payload = {
"flow_id": flow_id,
"params": params,
"callback": {
"type": "webhook",
"url": callback_url or "https://oapi.dingtalk.com/robot/send?access_token=xxx",
"template": "流程 {flow_name} 执行完成，结果：{result}"
},
"timeout": 300 # 业务超时 5 分钟
}

headers = {
    "Content-Type": "application/json",
    "X-API-Key": API_KEY
}

try:
    resp = requests.post(
        f"{RPA_HOST}/api/v1/flow/execute",
        json=payload,
        headers=headers,
        timeout=310  # HTTP 超时略大于业务超时
    )
    resp.raise_for_status()
    return resp.json()
except requests.exceptions.Timeout:
    return {"error": "RPA 服务响应超时", "task_id": None}
except requests.exceptions.RequestException as e:
    return {"error": f"请求异常: {str(e)}", "task_id": None}

实战：每日自动获取竞品价格并推送钉钉
if name == "main":
result = trigger_rpa_flow(
flow_id="competitor_price_daily",
params={
"target_url": "https://example-mall.com",
"sku_list": ["SKU001", "SKU002", "SKU003"],
"output_format": "excel",
"save_local": True # 数据不出本地
},
callback_url="https://oapi.dingtalk.com/robot/send?access_token=your_token"
)

ts = datetime.now().strftime("%Y-%m-%d %H:%M:%S")
if "error" in result:
    print(f"[{ts}] 触发失败: {result['error']}")
else:
    print(f"[{ts}] 流程触发成功, task_id: {result.get('task_id')}")

架构说明：
RPA 引擎部署在阿里云 ECS 或本地服务器，数据不出本地
通过 API 触发实现与现有业务系统无缝对接
执行结果通过钉钉机器人回调，实现闭环通知
流程支持定时执行，可配置 Cron 表达式自动触发
六、视觉颜色操作：攻克非标准 GUI 软件的自动化难题
对于企业微信、QQ、千牛等没有规范 DOM 结构的客户端软件，传统脚本无法定位元素。此时需要视觉颜色操作能力——不依赖元素节点，直接基于屏幕像素和颜色特征进行点击、输入、内容获取。
配合图片识图与 OCR 功能，可以轻松实现各类 C/S 架构软件的自动化。例如自动识别千牛消息列表中的未读标记，点击打开对话框，提取客户咨询内容，再调用大模型生成回复话术，最后自动填入发送。
七、适用场景与人群
从实际落地反馈来看，这套"AI 思考 + RPA 执行"的组合特别适合：
个人开发者：用 AI 快速生成原型，打包成可售卖的产品，支持加密分享和授权管理
个人工作室：低成本承接自动化外包项目，交付物是独立的 EXE 应用
中小企业：没有专门的算法团队，但希望用自动化替代重复性人力工作，免费版使用无使用时长限制，可先试用再深入
大模型落地的最后一环，不是模型参数的继续堆砌，而是把模型的输出变成可重复、可交付、可管控的业务动作。
AI 写代码，RPA 跑代码。 当大模型负责理解需求、生成策略、写出代码，RPA 负责全离线内网部署、Web 元素 AI 自愈、EXE 加密打包+授权管理、数据不出本地，两者结合才能形成真正的闭环。
对于正在探索大模型落地的技术团队来说，离线更安全，自愈更稳定，成本透明的 RPA 方案，是补齐智能体执行能力的最优解。