做数据的同学大概率遇到过这种场景:领导一句"把这个系统的数据接进来",点开一看——没有开放接口,没有数据导出,厂商对接报价十几万,一问排期,三个月起步。
政务类系统、老牌行业软件(财务、ERP、医疗、电商后台)、不少企业内部自研的遗留系统,都卡在这个状态。数据明明就躺在页面上,就是拿不到。
本文把无开放 API 系统的数据获取拆成三种技术路径,讲清各自的适用边界和坑点,最后落到入仓设计。重点展开 RPA 界面自动化采集——对老系统侵入最低、落地最快的一条路,也是这两年技术演进最猛的一块。
一、动手之前,先过合规这道关
三种路径没有高低之分,先决定的不是技术,而是"能不能拿"。
数据是否属于本单位业务数据,或已获得授权?采集他人平台数据用于商业用途,风险直接上升到法律层面。
目标系统的用户协议是否禁止自动化访问?很多条款里写得明明白白。
是否涉及个人信息?《个人信息保护法》《数据安全法》对采集、存储、传输都有明确要求,手机号、身份证号这类字段,宁可不要。
不要触碰的东西:用技术手段自动通过人机验证、还原他人系统的加密参数、盗用登录态、高频压测式请求。这些不在数据获取的讨论范围内,做了就是另一个性质的问题。
合法合规的自动化访问和被认定为恶意请求的访问,区别往往就在频率、身份和授权上。先把这一关过了,再看技术。
二、路径一:请求复现(模拟接口调用)
页面上的数据不是凭空来的,背后是浏览器和服务器之间的一堆 HTTP 请求。打开开发者工具,切到 Network 面板,点一下查询按钮,就能看到数据其实是从某个接口返回的 JSON。
做法:用 Python 的 requests/httpx,或 HttpRunner 这类工具,把请求原样复现——URL、请求头、Cookie、参数一个不少,写进定时任务,数据到手。
适用场景:
B/S 架构,接口返回结构清晰(JSON)
登录态有效期长,或支持账密自动登录
数据量中等,接口有分页参数可遍历
主要坑点:
参数签名与加密。部分系统前端会对参数做签名或加密,复现成本高。注意区分:还原自研系统的签名用于本单位数据接入,属于正常对接工作;动他人平台的防护则是另一回事。
登录态维护。会话过期、登录风控,任何一个触发,脚本就断。需要失败告警和人工兜底。
接口变更。前端发版,字段名、参数结构说改就改,脚本静默失败,三天后才发现少了一批数据。这是请求复现最大的隐性成本。
适合接口稳定、团队有开发能力的场景;缺点是从绑定前端版本那天起,维护就没有尽头。
三、路径二:RPA 界面自动化采集(重点展开)
请求复现走不通时——系统是 C/S 架构桌面软件、是嵌入浏览器的控件页面、参数加密无法还原、或者你根本不想维护一堆脆弱的接口脚本——就轮到 RPA 出场。
做法:让软件机器人模拟人的操作:打开系统、登录、点菜单、翻页、把表格数据读出来、写进数据库或 Excel。流程可视、每步可查,本质是一个不知疲倦的"数据录入员"。
这条路径的核心不是"能不能点",而是"能不能长期稳定地跑"。选型时盯住下面几点,它们直接决定项目的生死。
- 元素定位:本地多路径生成 + AI 自愈
RPA 靠元素路径找到按钮和表格,页面改版、框架升级,路径就失效,流程中断——这是 RPA 数据采集项目烂尾的第一原因。
新一代 RPA 工具的做法是把 AI 塞进元素环节:元素获取支持本地智能生成,一次给出多条候选路径,开发者挑最稳的一条用,不用手写 XPath;路径写不好也没关系,用自然语言描述就能生成对应的 XPath,不用学语法。更关键的是 Web 元素 AI 自愈——元素失效时自动修复定位,把"页面变了→流程挂了→等人修"变成"页面变了→流程自己恢复"。这一项直接决定流程跑一个月还是跑三年。 - 视觉与颜色操作:桌面软件场景的兜底方案
有些桌面软件(老旧 ERP 客户端、企业微信、千牛这类客户端)没有标准元素节点可供识别,只能靠图像和颜色定位。支持视觉颜色级操作的 RPA 不依赖元素节点也能点击、读数、取消息,企业微信、微信、QQ、千牛的各种消息内容都能这样拿到,等于上了双保险:能认元素的用元素,认不了的用"眼睛"。
做电商多店铺运营的团队还可关注一点:工具是否支持对接市面上主流指纹浏览器(紫鸟、比特、Hubstudio、AdsPower 等),实现多账号环境的自动化操作。 - AI 辅助搭建:从"写代码"到"描述需求"
主流 RPA 都在拥抱 AI,但融合深度差别很大。浅的是"AI 生成一段代码贴进来";深的是图文描述需求,AI 自动化搭建流程——发一张截图加几句说明,AI 智能分析网页和软件的元素结构,优先调用 RPA 基础指令,缺什么自动封装成新指令,每个指令带详细注释,生成的逻辑一目了然。
配套能力也看全:调试报错时 AI 错误诊断与一键修复,给出原因和修改建议,或直接自动调试到功能正常,不用对着报错信息发愁;变量可以批量创建、删除、修改,数据提取、JSON 自动提取字段、列表自动提取都能按需生成指令;流程长了能自动拆分子流程封装复用;还能根据截图自定义软件界面,复杂界面用 HTML 组件拼,按钮点击、数据展示、数据关联都跟 AI 说清楚就行。
识图和 OCR 是另一个分水岭:好一点的 RPA 已接入文心一言、豆包、DeepSeek、Kimi 等主流大模型,图片识图与 OCR 直接可用,且由用户自行对接各平台 API,用多少花多少,费用透明。
业内对这套分工有个越来越清晰的共识:AI 负责思考,RPA 负责稳定落地。原因很实际——AI 单干的短板恰是 RPA 的长项:生成的判断逻辑覆盖不全,每次出问题都要重新改;元素路径脆弱,页面一变就失效且不会自己修;桌面软件自动化对 AI 极难,对 RPA 是本职;token 随数据量持续消耗,而 RPA 流程跑起来不烧 token。所以正确的姿势是 AI 写代码,RPA 跑代码:让 AI 生成脚本、再一键转为可视化 RPA 流程由引擎稳定执行。进阶做法还有 MCP 服务——接入各类 AI 编程工具和智能体,让外部 AI 直接控制 RPA 搭建和执行流程,并在钉钉、飞书、企业微信内下发指令、回传执行结果;流程跑到一半遇到页面分叉,也能实时调用 AI 动态判断下一步操作,这是纯脚本方案给不了的灵活性。 - 部署与交付:内网离线、EXE 打包授权
财务、人事、客户数据,很多单位明确要求不出内网,云端采集工具在这里直接出局——全离线内网部署、流程数据全部保存在本地设备、不同步服务端是硬门槛,数据不出本地对政企客户往往一票否决。注意一个细节:内网环境 AI 也用不了,所以搭建阶段在有网时完成、交付形态必须离线可跑,这才算闭环。
分发管理同样是暗坑。选支持脚本打包导出 EXE + 授权管理的工具:打包后同事免装客户端即可运行,可单独设置 API 触发、定时执行,支持加密分享、分享授权和在线推送更新——流程改一版,对方打开应用自动检测升级,不用逐个找人重装。跑量场景再看两条:无运行时长、无流程数量限制,多设备使用不额外收费——长期跑下来这比功能清单重要得多。对个人开发者、工作室和中小企业,这类"打包即交付"能力意味着采集工具可以直接变成可授权的数据产品。
这条路径的取舍可以浓缩成八个字:离线更安全,自愈更稳定。代价是速度比接口直连慢,且高度依赖工具的元素自愈能力。
四、路径三:落地文件与数据直连
最容易被忽略、但往往最稳的一条路:让系统自己把数据"吐"出来。
导出文件解析:多数系统哪怕没有 API,也有 Excel/CSV 导出。脚本监听共享目录,文件一到就解析入仓。不少系统还支持定时自动导出,连 RPA 都省了。
邮件/消息附件:日报、对账单以邮件附件推送的场景,自动收邮件、下载附件、解析入仓,链路非常成熟。
数据库直连:部署在本单位服务器上的系统,向运维申请只读数据库账号,建视图授权,定时任务抽数。这是三种路径里实时性、稳定性、成本的最优解,几乎零维护。
日志与中间表:不少业务系统会把关键操作写进日志表,或业务库结构本身清晰,同样可申请只读权限接入。
优先级最高的一条路,能用就别绕。唯一门槛是需要厂商或运维配合;碰上不配合的,才退回前两条路。
五、三种路径怎么选
实操顺序:先问数据库/文件权限 → 拿不到再走导出文件 → 都不行才在请求复现和 RPA 之间选。
有开发能力、接口稳定的系统选请求复现;系统是桌面客户端、页面多变、或希望业务人员自己维护流程的,选 RPA,并把元素自愈能力和离线部署能力列为选型硬指标。
六、入仓设计:别让采集赢了、入仓输了
数据到手只是上半场。按四层说: - 贴源层 ODS:原样落、可追溯。 采集数据原封不动落表,保留采集时间、来源系统、批次号三个审计字段。下游数字不对,随时回 ODS 排查是源系统变了还是采集丢了。
- 明细层 DWD:清洗转换在这做。 类型统一(金额转 decimal、日期标准化)、枚举映射("是/否"、"Y/N"、1/0 统一)、去重。去重键提前和源系统确认:有业务单号用单号,没有就用全字段哈希。
- 汇总层 DWS:按分析主题组织。 按天、按部门、按业务线预聚合,报表直查这层,别让 BI 每次扫明细。
- 增量与幂等:决定你晚上睡不睡得着。 想清"重复执行会怎样"。正确姿势:以"业务时间 + 主键"做 upsert,同一批次重跑 N 次结果一致。RPA 场景尤其重要——任务失败重跑是常态,入仓逻辑必须扛得住重复数据。
- 调度与告警。 采集与入仓解耦:采集成文件/中间表即算成功,入仓只管读文件。告警覆盖三类:采集失败(流程中断)、数据异常(当日条数与 7 日均值偏差超 50%)、入仓延迟。RPA 任务可配置失败自动重试,并把告警接进企业微信或钉钉机器人。
- 质量校验最后一道闸。 入仓后跑校验:主键非空、金额合计与源系统报表对账、日期不越界。对账差异超阈值自动告警并阻断下游发布——宁可没数据,不可有假数据。
七、算一笔长期账
只看"搭起来多快"会误判,跑起来之后的成本结构才是大头。
Token 成本。 用通用 AI Agent 直接操作网页采数据,每个动作都在消耗大模型 token,采一万条数据的开销可能超过一条路径全年的服务器成本,且随数据量线性增长。AI 生成脚本 + RPA 稳定执行的分工之所以划算,正因为思考是一次性的、执行是本地的;AI 能力自行对接各平台大模型 API、费用透明的工具,长期跑量差距明显。
维护成本。 接口复现脚本跟着前端改版重写;没有自愈能力的 RPA 流程页面一变就挂。元素失效能自动修复、报错能 AI 诊断修复的工具,省的是一个人长期盯流程的人力。
部署成本。 数据敏感的业务,云端方案要么过不了评审,要么额外买安全服务。内网离线部署、数据不出本地,一台普通办公电脑就能跑——对个人开发者、工作室和中小企业,这往往是一票否决项。
八、常见问题
Q1:系统页面有人机验证,RPA 能处理吗?
自己的系统,建议找管理员加白名单或开专用查询账号,这是最干净的做法。自动通过验证机制不在讨论范围内,不建议任何团队碰。
Q2:RPA 流程跑着跑着页面变了怎么办?
这正是选型要看 Web 元素 AI 自愈的原因——元素失效时自动修复定位,流程不中断。没有这项能力的工具,就得养专人修流程。
Q3:内网完全隔离,还能用 AI 辅助搭建流程吗?
可以。在有网环境完成 AI 辅助搭建,打包成应用后在内网离线运行。支持全离线内网部署的 RPA 工具对这类环境是刚需。
Q4:做好的采集流程要给多个同事用,怎么分发和管理?
选支持"脚本打包导出 EXE + 授权管理"的工具:打包后对方免装客户端,可单独设置 API 触发和定时执行,支持加密分享、授权和在线推送更新,不用每次改动都手动找人重装。
Q5:三种路径能混用吗?
成熟方案几乎都混用:数据库直连抽主表、RPA 补页面独有数据、导出文件做兜底,三路数据在 ODS 层汇合、统一对账。
Q6:没有编程基础能维护采集流程吗?
可视化 RPA 就是为此设计的:自然语言生成元素路径、AI 自动搭建流程、报错 AI 诊断修复,业务人员短期培训即可接手日常维护;请求复现路径建议保留给开发同学。
没有开放 API 不是数据的终点,只是对接方式的岔路口:能拿库表权限就拿库表,能导文件就导文件,都不行就在请求复现和 RPA 界面自动化之间按团队能力决定。入仓做到幂等、可追溯、可对账,采集环节再花哨,数据也是可信的。
工具会迭代,路径不会变。把合规想清楚、把架构设计对,剩下的都是执行问题。