小瓶RPA屏幕元素定位选择方法总结

简介: 小瓶RPA屏幕元素定位方法总结:离线4种(浏览器选择器🔍、图像识别🖼️、快捷键切换⌨️、OCR文字定位📝),高效稳定;在线1种(多模态AI大模型🤖,需Token)。按优先级排序,总有一款适配你的自动化场景!

小瓶RPA屏幕元素定位选择方法总结版本,优先级排序:

多重选择方法按照优先顺序,总有一个适合你 ✅


📴 离线4种:(不需要网络+高速)

①浏览器元素选择器定位 🔍(需要安装浏览器插件)

pbottle.browserCMD_click()

详细参考:

https://rpa.pbottle.com/docs/API%E6%B5%8F%E8%A7%88%E5%99%A8%E5%A2%9E%E5%BC%BA.html#%E5%85%83%E7%B4%A0%E9%80%89%E6%8B%A9%E5%99%A8

demo示例:WEB增强-账号密码登录演示.js


②屏幕图像选择定位 🖼️

pbottleRPA.waitImage()

返回目标坐标位置,可点击操作

demo示例:微信朋友圈自动点赞.js


③快捷键元素焦点切换定位 ⌨️

  • 多次按下 tab 键:pbottleRPA.keyTap('tab')

可确认输入等操作


④OCR文字定位 📝(需要开启OCR本地模型)

pbottleRPA.findText()

返回目标坐标位置,可点击操作

demo示例:文字提取查找OCR演示.js



🌐 在线1种(消耗token,额外大模型费用)

①多模态AI大模型 🤖

屏幕截图后:

pbottleRPA.cloud_GPTV("请返回图像中微信图标的位置", screenshot)

返回目标坐标位置,可点击操作

目录
相关文章
|
7月前
|
机器学习/深度学习 人工智能 并行计算
Transformer的核心:自注意力机制
自注意力机制是Transformer的核心,让序列中每个元素直接关联所有其他元素,实现全局信息交互。相比RNN的顺序处理和CNN的局部感知,它能并行计算、捕捉长距离依赖,并提供可解释的权重分布,彻底改变了序列建模方式,成为大模型崛起的关键基石。(239字)
|
7天前
|
JSON 人工智能 测试技术
我如何用Skills+Postman,让接口测试用例自动生成、自动维护,半年零手工更新
本文揭秘如何用Postman+大模型Skills实现接口测试用例“零手工维护”:通过自动感知OpenAPI变更、智能生成并应用Collection补丁、Git化管理+CI闭环验证,6个月未手动增删改用例。核心不是生成用例,而是让用例随代码自动同步。
|
7天前
|
设计模式 人工智能 JSON
Skills-first:一种全新的接口自动化测试设计模式(爆肝万字实操)
本文提出“Skills-first”测试新范式,直击AI生成用例后维护难的痛点:告别“人驱动AI”,转向“事件驱动”。通过感知层捕获变化、决策层输出结构化操作原语、执行层精准落地,实现用例自动演进。实测将接口变更响应从2小时压缩至4分钟,释放80%机械维护人力。
|
2月前
|
机器学习/深度学习 自然语言处理 搜索推荐
大模型应用:从粗排到大模型生成:交叉熵、余弦重排序的全流程实践.97
本文系统阐述检索排序“粗排→算法精排(交叉熵/余弦重排序)→大模型生成”三级架构,强调80%检索质量由排序算法决定:粗排快速召回,精排精准打分,重排序提升多样性,大模型仅负责最终润色与个性化生成,实现高效协同。
216 0
|
2月前
|
人工智能 自然语言处理 测试技术
Agent+MCP+Skills 重构自动化测试:从脚本生成到测试闭环
本文探讨AI驱动的测试范式变革:从单点脚本生成迈向“Agent+MCP+Skills”智能体系统,强调将测试经验工程化封装为可复用能力。核心在于重构全流程——规划、生成、执行、修复、沉淀,并依托知识库与工具链实现业务适配。未来测试工程师的核心竞争力,是设计智能化测试系统的能力。
|
3月前
|
人工智能 Linux API
一行命令打造多龙虾Agent军团!阿里云/本地部署OpenClaw+多Agent+百炼api配置实战指南
2026年,AI代理框架OpenClaw凭借ACP协议与多Agent架构彻底颠覆AI协作模式,从早期单兵作战的草莽工具,进化为支持多智能体隔离、通道独立绑定、专业分工协同的正规军平台。中文社区亲切称其为**龙虾**,如今通过一行`openclaw agents add`命令,即可快速创建专属AI助手军团,实现写作、开发、作图、选题等任务的专业化分工,彻底告别上下文混乱、记忆污染、权限交叉等痛点。本文从多Agent核心逻辑讲起,提供完整命令、可直接复制的配置文件,同时覆盖2026年阿里云云端部署、MacOS/Linux/Windows11本地部署,以及阿里云百炼Coding Plan免费API配
1032 1
|
消息中间件 Prometheus 监控
基于 RocketMQ Prometheus Exporter 打造定制化 DevOps 平台
本文将对 RocketMQ-Exporter 的设计实现做一个简单的介绍,读者可通过本文了解到 RocketMQ-Exporter 的实现过程,以及通过 RocketMQ-Exporter 来搭建自己的 RocketMQ 监控系统。RocketMQ 在线可交互教程现已登录知行动手实验室,PC 端登录 start.aliyun.com 即可直达。
基于 RocketMQ Prometheus Exporter 打造定制化 DevOps 平台
|
消息中间件 前端开发 NoSQL
试用期被裁是有补偿的!一定要记得领取~
试用期被裁是有补偿的!一定要记得领取~
509 6
试用期被裁是有补偿的!一定要记得领取~
|
存储 弹性计算 负载均衡
阿里云服务器地域、实例、带宽与操作系统等配置选择指南参考
在数字化时代,无论是个人博客、企业官网、APP后端支持,还是小程序运行或者其他项目,云服务器都扮演着至关重要的角色,考虑产品质量、服务和价格等因素,大家现在都喜欢选择阿里云服务器。然而,对于初次接触云服务的新手来说,可能并不是很清楚应该如何选阿里云服务器的地域、实例、带宽与操作系统等配置。本文将从地域选择、实例规格、操作系统、云盘配置、购买时长以及带宽选择等六个方面,为新手用户提供详细的选购指南,以供参考。
阿里云服务器地域、实例、带宽与操作系统等配置选择指南参考
|
存储 安全 程序员
读书|通过免费云盘传书到 Kindle
通过免费云盘便捷地管理 Kindle 上的书籍。
918 0

热门文章

最新文章