开发者社区 问答 正文

阿里云RPA捕捉控件的时候 自动匹配模式匹配不到编辑框 ,要用图像录制模式 捕获 ,这个正常吗?

7041f986438fc1e76047b58be1412cfe.png
阿里云RPA捕捉控件的时候,自动匹配模式匹配不到编辑框 ,匹配了一个大框,需要用图像录制模式捕获,这个正常吗?

展开
收起
嘟嘟嘟嘟嘟嘟 2024-01-05 01:39:51 98 分享 版权
来自: 阿里云RPA
阿里云 AI 助理回答

在阿里云RPA中,使用自动匹配模式无法准确匹配到编辑框,而是匹配到了一个更大的区域,这种情况是可能发生的,尤其是在某些复杂界面或特殊控件(如自定义绘制的UI元素、Canvas画布、或者某些第三方应用)中。这种情况下,切换到图像录制模式进行捕获是一种常见的解决方案。

原因分析

  1. 自动匹配模式的局限性
    自动匹配模式依赖于底层技术(如Win32-UIA、Win32-MSAA等)来解析目标界面的控件结构。如果目标控件的属性信息不完整、动态变化,或者界面本身使用了非标准的渲染方式(如Canvas、WebGL等),自动匹配模式可能无法准确定位到具体的控件,而是匹配到其父级容器或更大的区域。

  2. 图像录制模式的适用场景
    图像录制模式通过截取目标区域的图像并基于图像识别技术进行匹配,适用于以下场景:

    • 目标控件无法被自动匹配模式识别。
    • 界面中的控件属性频繁变化,导致自动匹配不稳定。
    • 需要操作的区域是动态生成的内容(如Canvas绘制的图形或文字)。

解决方案

当自动匹配模式无法准确捕获编辑框时,可以按照以下步骤使用图像录制模式完成捕获:

  1. 切换到图像录制模式
    在RPA编辑器中,点击右侧控件面板中的“开始捕捉”,然后在模式列表中选择“图像录制模式”。

  2. 捕获目标区域

    • 点击“捕捉控件”按钮,对目标编辑框所在的区域进行截图。
    • 释放鼠标后,系统会将该区域作为目标控件进行捕获。
  3. 调整锚点和验证控件

    • 在捕获控件窗口中,选择“编辑控件”,查看截取的目标区域,并通过拖动锚点的方式精确定位到编辑框的具体位置。
    • 使用“验证控件”功能,选择一个验证动作(如点击或输入文本),并配置相关参数,确保捕获的控件能够正确操作。
  4. 保存控件
    验证成功后,填写控件名称并选择分组(可选),然后保存控件。后续可以在流程开发中直接调用该控件。

注意事项

  • 图像录制模式的稳定性
    图像录制模式依赖于屏幕上的视觉内容,因此在分辨率、缩放比例或界面布局发生变化时,可能会导致匹配失败。建议在稳定的环境下使用,并定期验证控件的准确性。

  • 优先使用自动匹配模式
    尽管图像录制模式可以解决自动匹配模式无法处理的问题,但其效率和稳定性通常低于自动匹配模式。因此,仅在自动匹配模式无法满足需求时才使用图像录制模式

  • 结合OCR技术
    如果目标编辑框的内容经常变化,或者需要根据特定关键词定位操作区域,可以结合OCR技术进行操作。例如,通过OCR识别编辑框附近的固定文本,从而间接定位到目标控件。

总结

在阿里云RPA中,当自动匹配模式无法准确捕获编辑框时,切换到图像录制模式是正常且有效的解决方案。通过图像录制模式,您可以精确捕获目标区域,并通过验证和调整确保其可用性。但在使用过程中需要注意环境的稳定性,并尽量优先使用自动匹配模式以提高效率和可靠性。

有帮助
无帮助
AI 助理回答生成答案可能存在不准确,仅供参考
0 条回答
写回答
取消 提交回答
收录在圈子:
+ 订阅
阿里云RPA历经8年的内部验证,覆盖了阿里巴巴大部分BU,实现了电商客服、新零售等新兴行业的渗透,并且已经完成在保险、金融、医疗保健等领域的场景深耕,联合合作伙伴具备深度定制化能力和稳定交付能力,积累了丰富的行业可行性解决方案。目前阿里云RPA能集成并运行在更高的软件层级,这就决定了它不会侵入、影响已有的软件系统。在帮助企业提升效能的过程中,保持企业已有的IT系统功能平稳、运行可靠。
还有其他疑问?
咨询AI助理