Rpa新思路,参考使用图像识别技术进行数据爬取的思路。
我认为Rpa软件的设计难点就是界面元素的识别,现有的技术需要对不同类别的ui技术分别进行识别,这种方式不仅开发难度大,用户使用上,也得有一些相关知识(识别引擎的选择等)。
元素识别完全可以采用图像识别技术,对ui界面的图像进行分析,将潜在的按钮,菜单,输入框识别出来,然后让用户对这些识别出来的控件进行引用,编写逻辑,rpa程序运行时,再次对运行中的程序进行图像识别,然后分析图像中的元素,与之前分析出来的元素做匹配,换算出屏幕坐标,移动鼠标,进行操作。
这种方式完全屏蔽了不同ui实现技术的差异,只需进行图像识别和鼠标键盘操作即可。
而对于用户来说,用户只需要对软件进行各种截图操作,对不同的界面进行截图,然后让Rpa软件进行分析,再对分析出来的UI元素进行编程。
版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。
图像识别技术可实现精准识别图像中的视觉内容,包括上千种物体标签、数十种常见场景等,为用户提供图像打标、场景分类、颜色识别、风格识别以及元素识别等能力。图像识别技术可广泛应用于数字营销、新零售、广告设计等行业场景。