开发者社区 > 视觉智能 > 图像理解 > 正文

新的RPA设计思路,基于图像识别技术

Rpa新思路,参考使用图像识别技术进行数据爬取的思路

我认为Rpa软件的设计难点就是界面元素的识别,现有的技术需要对不同类别的ui技术分别进行识别,这种方式不仅开发难度大,用户使用上,也得有一些相关知识(识别引擎的选择等)。

元素识别完全可以采用图像识别技术,对ui界面的图像进行分析,将潜在的按钮,菜单,输入框识别出来,然后让用户对这些识别出来的控件进行引用,编写逻辑,rpa程序运行时,再次对运行中的程序进行图像识别,然后分析图像中的元素,与之前分析出来的元素做匹配,换算出屏幕坐标,移动鼠标,进行操作。

这种方式完全屏蔽了不同ui实现技术的差异,只需进行图像识别和鼠标键盘操作即可。

而对于用户来说,用户只需要对软件进行各种截图操作,对不同的界面进行截图,然后让Rpa软件进行分析,再对分析出来的UI元素进行编程。

展开
收起
游客otzqlrm3lojeo 2021-09-18 10:44:56 1639 7
0 条回答
写回答
取消 提交回答

图像识别技术可实现精准识别图像中的视觉内容,包括上千种物体标签、数十种常见场景等,为用户提供图像打标、场景分类、颜色识别、风格识别以及元素识别等能力。图像识别技术可广泛应用于数字营销、新零售、广告设计等行业场景。

相关电子书

更多
利用CNN实现无需联网的图像识别 立即下载
《阿里云RPA-引领电商智能提效时代》 立即下载
《阿里云RPA产品介绍4.0》 立即下载