如今，随着物联网、协同/自主机器人、网络物理系统、服务互联网的兴起，工业格局正在经历第四次革命。这种转型，也被称为工业4.0，是物联网与物理系统互联的新领域。它混合了软件、传感器、处理器和通信技术。因此，它在使物体能够将信息输入网络并最终增加制造过程的价值方面发挥了巨大的作用。工业4.0的最终目标是基于图1中引用的一系列技术，为工业网络信息应用构建一个开放的智能制造平台。这个概念被描述为“智能工厂”，旨在将虚拟世界和现实世界融合在一起。工业机器人在工业4.0中扮演着重要的角色。在过去的几十年里，他们参与了相当多的活动。它们正变得更加协作、高效、灵活、安全和多才多艺，它们具有相互交互和与人类安全共事的巨大能力。在大型制造业以及中小型企业中，为工业机器人编程需要花费大量的时间。因此，随着这场革命而出现的一种新的工业机器人编程方法就是增强现实(AR)。“增强现实”是一种将数字信息转化为图像或视频的可视化方式。AR应用于工业任务已经超过20年，例如，它只能用于信息可视化甚至交互。在过去的几年里，AR广泛地参与了不同的领域和活动。
值得注意的是，它参与到教育中来，增强学生的学习动机，训练教师变得更有效率。它还促进了工业生产线或维护任务的数字化。本文回顾了随第四次工业革命而出现的基于ar的工业应用，如维护、装配、远程辅助以及人机交互和机器人编程。
随着工业4.0、数字化和智能工厂的出现，许多制造商开始探索增强现实技术在智能工业环境中的优势。“增强现实”是将虚拟对象集成到现实世界中。因此，它通过在真实物体旁边出现虚拟物体来增强真实性。保罗·米尔格拉姆教授是第一个提出现实-虚拟概念的人。混合现实连续体，如图2所示，是真实环境和虚拟环境之间的一维数组。
之后，作为对米尔格拉姆混合现实的褒义，Mann提出了图3所示的中介现实的概念，用以修改真实视图，而不仅仅是添加它。
本文回顾了最近在工业4.0中使用增强现实技术的项目。在上一阶段，AR在智能工厂的使用涉及并采取了不同的干预。在2014年之前，AR的大部分用例都是用于数据可视化，以帮助员工或者改进维护任务。在那之后，由于远程协助和/或维护，它被开发来帮助员工。并开始用于人机交互协作、机器人编程和机器人轨迹规划。基于对2012年以来实现的大部分项目的分析，说明AR是如何在工业4.0中实施的。
数据可视化、仿真与设计数据显示与仿真是增强现实技术在一般和特殊制造领域的基本应用之一。顾名思义，它只是将数据库中的信息投影到用户界面以供不同用途。
在2012年的设计使用基于“增大化现实”技术的应用程序除了其他一些工业应用,然后一年之后,j . Novak-Marcincin建议类似的模型,使一个用户相关制造过程可视化信息,附加的文本和声学信息相关的工作环境,条件和对象。
2014年，HC Fang展示了一个基于HRI ar的界面，旨在帮助用户在真实工作环境中与虚拟机器人进行交互。他采用了基于AR工具包的手持式设备跟踪方法，该方法是一个带有探针的标记立方体和虚拟机器人注册。它允许用户与工作环境的空间信息交互。它可以指导虚拟机器人进行路径规划和末端执行器的定位规划。实际工作环境、虚拟机器人模型、轨迹信息以及交互过程通过监视器显示出来。同年，V. Paelke也提出了类似的申请。同年又提出了另一个具体的制度。Lofvendah与ABB合作开发了一个android应用程序，该应用程序使用AR显示ABB工业机器人SafeMove坐标。该应用程序旨在帮助工程师验证SafeMove设置。首先，用户在SafeMove中输入坐标，该坐标将创建一个区域，然后创建其虚拟模型。然后，他们需要跟踪机器人，以便放置安全区的虚拟模型。他们在真正的机器人周围放置了几个基准标记，以便知道该把模型放在哪里。增加了一个功能，允许调整安全区。接下来，需要对虚拟模型和真实模型进行校准。最后，需要在机器人和应用程序之间进行最后一次通信。要使用该应用程序，用户必须手持平板电脑，并将其指向机器人，然后他将在屏幕上看到带有虚拟安全区的增强对象，以及机器人可能的动作和可触及的区域。最后，他们与ABB员工一起测试了他们的应用程序。他们面临的一个问题是一直拿着手机。因此，一种解决方案是用可穿戴设备替代平板电脑，比如AR头戴设备。
2015年，一个增强现实互动空间在意大利展出。它的目标是可视化和与虚拟对象和模型交互。
在同样的背景下，J. Chardonnet在2017年基于AR开发了CNC辅助机床。它在平板电脑或可穿戴设备上投射有关过程状态的个性化信息和机器的实时3D模拟。同年，S. Suto发布了一个基于ar的人机协作仿真应用。他的主要想法是利用Kinect传感器将人类的手势数字化，以在虚拟空间中模拟碰撞，从而避免在真实空间中发生碰撞。此外，它还能够为机器人生成无碰撞的轨迹。作为一种常见的应用，D. Mourtzis最近开发了一种基于ar的计算机辅助制造系统，该系统可以提供信息文本、安全区域、逐步操作说明和其他指示，如图5所示。
该系统提高了对出现问题的思考和解决效率。该公司还在2018年预先设计了一种基于触摸屏的交互界面，以增强人机交互。该原型允许用户设计自己的物体形状，并将产品转换成g码，然后打印出来。该应用，以及所有提出的原型和系统，证明了该技术的性能，使模型的仿真，可视化的虚拟对象，并与他们的交互如真实一样容易。
维护大约占生产生命周期核心活动的60%到70%。由于意外的机器故障可能会耗费大量时间，而且会直接影响生产力，因此AR已成为处理日益复杂的维护过程的一种启用技术。R. Palmarini在他的系统文献综述(SLR)中突出了AR在维护应用程序中的几个实现。图6代表了在整个30个研究中AR在维护中被使用的应用领域。迪尼也得出了同样的结果。机械领域是应用的最高领域，如下图所示，它包括不同部门的维修活动，如航空、汽车和军事…在同样的单反中，帕尔马里尼也提到了维护操作的比例:33%的拆卸和装配操作，26%的修理操作，26%的检查和诊断以及15%的培训操作。
后来，他提出了一种基于ar的维护方法。他的创新系统旨在通过指导员工确定每项不同操作的要求和约束来支持维护任务。方法是开发一个问题列表，直接对问题的要点有帮助。Webel将培训定义为将维护技能传授给技术人员的过程。他开发了一种基于多模式ar的维修技能培训的新方法。Mourtzis在一个使用增强现实技术的用于远程维护支持的产品服务系统平台中提出。这个平台使技术人员和制造商专家能够交流维护说明，交换数据和反馈报告。图7详细说明了此解决方案的建议架构。它由三个步骤组成，每次执行三个步骤:(i)编写故障报告，(ii)诊断和生成AR维护指令，(iii)维护和评估。首先，系统为计划维护或意外故障注册一组特性的报告，然后将其发送给维护支持提供者。查看报告后，它创建一个增强的故障报告，其中包含一个基于云的反馈机制，将在短时间内发送给制造商。如有需要，专家可协助技术人员进行AR指导。该系统的硬件设计使用了三种主要设备:一套光学透明增强现实眼镜、一台笔记本电脑和一台移动设备。
对于一个无手视觉系统，他们使用AR头戴设备。然后，计算机是负责执行AR应用程序和通信处理程序的元素。第三个要素是移动设备，它考虑了运营商和增强现实应用程序之间的通信接口。AR在维修中的应用有很多实例。之前的文献引用了维护和维修任务的不同应用。所有之前的研究和工业项目都证明了在维修中使用增强现实技术可以减少机器故障时间，提高员工更快地解决问题的能力。
装配和/或拆卸是产品生命周期中不可避免的关键过程。X. Wang发表了一篇非常详细的AR组装研究综述。他将装配定义为将某些部件组合在一起，以形成所期望的具有良好附加值的产品的操作。此外,他解释了如何基于“增大化现实”技术解决了装配中的两个主要问题是:1)用户需要确定技术规范和约束如交配表面、轴和边缘是一个非常复杂的任务,2)3 d软件不能帮助用户直接交互的部分没有手动操纵它们。然而，AR的出现是为了在用户和产品之间建立一种务实的协同作用，它将所有增强和真实的对象结合在一起，并使操作各个部分成为可能。ARDIS是M提出的用于产品拆卸的ar指导应用。张。ARDIS自动生成信息，无需任何外部/人工干预。因此，它使拆卸过程更加直观和高效。结果表明，该方法的应用对再制造作业也有很大的影响。MotionEAP是另一款德国研发的AR工业组装接口。MotionEAP有许多功能和选项，例如1)它向工人和所有步骤发送指令，2)它识别工人的活动和实际的装配步骤，3)它能够在不同的级别提供视觉反馈。另一个由C提出的德国AR组装接口。Kollatsch，如图8所示。
它主要由四个阶段组成。首先，从真实的装配线和真实的对象开始进行过程数据的采集。然后，系统收集所有的零件信息和细节，首先传送，然后存储在数据库中。最后，是项目必要的协助，以用户完成组装操作。Kollatsch选择了一个Android设备来可视化他的组装应用程序。大多数受访工人在装配过程中对使用这种应用程序给予了积极的反馈。最近，Danielsson采用了类似的方法，但他将手持设备换成了AR头戴式设备，即AR眼镜。在他的工作中，他展示了关于在汽车装配中使用这种技术的用户采访的结果。所有提出的基于ar的系统都在整个装配或拆卸过程中为用户提供帮助。它提供了组装过程的正确信息和操作的逐步方法。
远程协助，通常称为see-what-I-see远程合作，是随时随地与专家现场连接的能力。无论何时出现紧急问题或复杂问题，工作场所的员工都可以很容易地与外部专家取得联系，进行快速诊断。这种增强现实应用是双方实时共享的接口。工厂中的维护任务是非常关键的，因此需要快速有效的干预。D. Mourtzis和M. Fiorentino粗略地介绍了使用AR进行远程维护。然后，Fiorentino对这方面的效率进行了评估。几乎相同的是，介绍的ACAAR系统允许用户添加数字信息，如文本、图片或计算机辅助设计(CAD)模型。此外，它还可以解释有关所需维护任务的内容。F. Ferrise在AR申请中建议进行远程维护。它的目的是使位于控制室的专家与位于承诺上的普通技术人员连接起来。
如图10中的示例所示，专家通过使用符号、文本和一些信息指出问题所在。一名工作人员携带着一个增强现实设备，该设备可以记录他所看到的实时视频流以及其他数据，如传感器信息。视频必须从外面发送给专家，他可以提供精确的解决方案和额外的实时信息，所以他不需要搬到工厂解决问题。所有以前的应用程序和工业代理谁测试了这项技术在他们的实验室证明，远程协助减少了机器停机时间，节省了金钱和时间。
为工业机器人编程的方法每天都在增加，以使其更容易、更快和更便宜。Z. Pan在他的综述《工业机器人的不同编程方法》中详细介绍了。他讨论了两种传统的编程方法:在线和离线机器人编程(OLP)。在在线编程过程中，机器人操作员手动移动机器人来执行简单的任务。这是一个有效的方法，但超时它不能处理复杂的程序。OLP使用3D CAD模型生成程序。操作员在将程序下载到真正的机器人前，可以对程序进行检查和模拟，如安全区、可达性、动作等。在OLP中甚至可以使用额外的传感器。这种方法比在线编程更复杂，需要更多合格的工程师和更多的时间。最近，增强现实技术开始被用于使机器人编程变得非常简单，以至于任何非专业的机器人程序员都能够设置任何工业应用程序。虚拟现实技术在机器人编程中的主要应用是人机交互、机器人操作和路径轨迹规划。
工业4.0带来了人机协作的革命，并引入了人机协同工作的机器人，也被称为“cobots”。协同机器人正变得越来越有适应性，并且意识到他们的合作者。这就产生了关于交互和协作过程的研究。的建议和最成功的技术之一是基于“增大化现实”技术。它被用作:一个接口,用于可视化和交互的,三分之一的观点为机器人的意图可视化呈现,一个应用程序来支持HRI和合作等,一个示教器接口中定义,或一个接口,用于指导用户在演示了在一个陌生的装配操作。Maly对AR界面在人机交互中的应用进行了评价。在他开发了一个用于工业机器人可视化的增强现实应用程序，突出了机器人的部分部件和安全区域检测之后，他对他的原型进行了评估。六名参与者参与操作系统的功能。他们都对数据的可视化表示满意，并很好地证实了手势的快速，除了一些手势检测不正确，这意味着原型并不是100%的成功。本节介绍了一些基于ar的HRI，专门用于可视化和人机协作操作，但这并不是它用于机器人的唯一应用。最近，它开始不仅仅用于可视化，还用于机器人编程。
技术革命的目的是让物体变得更加智能，这样人类就可以很容易地与它们进行交流和处理。将AR应用于机器人操作也是为了使人与机器人的交互更容易，即使非专业操作人员也不需要浪费很多时间来练习如何移动或操作一个机器人，特别是在工厂中cobots数量的重要增加。2016年，Chryssolouris提出了一种机器人编程方法，只使用肢体和手势，不使用任何编程语言进行机器人操作。系统的架构如图11所示。布局此应用程序中使用的方法。
高级机器人编程是通过使用由中间设备或传感器跟踪的身体和手势词汇形式的命令来实现的。通过预定义的手势，用户可以控制机器人在x、y、z三轴上的移动，例如，要使机器人向+x方向移动，用户必须向上伸出右手，向下按住左手。要沿着y方向移动，操作者必须将右手伸到肩膀的高度并指向左侧。同年，又提出了另一个类似的制度。这个想法是关于一个增强现实手持设备提供一个基于任务的机器人控制界面。他们用19个工业机器人程序员测试了这种方法，他们确认这种方法有效地减少了程序员在编程操作过程中的脑力需求以及所需的时间。一年后，我。王致力于一个虚拟增强机器人装配命令和指令的应用程序。R。Matarneh开发了一种机器人装配过程模型的语音控制方法。最近在2018年，J。Wassermann提出了一种全新的方法，旨在操纵基于云系统的机器人。主程序生成控制指令，然后创建AR仿真和碰撞检测。增强现实技术提供了许多强大的功能，帮助非专家的工作人员在机器人编程任务。此外，它减少了编程过程中的错误风险，提高了指令的效率。
机器人协同操作对路径和轨迹规划有很高的精度要求。使用增强现实技术编写协作机器人时，最困难的问题之一是机器人的遥操作，因此规划机器人的路径。2012年，新加坡首次提出了使用AR进行路径规划和末端执行器定位的研究。所建议的方法，如图12所示，旨在从一系列碰撞自由体积(CFV)中创建一条路径。然后通过凸优化方法对路径进行优化，得到最佳时间轨迹。最后对虚拟机器人和规划轨迹进行了仿真。
研究人员测试了这个方法来完成挑选和放置任务，如图12所示。(e)和(d)，但是这项工作是为虚拟机器人而不是真实的机器人。两年后的2014年，该研究小组提出了一种基于欧几里得距离的方法。
图13说明了CFV方法在建议方法中的应用。首先，通过记录交互设备的运动创建一个虚拟球体和一个CFV区域。然后，通过移动交互装置记录一个参数轨迹。然后，利用欧几里得距离法从空间点形成无碰撞轨迹到感兴趣点。当机器人路径生成后，CFV验证机器人的EE在移动过程中是否仍然沿着CFV。该方法也为机器人所有运动系统的无碰撞轨迹提供了可能。实验结果表明，该方法作为一种教学方法，具有较高的精度。下一个基于ar的机器人路径规划是C. Chu在2016年提出的。通过实例证明，该方法能够有效地促进机器人路径规划的实现。首先，通过外部视觉设备捕获、分析和处理真实物体。然后，将结果与所提供的虚拟对象相结合。最后，当检测到与障碍物或物体发生碰撞时，系统会实时发布视觉信息。2017年，M. Tessarotto提出了一种基于AR的工业机器人路径规划方法，该方法侧重于离线的AR而不是在线编程，与所有基于AR的机器人编程和路径规划方法一样，即使对于不熟练的操作人员，也变得可行且容易。记录轨迹是该方法的第一步。操作员通过软件界面或HTC Vives控制器记录轨迹，用于在线机器人编程。记录轨迹后，它可以在整个程序中虚拟显示和修改。过滤可能的修改是:“距离”,删除一些点的轨迹平滑运动,“压扁”改变每一个点的路径平滑它本身,“抵消”移动轨迹,以用于不同的环境和“只可及”的规范,使轨迹是否必须包含所有的点或者排除点无法达到机器人。随后，需要一系列“位置/时间”或“位置/速度”轨迹形式组合，以创建要发送给控制器的机器人程序。最近在2018年，“ARTool Zero”框架被提出来支持用户进行轨迹规划。它也使产生以及模拟的部分程序，指导触摸探针识别必要的几何特征。ARTool Zero使用标记将整个移动设备的坐标显示到机器上，目标是将空间中的2D平面转换为3D平面。大多数现有的机器人路径规划方法是耗时的，可能需要复杂的软件工具，这意味着专家工程师开发的程序。新的用户友好的基于ar的路径规划功能使这一操作更容易，甚至可能的非专业工作者。大部分的作品使用AR可视化建议的路径和无碰撞轨迹。基于ar的路径规划程序的数量正在增加，这些程序除了简单的人工干预外，还允许高效、轻松地编程轨迹。
总结
这篇文献综述讨论了自2012年以来AR在工业工厂的应用演变。基于本文所介绍的项目，AR技术已在多个领域得到应用。然而，利用的类型是随着时间而演变的。在一开始，几乎所有的应用都是为了数据可视化，包括仿真和设计，这意味着三维产品或与真实物体相关的特殊信息的可视化。然后，它被用来在维护操作或装配/拆卸期间支持工人，AR系统显示由系统本身生成的辅助信息。与此同时，远程协助操作似乎在远程协助远在工厂之外的专业工程师现场的技术人员。远程协助主要用于维护任务和意外的机器故障。此外，随着协同机器人的日益存在，增强现实技术正被用于人机交互。类似地，它从可视化任务开始，然后是人工辅助。直到最近，增强现实技术在工业4.0中被用于机器人操作和轨迹规划。虽然它最近实现了机器人编程，但基于ar的功能仍然可以更强大，需要在这个领域进行开发。此外，随着协同机器人的发展及其在工厂中的重要作用，HRI和任务操作应该对任何工人都是可行的，尽可能简单。这将减少成本和时间的编程机器人，以及增加效率和有效性，以及。因此，在这一背景下还需要做更多的研究。
关于effiar
effiar是专注工业领域的AR工业云平台，支持国内外多款主流智能眼镜。使用effiar平台，无需技术就可以通过effiar任务管理中心进行拖拽等简单操作，为特定业务场景定制智能眼镜方案应用。该平台包括专家远程协作、工作流、AR、数据互联、多媒体知识库等多个模块，使用者可以根据业务需要自由剪裁或者互相嵌套。AR巡检、AR工业应用及AR远程协助等可以直接在effiar平台使用，无需繁杂步骤即可上手。
详情可访问effiarAR工业云平台
