这个APP能把操作视频自动转换成AR教程,手把手教你修家具-阿里云开发者社区

开发者社区> 知与谁同> 正文

这个APP能把操作视频自动转换成AR教程,手把手教你修家具

简介:
+关注继续查看
本文讲的是这个APP能把操作视频自动转换成AR教程,手把手教你修家具,小说或者影视剧里经常会有这样的情节:女生找男生修个电脑,邻居找对门儿修个灯泡儿什么的,从此两人就结下了不解之缘。但在现实生活中,不是每次东西坏了你都知道该怎么修,这个时候你可能就需要费劲地在家里东翻西找,为了一纸说明书而急得满头大汗。

现在好了,德国初创公司IOXP开发的一款APP能帮我们解决这个问题了。

这个应用程序可以先给一个在正确执行任务的人录好视频,然后借助人工智能技术将其自动转换为AR教程。只要我们的设备支持AR,未来就能把教程下载下来,一边接受专家的指导一边进行实操维修。

AR教程让你一边接受专家指导一边进行实操维修

图片来源:Chesnot/Getty Images

想通过IOXP系统创建AR教程,首先要使用标准摄像头记录下完成任务的人是怎样进行操作的。这些操作可能是给车换机油、安装锅炉或者做十字绣等。接着通过大量的计算机视觉算法将视频分解成可被理解的不同模块:检测人手的操作位置、操作动作以及识别不同的对象。之后系统将生成一个电子手册,该手册分步骤详细说明了这一任务是如何完成的。最后,它被自动转换成AR版本的教程。

最重要的一点是,AR指导手册一旦识别到用户面前的任务就会自动启动。 例如,如果工程师正在机器上执行一些基本维护,那么其AR头戴设备上的相机将会自动识别身前的机器。

“然后你就能看到专家的手出现在你面前,告诉你如何操作,”德国人工智能研究中心的专家、IOXP的联合创始人之一Didier Stricker说。如果用户碰到了错误的表盘或零件,手将会被投影成红色,系统将重播用户要执行的操作,突出显示人手、相关旋钮、表盘、零件等,而且精确程度能保持在半厘米范围内。

在德国,世界五百强Bosch集团已经与部分工程师一起试用了该系统,目前正致力于对外推广。

事实上,有不少AR设备生产商都承诺AR技术会让所有不熟练的菜鸟变成维修的专家。无论是想更换汽车的机油还是在不流泪的情况下学会切洋葱,未来的AR头显将会在现实环境里投射一则操作说明(教程),然后像一位经验丰富的专业人士那样来指导我们,并且耐心地纠正操作过程中所犯的错误。

这个想法听起来很不错,但是遇到的一大阻碍就是制作这些包含操作说明的教程不仅困难而且还很昂贵。 这就是为什么AR教程目前通常是那些有钱的公司在使用,比如维修战斗机那种的公司。但德国的这家初创公司想让每个普通人都享受到AR带给生活的便利。

“我们开发这个应用程序的目的是让每一个在家里修东西的人都可以把操作教程下载到他们的AR设备里,这样的话设备就能向他们展示维修的方法,并且能在很短的时间里教会他们如何维修,”IOXP的联合创始人Stricker说。

要说这种带指导性的教学视频Youtube上已经有一个系列了(Youtube上的 “how-to”视频),为什么还需要看AR教程来学呢?Stricker的解释是“YouTube确实覆盖了很多我们想学的维修技术,但是当我们的操作有误时,那些视频不会自动提示我们的错误。”

来自英国谢菲尔德大学高级制造研究中心的Rab Scott这样评价:“IOXP开发的这个应用程序能从普通视频中自动提取操作信息生成AR教程,这中间的工作量是巨大的。”这意味着IOXP系统的信息提取技术已经比较成熟。

当然对有些人来说,出现带有AR说明的平板包装家具只是一个时间问题。 “宜家(Ikea)在YouTube上上传了很多操作视频。 未来如果要把那些视频内容转换成一个增强现实的应用程序的话,利用IOXP的技术将会更简单一些,”Scott说。

此外,IOXP的这一技术不一定只局限在头显设备上,手机或平板电脑也同样支持。想象这样一个场景:某一天你想要更换锅炉上的零件,然后在手机上打开这款APP,之后正确的零部件位置就会出现在你眼前,它还向你展示如何拆解旧的零件,完成之后它要么提示你继续下一步,要么告诉你刚才的操作有误,需要重新调整。

Scott认为这样的技术未来几年会变得越来越重要,尤其是对英国这样的国家。“在英国,百分之六十的工程师都已超过50岁。除非我们可以保留这些工程师的知识并将其有效地传递给下一代工程师,否则英国将在15年内’从知识的悬崖跌落’。”


本文作者:佚名

来源:51CTO

原文标题:这个APP能把操作视频自动转换成AR教程,手把手教你修家具

版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。

相关文章
《 自动化测试最佳实践:来自全球的经典自动化测试案例解析》一一3.1 本案例研究的背景
本节书摘来自华章出版社《 自动化测试最佳实践:来自全球的经典自动化测试案例解析 》一 书中的第3章,第3. 1 节,作者:(英)Dorothy Graham Mark Fewster 著 ,更多章节内容可以访问云栖社区“华章计算机”公众号查看
950 0
bash 常用操作
删除不为空的文件夹 rm -rf dir_name
526 0
android sqlite SQLiteDatabase 操作大全 不看后悔!必收藏!看后精通SQLITE (第二部分)
使用SQLiteOpenHelper对数据库进行版本管理 如果应用使用到了SQLite数据库,在用户初次使用软件时,需要创建应用使用到的数据库表结构及添加一些初始化记录,另外在软件升级的时候,也需要对数据表结构进行更新。
1159 0
直播APP源码,视频直播技术篇 。
直播行业现在是越发的火热,人们对于视频直播的热情也是久盛不衰,云豹直播的技术人员在这里就教大家编写一个小小的视频直播片段。Windows Media Player 系列(不同面板样式) 综合型:id=MediaPlayer type=application/x-oleobject width=21...
2861 0
Direct2D教程VI——转换(Transform)
目前博客园中成系列的Direct2D的教程有 1、万一的 Direct2D 系列,用的是Delphi 2009 2、zdd的 Direct2D 系列,用的是VS中的C++ 3、本文所在的 Direct2D教程 系列,用的是VS2010的Visual Basic语言(可以很方便的转为C#),基于Windows API Code Pack 1.1。
777 0
Directx11教程(42) 纹理映射(12)-简单的bump mapping
有时候,我们只有一个粗糙的模型,但是我们想渲染纹理细节,比如一个砖墙,我们如何在只有一个平面的时候,渲染出砖墙凹凸的效果。    比如只有这样的墙:   但是我们想要这样的效果: 怎么办呢?这时候,我们可以考虑对第一张图进行处理,生成它的法向图,存储在一张纹理中,生成...
683 0
+关注
10077
文章
2994
问答
文章排行榜
最热
最新
相关电子书
更多
《2021云上架构与运维峰会演讲合集》
立即下载
《零基础CSS入门教程》
立即下载
《零基础HTML入门教程》
立即下载