AIR 055|机器人抓取操作专家孙宇教授专访

简介:

引言

机器人学习与机器学习相比是有所不同,机器人学习更加强调在现实世界中与实际物体进行接触,而机器学习则大多数是在虚拟的环境下进行的。机器学习中,解决机器智能臂又是一个尤为重要的事情。人的骨骼有206个,手的部分就占了1/4。手是人身体最为灵活的部分,想要造出一个完整的智能机器人,智能手是必不可少的。本文会就关于机器臂方面对孙宇教授进行提问。

您今天的演讲题目是“机器人灵巧手抓取的复兴”,您能说说如何看待“复兴”二字?

机器人抓取是一个很古老的话题,学术界在80年代做的也是非常多的,但是它有一个低潮期,就是90年代和2000年;我个人认为其原因是大家都认为所能做的事情不多了,例如我在会上就有提到,在1983年机器手就已经做得非常先进了。但是有许多的瓶颈无法解决,因为无法解决这些问题,许多的科学家就去做别的事情去了,比如在80年代徐教授还有其他的教授都是做机器臂和手抓的,但是由于问题无法解决就转换了研究方向。在2000年或是05年,我们就认为机器手或是手抓是一定要解决的问题,因为不解决这个问题机器人就变成了智能在地上走或是没有胳膊的机器,他没法做任何事情只能是看起来很酷但是实用性不大。所以我们也是正好赶上了机器学习有了很大的发展,通过机器学习来解决人手的一些技能,然后AI也有一个很好的发展,所以说正好是一个比较好的时期。

您研究的研究的机器臂能像人类一样感知物体材料并使用相应的力度将其拿起来,请问是使用了特殊的材质还是特殊的算法?

对于这个问题,可以从几个角度来讲,在机器人领域当中有几个不同的方向,对于我们来说要考虑的就是在手抓的时候,手抓力的反馈。手抓力的反馈就涉及到一个比较重要的领域就是haptics(触觉学),在这个领域需要比较好的传感器,目前的问题就是没有比较便宜的传感器用在机器手上。再接着需要用机器学习来进行训练。

您的智能机器臂是机器与算法相结合,您比较看好哪一种算法?

对于我们来说,我们认为现在的AI在下棋中做得很好,但是最大的问题AI不能与自然界的物体进行实实在在的接触。我们的要做的是尽量得到接触上的信息,然后利用这些信息来研发我们自己的智能算法。其中最重要的是对任务要有很好的了解,表达。你的手抓就要满足任务的要求。

您的机器臂是基于手指因接触产生压力而变色的原理一系列的定位,追踪,以及基于阴影和视深原理的视觉定位等技术,您认为手抓中最为关键的是哪一个技术?

我可以广泛的讲一下这里面都用到的技术就是视觉技术,这一视觉技术的应用范围十分的广泛。我们理念是希望以后的视觉技术能对自然界或是人类能有一个高清的观察,我们所做的观察就是手指头的变化,通过计算机视觉的算法得到一个力量。你在问题中所提到的阴影技术就是另外一个项目,阴影是用二维相机来得到三维的信息。我们都知道在我们抓一个东西或是取一个东西的时候,我们不光要知道二维信息还要知道三维信息,在什么位置,有多高。当时三维相机十分的昂贵,我们当时就是希望利用阴影能更好的得到三维信息。

手指甲盖颜色变化的灵感是来自何处?

这一想法并不是我们先提出来,当时我们跟MIT有一个合作,他们做的就是一个简单的光传感器。我们想用他们的光传感器做虚拟现实,但是发现他们的传感器并不好用,因为贴在手指甲上的话,条件光会有很大的影响,所以就觉得可以用视觉,这样就不需要把东西放在手指甲上,可以放到任何一个地方,这样就可以得到颜色的变化。

人的手有27个自由度,对于控制算法来说要求很高,是什么让人形机器手重新流行?

正如我今日所说,人形机器手还有很多问题。首先成本高,造价昂贵。想要它重新流行起来并不困难,但必须得解决造价高的问题。只要造价降下来,其他问题都可以迎刃而解。如果价格低,每个人都可以制造,大家群策群力问题都可以想办法解决。

您可以说一下,中美日三国在机器人上的不同吗?

我了解的也不是十分全面,简单的说一下我自己的看法。首先我觉得美国这两年赶上和超过日本,因为日本在80,90年代发明了许多机器人东西,包括3D 打印,开始都是日本的专利。现在3D打印这么火是因为日本的专利过期了,大家都可以用3D打印,这样打印机器的成本就降下来了。美国之所以能赶上并超过日本是因为他们的目标和定位做的十分好。美国最近这一段时间做的是人工智能这一方面。大家都知道日本的机械设计这方面做得非常好,但是他们的软件发展不是很好,没有赶上IT发展的大潮。对于美国来说,他们相当于IT的开始者,IT的发展就需要处理信息,这样就引起了人工智能的发展,使用AI来处理信息。自然而然美国的AI就要比其他国家发展的就要更快。我觉得日本关键在于软件和IT这一方面落后于美国。我觉得中国的好处就是,并没有做哪一个会做得好的局限,这样就可以想做什么就做什么,就是可以在两方面都进行追求。比如在南方有些企业做齿轮做得很好,百度还有其他的大公司做AI做得也是十分的好。虽然这两方面与美国和日本都有一定的差距,但是在这两方面都做得很好。

您所上的课中有一门是给medical school学生上的,这与给CS和EE专业学生所上的课相比有什么不同?

我们当时是与医学院有一些合作,医学院的教授就认为机器人会在医疗领域会有很大的应用。传统的医学训练并没有使这些医学院的学生接触新的科技,他们可能有机会知道达芬奇的医疗机器人,但是在医学院进行训练时,并不是所有的人有机会接触到。所以医学院的教授就是希望通过这门课让医学院的学生知道了解这些高科技,再以后他们成为医生之后想在哪些方面可以使医学发展的更好。

限制机器手发展的因素有哪一些?

首先就是成本的问题,不是所有的人都能拿到昂贵的机器手来进行研究,比如我实验室买的一个机器手需要花费我3万美元,这还是很简单只有4个自由度的手。还有一个问题是如何控制这些自由度,以及如何得到视觉的结果,并把视觉结果用在手抓上面去。但是这两方面都有很大的解决,人们开始发明一种简单的机器手,关节较少的机器手但也可做很多的事情。其二,视觉领域方面也有很大的进步,例如微软的三维相机,这样就能更加容易得到三维信息。

机器人手抓会用到哪一个方向或是领域比较好?

正如我刚才所说的机器人手抓取是非得解决的问题。我认为影响最大的领域是服务机器人,如果服务机器人没有办法抓取东西来,并把他交给客人,这是不称职的服务机器人。

现在的技术突破和发展局限是什么?

局限是我希望大家都清楚计算机智能和机器人智能不是完全相等的两个事情。现在计算机智能在虚拟世界,例如游戏或是棋类,这类不需要物理或是实实在在接触的领域内做的很好。IT领域都是信息交流,都是在处理数据。在这些领域人工智能都处理的很好,但一旦涉及到实实在在的接触就会有很多的问题,接触的话就会发生差之毫厘失之千里的事情。抓东西时,如果只差一点点那么结果就会有非常大的区别。此外技术上最大的突破我认为是机器人灵巧手是可以使用工具的,以前研究的重点都是在抓取或是抓起之后进行转移。人类之所以比其他动物先进是因为我们能制造和使用工具,而不是只会抓书或是抓其他的东西。我们意识到这一点之后就会更好地对任务进行理解。我认为AI和学习对于任务的理解是十分重要的,通过对任务理解之后的表达理解进而选出最优的抓东西方案。


本文作者:陈圳


本文转自雷锋网禁止二次转载,原文链接

相关文章
|
人工智能 自然语言处理 达摩院
阿里云峰会 | 来听听达摩院技术专家是怎么讲智能外呼机器人技术
近日,在2020阿里云“全速重构”峰会上,阿里巴巴副总裁许诗军提到一个数字“11182”,在海口抗疫期间,利用AI技术在2小时内完成11182次外呼,极大提升防疫人员工作效率,而这背后正是智能外呼机器人技术的应用。
1343 0
阿里云峰会 | 来听听达摩院技术专家是怎么讲智能外呼机器人技术
|
11天前
|
Web App开发 机器人
小白一学就会的 小红书全自动写文发文机器人-抓取爆款笔记(一)
小白一学就会的 小红书全自动写文发文机器人-抓取爆款笔记(一)
23 4
|
16天前
|
机器人
北大推出全新机器人多模态大模型!面向通用和机器人场景的高效推理和操作
【6月更文挑战第29天】北京大学研发的RoboMamba是新型机器人多模态大模型,融合Mamba SSM的高效推理与视觉编码器,提升复杂任务处理能力。通过微调策略,仅用少量参数即可快速习得操作技能,实现在通用及机器人场景的高效运行,推理速度提升7倍。尽管面临泛化和可解释性挑战,RoboMamba展示了多模态模型的新潜力。[论文链接:](https://arxiv.org/abs/2406.04339)
19 1
|
2月前
|
机器学习/深度学习 算法 机器人
论文介绍:使用仿真和领域适应提高深度机器人抓取效率
【5月更文挑战第11天】研究人员提出结合仿真数据和领域适应技术提升深度机器人抓取效率。通过在仿真环境中生成多样化抓取数据并使用GraspGAN和DANN进行像素级和特征级适应,使模型能在现实世界中更好地泛化。实验表明,这种方法能减少现实数据需求,同时保持高抓取性能。尽管面临物理差异和成功率挑战,该研究为机器人抓取技术的进步提供了新途径。论文链接:https://arxiv.org/abs/1709.07857
36 5
|
11月前
|
存储 机器人 网络安全
把QQ机器人挂在云服务器上,可以按照以下步骤进行操作
如果您想将第十代QQ机器人挂在云服务器上,可以按照以下步骤进行操作。 1、购买云服务器 首先,您需要选择一个可靠的云服务提供商,如阿里云等。在选择云服务提供商时,您需要考虑以下几个方面: 2、服务器的配置:选择适合您的需求的配置,包括处理器、内存、存储和带宽等。 价格:根据您的预算选择合适的云服务器。 可靠性:选择具有高可用性和备份机制的云服务提供商,以确保您的数据和应用程序的可靠性。 数据中心位置:选择与您的目标受众地理位置相近的数据中心,以提高应用程序的性能和响应速度。
|
机器人 测试技术 Python
python操作钉钉机器人推送消息
python操作钉钉机器人推送消息
|
机器人 计算机视觉
首次机器人抓取云竞赛引国际学界广泛关注和参与
近日,阿里巴巴达摩院人工智能实验室与University of South Florida等国外著名研究机构共同举办了世界首次机器人抓取云竞赛:OCRTOC竞赛。OCRTOC竞赛聚焦于机器人抓取能力以及桌面物品整理的应用场景,旨在成为机器人抓取技术领域的ImageNet。OCRTOC竞赛获得了国际电气电子工程师协会两大技术委员会的大力支持,并成为国际机器人顶会IROS2020的正式官方赛事,吸引了全球顶尖学府的关注!
362 0
首次机器人抓取云竞赛引国际学界广泛关注和参与
|
数据采集 供应链 机器人
Python - 抓取 iphone13 pro 线下店供货信息并发送到钉钉机器人,最后设置为定时任务
Python - 抓取 iphone13 pro 线下店供货信息并发送到钉钉机器人,最后设置为定时任务
410 0
Python - 抓取 iphone13 pro 线下店供货信息并发送到钉钉机器人,最后设置为定时任务
|
机器学习/深度学习 存储 人工智能
教机器人捏橡皮泥?MIT、IBM, UCSD等联合发布软体操作数据集PlasticineLab
「PlasticineLab」的提出,或为软「PlasticineLab」的提出,或为软体动力学领域的众多研究提供了新思路。体动力学领域的众多研究提供了新思路。
201 0
教机器人捏橡皮泥?MIT、IBM, UCSD等联合发布软体操作数据集PlasticineLab
|
算法 机器人 开发工具
机器人真·涨姿势了:比肩人类抓取能力,上海交大、非夕科技联合提出全新方法AnyGrasp
在近日召开的 ICRA (国际机器人与自动化会议)大会上,上海交大-非夕科技联合实验室展示了最新研究成果「AnyGrasp」(https://graspnet.net/anygrasp.html),第一次实现机器人对于任意场景的任意物体的通用高速抓取,在机械臂硬件构型、相机不作限制的情况下,让机器人拥有比肩人类抓取能力的可能。
680 0
机器人真·涨姿势了:比肩人类抓取能力,上海交大、非夕科技联合提出全新方法AnyGrasp