谷歌这一新技术,不需要摄像头就能读懂你所有的肢体语言

简介: 本文最初发布于 WIRED 博客,由 InfoQ 中文站翻译并分享。

如果你的电脑因为注意到你没有坐在办公桌前而决定不响起通知铃声,会怎么样?如果你的电视看到你离开沙发去开门,并自动暂停 Netflix,然后在你坐下来的时候继续播放,会怎么样?如果我们的电脑能从我们的动作中获得更多的社交线索,并学会成为更体贴的伙伴,会怎么样?

这听起来很有未来感,当然,或许还有点侵入性——一台电脑在监视你的一举一动?但是,如果你知道这些技术不必依靠摄像头来观察你的位置和行为,就不会觉得那么恐怖了。作为替代,它们使用了雷达。谷歌的先进技术和产品部门—也就是我们常说的 ATAP,该部门是诸如触控式牛仔夹克等古怪项目的幕后推手——在过去一年里,他们一直在探索计算机如何利用雷达来了解我们的需求或意图,并作出适当的反应。

这并不是第一次了,谷歌使用雷达为其小设备提供空间感知能力。2015 年,谷歌发布了Soli,这是一个可以使用雷达电磁波的传感器,可以精确地捕捉到手势和动作。它首次出现在谷歌Pixel 4中,可以检测简单的手势,使用户不需要实际触摸智能手机就可以休眠闹钟或暂停音乐。最近,第二代Nest Hub智能显示器也嵌入了雷达传感器,可以检测睡在它旁边的人的动作和呼吸模式。这样,该设备就能够跟踪该人的睡眠,而且不需要他们戴上智能手表。

同样的 Soli 传感器也被用在了新一轮的研究中,但是,ATAP 不是使用传感器输入直接控制计算机,而是使用传感器数据使计算机能够识别我们的日常动作并做出新的选择。

ATAP 设计主管 Leonardo Giusti 说,“我们相信,随着技术越来越多地进入我们的生活,要求技术从我们这里获得更多的线索,是公正的”。就像你妈妈可能会在你出门前提醒你拿好雨伞一样,也许恒温器可以在你走过时传达同样的信息,或者是电视机检测到你在沙发上睡着了时降低音量。

image.png

人类进入计算机的个人空间(图片由谷歌提供,点击查看动图)
https://media.wired.com/photos/621d440b012d204592145b54/master/w_1600,c_limit/2circledemo.gif

Giusti 说,许多研究都是基于空间关系学,即研究人们如何利用他们周围的空间来促成社会互动。当你离一个人越近,就越期望增加参与度和亲密感。ATAP 团队利用这一点和其他社会线索证实,人和设备都有自己的个人空间概念。

雷达可以探测到你向电脑靠近并进入其个人空间。这可能意味着电脑可以选择执行某些动作,如启动屏幕,这个过程不需要你按下按钮。目前,谷歌Nest智能显示器已经具备了这种互动能力,不过谷歌用的不是雷达,而是超声波来测量人与设备的距离。当 Nest Hub 检测到你正在靠近时,它会高亮显示当前的提醒事项、日历活动或其他重要通知。

仅仅靠近还不够。如果你最终看着不同的方向,从机器旁边走了过去,怎么办?为了解决这个问题,Soli 会捕捉到动作和手势中的更多细节,如身体的方向,你可能走哪条路以及头的朝向——并在机器学习算法的帮助下,进一步完善这些数据。雷达获取的这些丰富的信息有助于它更好地预测你是否真的要开始与设备互动,以及可能的互动类型。

这种感知改进来自于该团队在自己的起居室内执行一系列精心设计的任务(他们在大流行期间呆在家里),并使用了头戴摄像机(跟踪自己的行动)和实时雷达感应。

点击观看视频:https://youtu.be/r-eh2K4HCzI

ATAP 高级交互设计师 Lauren Bedal 说,“我们以不同的方式移动,变换不同的动作,然后——鉴于我们当时使用的是一个实时系统——我们即兴发挥,在某种程度上,是基于实时发现完成的”。

Bedal 有舞蹈背景。她说,这个过程非常类似于编舞者选取一个基本的动作理念(即运动主题),并探索其变化,如舞者如何移动他们的重心,或改变身体的位置和方向。基于这些研究,团队正式确定了一套动作,而灵感都来自于非语言交流和与设备的自然互动:靠近或离开,经过,朝向或背向,以及扫视。

Bedal 举了几个计算机对这些动作做出反应的例子。如果设备感知到你在靠近,它可以调出触摸控制;走近设备,它会加亮显示收到的电子邮件;离开房间,电视记录你离开时的进度,并在你回来时从那个位置继续播放。如果设备确定你只是路过,它就不会用低优先级的通知来打扰你。如果你在厨房里照着视频烹饪,那么设备可以在你走开去拿材料时暂停,在你回来时恢复播放,并表达继续进行的意图。如果你在打电话时瞥了一眼智能显示器,那么该设备可以提供转到视频通话的选项,这样你就可以放下手机了。

“从所有这些动作中,我们可以窥见未来与计算机交互的一种方式,利用我们的自然动作,感觉非常隐蔽,其理念是,计算机有点退居幕后,只在适当的时候帮助我们,”Bedal 说。“我们真正地推动了人们所认为的人机互动的可能性界限。”

利用雷达来影响计算机对我们的反应是有一些挑战的。例如,虽然雷达可以探测到房间里的多个人,但如果被测者靠得太近,传感器就会把一群人看成是形状不固定的一团,这就导致了决策混乱。还有很多工作要做,这就是为什么 Bedal(多次)强调,这项工作在很大程度上尚处于研究阶段——所以现在还不要指望它出现在下一代智能显示器中。

image.png

ATAP 的雷达技术不使用摄像头就可以感知你在往哪看

有充分的理由认为,雷达也可以帮助学习你日常的生活模式。ATAP 的 Giusti 说,这是他们研究路线图上的一个领域,或许可以提供与个人目标相关的健康习惯建议。我想象我的智能显示器在发现我半夜要去吃零食的时候,变出一个巨大的停止标志。

在执行它认为你想要的一系列动作时,这些设备也需要寻求一种平衡。例如,如果我在厨房做饭时想让电视开着怎么办?雷达会检测到没人在看电视,并把电视暂停,而不是让它开着。“当我们开始研究这些感觉非常隐蔽、流畅无卡顿的交互模式时,就需要在用户控制和自动化之间进行适当的平衡了,”Bedal 说。“这似乎不是很麻烦,但我们应该考虑用户可能想要的控制或配置的数量。”

ATAP 团队选择使用雷达,因为这种方法在收集丰富的空间数据时可以更好的保护隐私。(它的延迟非常低,可以在黑暗中工作,而且声音或温度等外部因素对它没影响)。与摄像头不同,雷达不会捕捉和存储可辨别的身体、面部或其他身份标识图像。“它更像是一个先进的运动传感器,”Giusti 说。Soli 探测范围约为 9 英尺——比大多数摄像头要小——但如果家里有多个带有 Soli 传感器的小设备,就可以有效地覆盖你的空间,并创建一个有效的网状网络来追踪你在家中的行踪。(值得注意的是,目前,谷歌 Nest Hub 中的 Soli 传感器数据是在本地处理的,原始数据从未被发送到云端)。

image.png

一个内部装有 ATAP 新技术的设备可以感应到你的靠近,然后推测你可能想做的事情并改变其状态。

卡内基梅隆大学人机交互研究员、未来界面小组负责人 Chris Harrison 说,消费者将不得不在个人隐私方面做出权衡——毕竟,谷歌是 "将数据货币化的世界领导者"——但他仍然认为谷歌的无摄像头方法在很大程度遵循了用户至上和隐私至上的原则。“不存在是否侵犯隐私的问题,”Harrison 说。“一切都在波谱上。”

设备必然会配备像 Soli 这样的传感器来收集更多的数据,以便更好地理解我们。最终,Harrison 期望看到,ATAP 基于各种技术设想所进行的人机互动改善。

Harrison 说:“人类能真正地理解人类的行为,而计算机在理解时,确实会额外导致些令人沮丧的[情况] 。把社会科学家和行为科学家带入计算机领域,可以使得这类体验更加令人愉快,更具人文关怀。”

查看英文原文:https://www.wired.com/story/google-soli-atap-research-2022

目录
相关文章
|
1月前
|
人工智能
AI假图检测:Deepfake层出不穷,怎么才能“有图有真相”?
【9月更文挑战第11天】随着AI技术的进步,DeepFake等换脸、P图技术让图片真假难辨。本内容介绍AI假图检测方法,包括观察细节、检查一致性、利用AI工具和借助AI技术构建训练数据集等。AI假图检测具有挑战性,需综合多种方法和技术进行分析。
|
数据采集 Web App开发 人工智能
当编程遇上AI,纵享丝滑
当编程遇上AI,纵享丝滑
|
机器学习/深度学习 人工智能 并行计算
声音好听,颜值能打,基于PaddleGAN给人工智能AI语音模型配上动态画面(Python3.10)
PaddlePaddle是百度开源的深度学习框架,其功能包罗万象,总计覆盖文本、图像、视频三大领域40个模型,可谓是在深度学习领域无所不窥。 PaddleGAN视觉效果模型中一个子模块Wav2lip是对开源库Wav2lip的二次封装和优化,它实现了人物口型与输入的歌词语音同步,说白了就是能让静态图的唇部动起来,让人物看起来仿佛正在唱歌。 除此以外,Wav2lip还可以直接将动态的视频,进行唇形替换,输出与目标语音相匹配的视频,如此一来,我们就可以通过AI直接定制属于自己的口播形象了。
声音好听,颜值能打,基于PaddleGAN给人工智能AI语音模型配上动态画面(Python3.10)
|
存储 小程序 前端开发
论“斗图”文化兴起和分享一个表情包小程序代码
论“斗图”文化兴起和分享一个表情包小程序代码
197 0
|
数据可视化 流计算 智能硬件
前沿︱视觉语言:可穿戴设备通知系统的福音
前沿︱视觉语言:可穿戴设备通知系统的福音
前沿︱视觉语言:可穿戴设备通知系统的福音
|
机器学习/深度学习 人工智能 自然语言处理
响铃:当AI翻译能识别“语境”,我们的“地球村”梦想就不远了
响铃:当AI翻译能识别“语境”,我们的“地球村”梦想就不远了
236 0
响铃:当AI翻译能识别“语境”,我们的“地球村”梦想就不远了
|
人工智能 自然语言处理 算法
唇语识别真会是语言交互的终极战场?
在今年的乌镇世界互联网大会上,搜狗展出了一项黑科技——唇语识别,12月14号搜狗在北京又公开演示了这项技术。作为行业领先的唇语识别系统,搜狗在非特定开放口语测试中,通用识别的准确率在60%以上,而在车载、智能家居等垂直场景下,已达到90%的准确率。
唇语识别真会是语言交互的终极战场?
|
传感器 机器学习/深度学习 人工智能
AI专用领域之一:声音、相机陷阱用于野生动物研究和保护
在这篇文章中以两篇文章为基础,分别讨论了声音、相机陷阱(camera traps)是如何实现野生动物监测的。此外,最后一篇文章还讨论了如何利用人工智能技术辅助解决野生动物偷猎(wildlife poaching)的问题,即对偷猎者轨迹的预测问题。
190 0
AI专用领域之一:声音、相机陷阱用于野生动物研究和保护
|
人工智能 程序员
14岁女孩已经会用AI开发APP,你怎么看?
14岁女孩利用AI开发亲戚识别器,还好小时候学了编程! 小程序员Emma Yang自从发现患阿兹海默症的祖母很难记住家里人,就决定研究如何利用AI与面部识别技术来帮助祖母以及其他病人。
1203 0