「深度」怎样让鲸鱼飞跃篮球场——深度揭秘Magic Leap背后的技术+战略

简介:

今年10月,硅谷AR(增强现实)公司Magic Leap发布了一系列“魔法带回现实”的概念视频:篮球场上鲸鱼一跃而起、外星人突袭办公室打真人CS……

今年10月,硅谷AR(增强现实)公司Magic Leap发布了一系列“魔法带回现实”的概念视频:篮球场上鲸鱼一跃而起、外星人突袭办公室打真人CS……虽然大部分视频并非实拍demo,而是特技duang duang的概念片,在各大微信号的无脑营销下,仍然短短几天就刷爆朋友圈。然而,很少有人真正看明白,Magic Leap究竟是如何实现这些“魔法”的。

怎样让鲸鱼飞跃篮球场深度揭秘Magic Leap背后的技术+战略1

虚拟现实的技术原理

抛开那些大脑植入芯片、黑客帝国style的科幻技术不谈,当前成熟的虚拟/增强现实技术原理分为两类:

1、把光线射进你的视网膜

让你在看到真实世界的同时,也看到虚拟世界的幻影。Google眼镜、微软Hololens都是这种原理。或者像Oculus一样,干脆用个头盔把眼睛遮住,让你看不见真实世界,只能沉浸在虚拟现实之中。不过,就算骗过眼睛,身体还是只能感受到真实世界而非虚拟世界中的加速度变化,这一点Oculus之流也无能为力。

怎样让鲸鱼飞跃篮球场深度揭秘Magic Leap背后的技术+战略2

微软Hololens概念片

2、还原真实物体发出的光线

让你无法区分看到的究竟是真实还是幻象。例如1956年发明的全息摄影(Holography)。然而,为什么60年后我们还在用iPhone指指戳戳,而不是用iHolo隔空取物呢?因为目前成熟的全息技术只能做到把3D影像投射到一个玻璃盒子里(通常是金字塔形或立方体),设备的大小必须大于影像的大小,色彩也不够逼真。这就是为什么至今全息还停留在珠宝展示和博物馆科普的层次上——有几个宅男买得起金字塔,放家里看黑白版全息女神爱情动作片?

怎样让鲸鱼飞跃篮球场深度揭秘Magic Leap背后的技术+战略3

全息珠宝展柜

Magic Leap属于以上哪一种技术原理呢?都不是。

Magic Leap的核心原理是四维光场

光场(Lightfield)的学术概念早在1939年就已提出,用于描述空间中任意点在任意时间的光线强度、方向、波长。当鲸鱼在我面前游过的一瞬间,它皮肤上每一个细胞向四面八方发出的光,叠加起来形成了一个光场。理论上, 只要完整记录下一条鲸鱼的光场,技术上就可以完全还原这条鲸鱼发出的所有光线。

假如有这样一个神奇的设备,它不仅可以记录光场,还能像投影仪一样,把光场信息还原成原始光线发射出来,那么当你的视网膜接收到这些光线时,就会认为看见了一条真正的鲸鱼。 把这个设备放在篮球场上,让它360度无死角全向发光,在篮球场上任何角度任何位置的人都会发现那里多了一条鲸鱼。甚至你近看远看,绕一圈看,也不会察觉到鲸鱼的肉身并不存在。因为,“看见”一条鲜嫩多汁的鲸鱼和看见这条鲸鱼发出的每一束光线,在光学上没有任何区别。这就是Magic Leap的物理原理。

为什么叫四维光场?

这里的四维是数学概念,和平行宇宙、高维空间没有半毛钱关系。描述一个光场需要7个维度:3个三维坐标表示空间中点的位置,2个极坐标表示这个点上通过的光的方向,1个波长表示光的颜色,还有1个是时间t。

其实,如果只考虑光场被投射到二维平面(例如视网膜)上的话,关键的维度只有4个:2个是平面上点的坐标,2个是入射光的方向。

怎样让鲸鱼飞跃篮球场深度揭秘Magic Leap背后的技术+战略4

光场的数学模型

怎样把鲸鱼装进口袋

从基础理论到做出产品,差距就是突破技术难点:怎样采集和还原光场?最经(yuan)典(shi)的方法是用相机阵列,通过在不同距离上镜头变焦,由近及远地把空间中每一束光线拍下来。比如下图的斯坦福相机阵列(Stanford Multi-Camera Array):

怎样让鲸鱼飞跃篮球场深度揭秘Magic Leap背后的技术+战略5

斯坦福相机阵列

到了2011年,Lytro光场相机推出,把上面这个大家伙变成了手持式,虽然清晰度接近马赛克画风:

怎样让鲸鱼飞跃篮球场深度揭秘Magic Leap背后的技术+战略6

Lytro光场相机

Lytro已经把实验室里的庞然大物装进了口袋,而Magic Leap用了更聪明的方法,短短几年就把光场投影仪做成了高清无码可穿戴的AR设备。

输入实时生成,输出光纤投射

Magic Leap的办法分为两步:

1、不采集真实影像作为输入,而是用计算机实时生成视频。模拟生成的视频,可以直接用在增强现实领域,例如悬浮在半空中的操作系统UI、办公室里玩外星人枪战。如此一来就解决了片源问题,不需要等到好莱坞拍出光场版星球大战8,才能看上光场电影/电视。

2、不用传统的显示屏输出,而是用光纤投射光场。Magic Leap 拥有叫做“光纤投影仪”的专利技术,通过一根直径1毫米长9毫米的光纤投出几英寸彩色图像,已经可以做到4K超高清分辨率。

怎样让鲸鱼飞跃篮球场深度揭秘Magic Leap背后的技术+战略7

光纤投影

既然一根光纤可以发射一束光线,如果要把鲸鱼身上每一束光线都投射出来,就需要N个光纤组成一个光场投影仪:光纤阵列。

怎样让鲸鱼飞跃篮球场深度揭秘Magic Leap背后的技术+战略8

光纤阵列原理图

最妙的是,因为每一根光纤只有头发丝粗细,一个用光纤阵列制造的高清投影仪不仅可以轻松装进口袋,还可以戴在脑袋上!

既能AR眼镜,也可裸眼3D

说完了物理原理和技术实现,再谈一个消费者最关心的问题:Magic Leap到底比Google Glass、Hololens、Oculus、3D电视……好在哪里?

1、可大可小。Magic Leap的光场原理,决定了它既可以做成增强现实(AR)眼镜在办公室打真人CS,也可以做成全息投影仪放在篮球场让学生围成一圈看裸眼3D。既然“看见”的本质就是把一条鲸鱼的所有光线投射到你的视网膜上,那么无论是在你的智能眼镜上用光纤投射这些光,还是在3米外用光场电视投射,甚至在30米外用大型光场投影仪,都没有本质区别。

光场竟然可以融合视网膜和全息两大类虚拟现实技术,细思恐极!

怎样让鲸鱼飞跃篮球场深度揭秘Magic Leap背后的技术+战略9

3D裸眼全息

2、不会晕。无论是看3D电影还是头戴Oculus,虽然把不同光线分别投射到左右眼模拟出3D景深,却丢失了光线的方向信息。而4D光场记录了每一束光线的所有信息,包括位置和方向,使得看光场和看实物根本无法区分。

例如,看光场时,人眼向远处和近处看会自然对焦,看到的物体有虚实变化。但传统的双目虚拟显示技术(如Oculus Rift或Hololens) 中的物体是没有虚实的,使得大脑对于物体远近判断混乱,时间一长就晕。

换句话说,如果你看真实世界不会晕,看Magic Leap就不可能晕。

3、不怕强光。AR(增强现实)的老大难问题是:只能在真实世界的光影上叠加虚拟图像,在外界强光干扰下,虚拟世界就会暗淡无光。这就是为什么在Hololens等各式AR眼睛宣传视频中,片中人物“恰好”都是在昏暗场景中使用AR。

必须遮住现实中实物的光,在用虚拟3D图像替代它,才是不怕强光的完美AR。要做到替换实物,不仅要可以显示虚拟的光,还能显示“没有光”,比方说能在强光下显示一个纯黑的球。

例如,用一杯虚拟咖啡替换桌上真实的咖啡,首先要把来自真实杯子的光删除或屏蔽,然后再产生一组光让它们看起来是从杯子的位置发射出来的。否则,不论是用多么明亮的3D 增强实景显示技术,只看见一杯半透明的虚拟咖啡尴尬地覆盖在真实咖啡上。

Magic Leap能做到替换实物影像吗?从Magic Leap拥有的另一项专利来看,貌似真的可以:

Bibliographic data: WO2013077895 (A1) ― 2013-05-30

THREE DIMENSIONAL VIRTUAL AND AUGMENTED REALITY DISPLAY SYSTEM

A system may comprise a selectively transparent projection device for projecting an image toward an eye of a viewer from a projection device position in space relative to the eye of the viewer, the projection device being capable of assuming a substantially transparent state when no image is projected; an occlusion mask device coupled to the projection device and configured to selectively block light traveling toward the eye from one or more positions opposite of the projection device from the eye of the viewer in an occluding pattern correlated with the image projected by the projection device; and a zone plate diffraction patterning device interposed between the eye of the viewer and the projection device and configured to cause light from the projection device to pass through a diffraction pattern having a selectable geometry as it travels to the eye.

Magic Leap背后的战略布局

Magic Leap是个神秘兮兮的公司。都融了5亿美元的B轮了,CEO从不露脸,产品长什么样没人见过,让中国人民对着几个加特技的宣传片羡慕嫉妒恨。不过,从他们的公司行为来分析,还是能看出大部分端倪。

1、Magic Leap的第一个产品将是头戴式眼镜

前面说过,光场投影的原理,使得AR眼镜和裸眼3D产品都可以做。为什么说Magic Leap一定会先做可穿戴?

技术上看,Magic Leap公司成立时,创始人Abovitz做光纤机器人医疗起家,又报了好几个光纤方面的专利,做穿戴之心路人皆知。而用于放裸眼3D的大型光场投影仪,很可能技术和成本控制尚未成熟。

商业上看,有了谷歌眼镜和微软全息当先烈教育市场,消费者对于AR的接受程度已经不断提高,而大型光场投影仪一般人可消费不起,也不够实用。

2、Magic Leap会发力跟踪/识别和体感控制

如果Magic Leap真的做成了可大可小、不会晕、不怕强光的AR,将会是世界上体验最好的AR,没有之一。一旦把用户的眼睛变成入口,接下来可以玩的就多了去了。例如:

手势识别:AR没有屏幕可以戳戳戳,手势是最主流的交互UI,甚至还可以加入脑波控制;

物体追踪:感知真实世界中人和物的精确位置,才能让你在一边走动的同时,把你眼中的一杯虚拟咖啡一动不动地安在真实的饭桌上;

三维扫描:将现实中的一杯咖啡拍成光场,分享给别的用户,他的眼前就会出现和你手中完全相同的一杯咖啡;

人脸/人体识别:识别现实场景中的人,可以在每个人头上显示名字、电话和颜值;

情感识别:既然都能够识别人脸了,不如顺便识别下表情吧!是哭还是笑,眼镜全知道。

怎样让鲸鱼飞跃篮球场深度揭秘Magic Leap背后的技术+战略10

Hololens手势控制

3、买不到现成芯片,Magic Leap要自己动手

除了实时计算四维光场、投射高清视频外,实现以上所说的各种黑科技,还要考虑电池续航能力、用户脑袋是否会过热,这么强大的芯片地球上并不存在。不过B轮融资后,有了高通当股东撑腰,给了Magic Leap足够的胆量自己发明轮子。

Magic Leap在去年搬入南佛罗里达州一个废弃的摩托罗拉生产区,计划建造2.8万平方米的工厂,用来生产光子光场芯片(Photonic Lightfield Chip)。

4、Magic Leap充其量是台前卒子,Google才是幕后大BOSS

Google投了5亿美元,让Magic Leap不用顾忌市场和资本,在全封闭状态下专心做底层技术;带来高通作为战略投资者,协助自主研发芯片;还让二号人物、核心产品负责人Sundar Pichai 加盟董事会;毫无疑问,将来Magic Leap产品开卖,摇旗呐喊的也一定是Google。

给钱、给人、给技术、给市场,Google凭什么无缘无故把一个初创公司当亲儿子?做砸了Glass还要投Magic Leap,Google为什么偏偏对AR不死心?如果你相信纯粹是为了赚钱,就太小看Google的智商了。

从前Google的搜索引擎,教会了人工智能听说读写(自然语言识别);而AR将成为人工智能的眼睛和耳朵,教会它用人类的视角观察物理世界。当AI超越人脑的技术奇点不期而至时,人工智能只需要硬件组成的手脚和身体,就能改变世界/取代人类了。

谁拥有最强的人工智能,谁就将统治地球——这就是Google从未掩饰的野心。

怎样让鲸鱼飞跃篮球场深度揭秘Magic Leap背后的技术+战略11

人工智能终将统治地球?


原文发布时间: 2015-11-07 15:02
本文作者: 硬报纸
本文来自云栖社区合作伙伴镁客网,了解相关信息可以关注镁客网。
相关文章
|
1月前
|
前端开发 JavaScript 微服务
jeecg-boot前端实现表格插槽、定制化修改
jeecg-boot前端实现表格插槽、定制化修改
92 0
|
1月前
|
人工智能 自动驾驶 安全
破壁人AI百度:科技公司反内卷的典型样本
互联网整个行业都在陷入被动且尴尬的局面。去年开始流行的“内卷”一词,恰如其分的描述了互联网的现状,比如抖音开始做外卖,微信强推视频号,一直硝烟弥漫的电商市场,更是激战在社区团购上。
27 3
|
1月前
|
人工智能 光互联 数据中心
800G光模块面对AI发展的增长之路
光模块市场因AI驱动的算力需求增长而加速发展,800G产品需求强劲,预计未来几年市场规模将以每年约11%的复合年增长率扩张。尽管面临价格竞争和原材料供应紧张的挑战,800G光模块将于2024年迎来大规模出货,而2025年将启动1.6T光模块商用周期。随着技术迭代加快和高端产品放量,行业头部企业将受益,光通信行业将迎来黄金时期。
33 0
800G光模块面对AI发展的增长之路
浅析软件成本估算之NESMA方法的3种应用场景
NESMA为荷兰软件度量协会的简称(Netherland Software Measurement Association),NESMA功能点方法是五种ISO国际功能点标准之一,不但易学易用、快速、经济,而且容易开发和建立用户自己特有的估算模型。
3020 0
|
人工智能 自然语言处理 自动驾驶
破壁人AI百度:科技公司反内卷的典型样本
简介:破壁人AI百度:科技公司反内卷的典型样本 。
114 0
破壁人AI百度:科技公司反内卷的典型样本
|
机器学习/深度学习 人工智能 算法
深度实测 | 10万次运行,探究AI技术融合为RPA火爆赛道带来的价值
深度实测 | 10万次运行,探究AI技术融合为RPA火爆赛道带来的价值
133 0
深度实测 | 10万次运行,探究AI技术融合为RPA火爆赛道带来的价值
|
人工智能 架构师 物联网
阿里云的认证多少分通过?没通过可以补考吗?
阿里云认证是阿里云发行且推广的云技术人才认证,在行业内有很大的知名度,且广泛受认可,很多人在毕业刚踏入社会的时候,都会选择考取这个认证,来增加自己的职业竞争力,以求获得更好的发展。
阿里云的认证多少分通过?没通过可以补考吗?
|
数据安全/隐私保护
【密码学】Padding模式
在对于数据进行加密的时候,某些加密算法需要明文满足某些长度的要求,比如DES和AES等分组加密需要明文满足是分组的倍数,但是大多数情况下,明文恰好满足需求的概率是非常低的,在之前的实现中,我的实现均没有考虑不满足加密长度的情况,也就是我自己保证了我传入的内容就是满足需求的,本文将聊一聊在不满足的情况下如何进行「Padding」。
【密码学】Padding模式
|
Java Spring
别小看Spring过滤器,这些知识点你必须得掌握!(下)
别小看Spring过滤器,这些知识点你必须得掌握!
339 0
别小看Spring过滤器,这些知识点你必须得掌握!(下)
|
机器学习/深度学习 算法 前端开发
秋招上岸!双非本科,从外包实习到秋招收获阿里、美团、B站意向书!
大家好,我是路飞,今天这篇文章是来还愿的!秋招顺利结束,感谢大家一直以来的支持和陪伴!
秋招上岸!双非本科,从外包实习到秋招收获阿里、美团、B站意向书!

热门文章

最新文章