作者｜鬼道

时间｜2017-10-31

UPDATE：

2018.04.21 增加标题序号，更新 Magic Leap 动态
（本文不接受任何未经授权的转载。题图来自 arglassesbuyersguide.com ）

这篇综述献给所有战斗在 AR 前线的科研工作者、一线开发者和创意大脑们。

AR 能做好游戏（如 Pokemon Go）也能做好营销，但 AR 可能是更大的平台，是未来的入口。本文以人机交互的视角给出个人观点，再结合观察到的信息逐层展开。

个人观点：

AR 是新一代人机交互平台，与之对应是此前的 PC 和 Mobile 平台，终态是：便携的计算平台，服务全球消费者，同时替代 Mobile 平台和 PC 平台。
AR 处于早期阶段，需要 3 年或更长时间打磨 C 端眼镜，10 年走向成熟。现状是 Mobile AR（如 ARKit/ARCore）从 C 端切入培养消费者心智；Hololens/Meta/GoogleGlassEE 等从 B 端切入打磨场景和软硬件，伺机而动。

核心名词：

人机交互，研究计算机技术的设计和使用，专注人和计算机之间的接口。
AR，是指借由计算机传感器、由增强的物理世界元素所构成的、直接或间接的视图。本文默认指广义上的“增强现实”，不再区分 AR、MR/MixedReality 等名词。
C 端，指消费者端。Mobile AR 指以 ARKit/ARCore 为代表的 C 端 AR 方案。
B 端，指商家端或企业端。
Glass，默认指 AR 眼镜（AR Glasses）。

下文将逐层展开（TL;DR）。

1. AR 是新一代人机交互平台

前事不忘，后事之师。《战国策·赵策一》
The farther backward you can look, the farther forward you are likely to see. Winston Churchill

1.1. 人机交互时间轴

计算机人机交互时间轴（1946-2016），图片来源：@鬼道

从输入输出设备来看计算机（指现代电子计算机）的人机交互时间轴：

ENIAC，1946 年诞生的第一台现代电子计算机，输入输出使用打孔卡片（punched card）。
PC 平台
1969 年，鼠标诞生，作为精确指点设备配合 GUI 极大扩展了计算机的应用场景，并为计算机的普及打下了基础，如今笔记本电脑上的触控板可以看做是鼠标的衍生，本文不区分二者；同年，第一台显示器 DataPoint 3300 诞生，之后取代打孔卡片和打字机（typewriter）作为输出设备沿用至今。
1973 年，第一个带有现代 GUI 的设备 Xerox Alto （图 1 1981 二排左）发布，GUI 包含了窗口、菜单、单选/多选按钮、图标等，使用鼠标和键盘作为输入设备，这些概念和设备直到今天还在广泛使用。
1981 年，IBM PC 5150 开启了 PC 时代，5150（图 1 1981 二排右）的输入输出设备就是键盘/鼠标、显示器（5150 还未使用 GUI），无论是后续的 IBM PC 兼容机、Apple 系列 PC（如 Macintosh，图 1 1981 二排中）、以及过去三十年统治市场的“Wintel”都沿用了鼠标/键盘/GUI + Click/Scroll/DnD（表 1，DnD 拖拽）的人机交互配置。
Mobile 平台
2007 年，Apple 发布了 iPhone 手机，是轰动一时的新闻。当时的人们还在调侃 iPhone 是个大号的 iPod，也能看出一部分人们并不觉得 iPhone 会改变什么。触屏/GUI + Tap/Swipe/Pinch（表 1，Swipe 划，Pinch 捏）成为 Mobile 平台的标志。
2008 年，Google 发布了 Android 手机（HTC G1），Android 操作系统是开源的，更多手机厂商就能在自家的手机中装上 Android，覆盖高中低端市场，这对移动设备的普及至关重要。
2017 年，小女孩拿着 GBC 游戏机（图 1 2007 右上）无视实体按键，很疑惑点击屏幕竟然是无效的，这个视频上传到 youtube 一周获得 260 万点击，引起一片感慨。
AR 平台
AR 研究最早可追溯到 1960s，1990s 逐渐活跃，2012 年开始被 Google Glass 短暂点爆又快速冷却（见后文），2015 年后开始回升。
2016 年，3 月 Meta/Hololens 和 7 月 Google Glass（企业版）相继发布 Glass，并进入汽车设计、建筑设计、教育、医疗、工业生产等多个 B 端领域。
2017 年
6 月，Apple 在 WWDC 上发布 ARKit Beta 版，9.19 已随 iOS 11 正式发布；支持 A9 及以上设备，当前约占 iOS 总设备量的 60%，随着新设备发布预计未来一年有 4 亿 iOS 设备支持 ARKit。
8 月，Google 发布 ARCore Beta 版，10 月 Pixel 2 发布会上宣布了更多 AR 特性，支持 Pixel 和 S8，预计未来 1 年有 1 亿设备支持 ARCore。

简明时间轴：

ENIAC 使用打孔卡片作为输入输出设备，从打字机演变而来的键盘逐步替代了打孔卡片成为主流输入设备，显示器替代打孔卡片成为主流输出设备。
鼠标和 GUI 的发明极大降低了计算机的使用门槛，促进了计算机的普及，人机交互模式转变为：鼠标/键盘/GUI + Click/Scroll/DnD。
直到智能手机的普及，人机交互模式才转向触屏/GUI + Tap/Swipe/Pinch。

表 1 - 动作

Tap/Swipe/DnD 图片来源：Apple Developer，Gaze/Gesture 图片来源：Hololens，Click/Scroll/DnD 图片来源：freepik.com

过去半个世纪（1960s-2010s），计算机硬件按照摩尔定律高速迭代。PC 硬件性能呈指数级增长（表 2）基本符合摩尔定律，如 CPU 主频提升约 2^14 倍，内存提升约 2^17 倍；Mobile 硬件仍基本符合摩尔定律（表 3）。这期间诞生或普及了：全球互联网、Web、OS（Windows/Unix/iOS/Linux/Android...）、门户、搜索、社交网络、电子商务、IM 等领域，这些领域持续迭代最终出现了具有全球领导力的公司。

表 2 - PC 硬件参数

v2-7297ae9a5460a21c12da39fd460b04cf_720w.jpg.png

1981IBM PC 5150，2017 iMac Pro，PC CPU 单核主频 10 年前已接近极限，26 年（1981-2007）约为摩尔定律中的 13 次迭代（2^13），硬件性能增速基本符合摩尔定律

表 3 - Mobile 硬件参数

参考 iOS/Android 旗舰机型：iPhone 1 /G1 和 iPhone X /Pixel 2 XL，10 年约为摩尔定律中的 5 次迭代（2^5=32），硬件性能（除网络）增速基本符合摩尔定律

人机交互却只迭代了 2 次，显得”过于稳定“了，可能是因为用户心智的建立需要一个漫长的过程，需要一代人甚至更长的时间，教育用户的成本巨大，人生来并不知道“Click”这个动作，这是鼠标出现后才逐渐培养起来的，同样“Tap”是在触屏智能机普及后才被广泛接纳的。既如此，又是什么驱使人机交互出现转变呢？

1. 打孔卡片 -> 鼠标/键盘/GUI

鼠标/键盘/GUI 极大提升输入效率，GUI 极大提升输出效率，输入输出的革命性变化降低了使用计算机的门槛，经过半个世纪的场景丰富和软硬件迭代，人类最终进入了信息时代；
很难想象用打孔卡片，我们能够浏览维基百科，且不论设备大小和阅读效率，得准备多少卡片呢？也很难想象普通人如何进行撰写文档、图片处理、编辑幻灯片等行为。

1. 鼠标/键盘/GUI -> 触屏/GUI

首先是硬件和应用层面：智能手机相比 PC 更加便携，几乎可全时段贴身携带，智能手机的”实时定位+即时访问“特性给人类获取信息带来了极大便利，导航、购物、IM、出行、资讯...
智能手机相比早先的功能机，除了在硬件和 OS 层面的差异外，触屏操控 ”Tap/Swipe/Pinch“其实很好对应了 PC 的Click/Scroll/DnD，具备完备交互体验且操作成本可以比 PC 更低（当然需要 App 跟上，事实上也做到了）。

大致总结出以下规律：

输入效率提升：打孔卡片 < 鼠标 < 触控，以点击为例，通常触屏 Tap 比鼠标 Click 高效，因为使用鼠标 Click 其实在大脑中做了 2 次坐标映射（鼠标垫/触摸板物理平面坐标+屏幕平面坐标），而触屏 Tap 只有一个坐标。同样的解释还适用于触屏 Swipe 和鼠标 Scroll。
输出效率提升：打孔卡片 < 文本显示 < GUI，输出更加直观高效，形式更加丰富，如 GUI 中的图表、幻灯片、高清图像/视频、动画等。

AR（尤其是 Glass）在输入和输出上相比 PC 和 Mobile 的变化是：

输入效率提升：利用手势在 2D 平面和 3D 空间上进行操作，带来操控形式的革新，目前商用 2D 手势效率还不及鼠标，3D 手势是革新具有更大的潜力；视觉焦点（Gaze）也已有应用。通过下面 2 个例子感受一下 3D 手势的潜力。
输出效率提升：整个物理空间都是显示区域，不再局限于平面显示器的有限显示区域，这会触发更多的展示形式；展示信息从 2D 转为 3D，且 3D 展示效果更为直观高效（相比传统显示器），本文大篇幅都将讨论 AR 的输出潜力。

从输入输出端的效率提升潜力看，AR 的确有机会成为新一代人机交互平台，但还需要探索属于自己的人机交互标准，社区中也已出现相关的讨论，相信接下来会看到更多的实践。AR 中的“鼠标/键盘/GUI”会是什么？

1.2. 声音

"A big idea like the smartphone"

今年 2 月，Tim Cook（Apple CEO）接受了英国独立报专访，认为 AR 未来会是智能手机的体量：

I regard it as a big idea like the smartphone. ... I think AR is that big, it’s huge. I get excited because of the things that could be done that could improve a lot of lives. And be entertaining. I view AR like I view the silicon here in my iPhone, it’s not a product per se, it’s a core technology.

之后的故事大家都知道了：ARKit 出现在了今年 6 月 WWDC 和 9 月秋季发布会上，iPhone 8/X 均针对 AR 做了优化。

"$60 billion revenue by 2021"

预计到 2021 年，仅 Mobile AR（手机、Glass 等）装机量接近 20 亿，手机占大头；市场营收达到 600 亿美元，分布不局限于游戏，还涉及企业、非游戏 App、电商、营销广告等领域。

2021 年前 Mobile AR 装机量预期，图片来源：Digi-Capital

2021 年前 Mobile AR 市场规模预期，图片来源：Digi-Capital

2021 年前 Mobile AR 领域分布预期，图片来源：Digi-Capital

"25% reduction in production time"

AGCO（美国农业机械制造公司）在使用 Google Glass 企业版后，其复杂组装时间降低了 25%。

25% reduction in production time on low volume, complex assemblies (as reported by AGCO).

AGCO，图片来源：Google Glass

"30% 商品转化率提升"

AR 开放平台中引用了一个数据：手机淘宝 2015 双十一大家电 AR 商品详情页商品转化率提升 30%。

图片来源：AR 开放平台

1.3. 小结

AR 是新一代人机交互平台，与之对应是此前的 PC 和 Mobile 平台，终态是：便携的计算平台，服务全球消费者，同时替代 Mobile 平台和 PC 平台。

这是开篇的观点，从人机交互的输入输出变革看，AR 有成为新一代人机交互平台的潜力。而人机交互在过去半个世纪又如此“稳定”，两代人机交互平台最终为全球十亿级用户服务，这让 AR 充满了想象空间。那么 AR 进展如何？

2. AR 处于早期阶段

现在，AR 的航船已经孤独地驶到了茫茫的大洋中，举目四望，只有无边无际的险恶波涛，谁也不知道，彼岸是不是真的存在。原文《三体：黑暗森林》中部末段

受限 Glass 视域、续航、重量、计算能力、明亮环境、样式、安全隐私等因素，做好 C 端 Glass 并不容易。这也不难理解 2014 年就推出的 Google Glass 初代在 2015 年初项目就停止了，直到今年 7 月才公布重启，并且重启后开始走向 B 端，微软目前把 Hololens 的火力也集中在 B 端。尽管如此，AR 的潜力仍吸引着各大玩家参与 C 端竞赛。

2.1. C 端现状

2.1.1. ARKit / ARCore

ARKit/ARCore 出现后，Android 和 iOS 两个平台就都有高质量的、系统级的软件方案，不再需要引入第三方库；创意进入的成本会下降，杀手级的创意更容易浮现，就像开放自由的环境更容易孵化创新一样；从而更有机会打磨消费者心智，而这又是人机交互平台的起点。

ARKit/ARCore 共性的核心功能是动作追踪（Motion Tracking）、环境感知（Environmental Understanding）、光照估计（Light Estimation），同时整合了各自平台的 3D 构建库、底层渲染库、传感器 API、三方游戏引擎（Unity/Unreal 等），甚至 iPhone 8/X 和 Pixel 2 的硬件专门针对 AR 校准，这些都是 ARKit/ARCore 能够拥有更高质量的基。以下是概要介绍：

动作追踪

动作追踪，图来自 ARCore

确定摄像头在物理世界中的位置（position）和方向（orientation）。

通过特征点检测确定锚点（图中沙发边角点），和补偿修正手段来实时追踪手机在物理世界的相对位置。ARKit 用的算法是 VIO（ Visual Inertial Odometry），融合了从 IMU（Inertial Measurement Unit）获取的传感器数据以及从不同视频帧获取特征点差异性数据，实际体验能感受到追踪的精度比较高，至少在笔者尝试过的室内放置静态物体（人走动）或缓速运动物体（人不动）效果很好。ARCore 用了 COM（Concurrent Odometry and Mapping）算法，同样使用了 IMU 的传感器数据和特征点位置变化数据实时修正摄像头在空间中的位置和方向。

环境感知

环境感知，图来自 ARCore

让虚拟物体更好地融入到物理环境中。环境感知和动作追踪共同连接了虚拟世界和物理世界。

支持水平面检测，ARKit/ARCore 均未支持垂直面检测，从 Demo 看 ARKit 还支持边界检测。目前的环境感知仍然是初级的，不规则平面/曲面、不规则对象、结合云端的识别和附加信息等更复杂的检测都是可期的。如：

平面检测（iOS Swift）：

       // Place content only for anchors found by plane detection.
       guard let planeAnchor = anchor as? ARPlaneAnchor else { return }

       // Create a SceneKit plane to visualize the plane anchor using its position and extent.
       let plane = SCNPlane(width: CGFloat(planeAnchor.extent.x), height: CGFloat(planeAnchor.extent.z))
       let planeNode = SCNNode(geometry: plane)
       planeNode.simdPosition = float3(planeAnchor.center.x, 0, planeAnchor.center.z)
       // more...
}

光照估计

光线估计，图来自 ARCore

让虚拟物体保持和环境近似的光照效果，显得更加真实。

SDK 提供环境光（AmbientLight）或平行光（DirectionalLight）的强度（intensity）和方向（direction）参数，从公开文档看 ARKit 目前支持环境光和平行光，ARCore 目前只支持环境光。如：

ARLightEstimate（iOS Swift）：

    // The estimated intensity, in lumens, of ambient light throughout the scene.
var ambientColorTemperature: CGFloat
    // The estimated color temperature, in degrees Kelvin, of ambient light throughout the scene.

LightEstimate（Android Java）

    // Returns the pixel intensity of the current camera view. Values are on the range (0.0, 1.0), with zero being black and one being white.
public boolean isValid ()
    // Returns true if the current light estimate is up-to-date. This value may be false when AR tracking is starting up or recovering.

2.1.2. WebAR

AR.js，是基于 WebRTC 和 WebGL 的 AR 方案，通过 jsartoolkit 支持基于标记（Marker Based）的 AR，可以通过 AFrame 或 three.js 构建 3D Scene。AR.js 在 ARKit/ARCore 出现之前就已经存在了。

Google 发布 ARCore 的同时还发布了 WebAR（真爱 :)），支持通过 Web 来开发 AR 应用，这组项目包括：WebARonARCore (Android)、WebARonARKit (iOS)。实现原理：通过 js-native bridge 为 WebView 透出 ARKit/ARCore 能力同时做了兼容处理；WebView 启动时注入 js，实现 WebVR 1.1 Polyfill 并扩张动作捕捉、透出摄像头视频流、基本的环境感知，此外 three.ar.js 扩展实现 three.js 的 AR 工具类（下文代码中的 ARView、ARPerspectiveCamera）。通过模板代码可以快速构建出 WebAR 的基础环境。

WebAR 层次结构，蓝色 OS 级，橙色可扩展，红色业务，图片来源：@鬼道

代码 - WebAR 初始化（JS ES6）：

  if (display) {
    vrDisplay = display;
    renderer = new THREE.WebGLRenderer({ alpha: true }); 
    arView = new THREE.ARView(vrDisplay, renderer); // three.ar.js
    camera = new THREE.ARPerspectiveCamera( // three.ar.js
      vrDisplay, 60, window.innerWidth / window.innerHeight, 
      vrDisplay.depthNear, vrDisplay.depthFar
    );
    vrControls = new THREE.VRControls(camera);
  } else {
    THREE.ARUtils.displayUnsupportedMessage();
  }
});

从 WebAR 实现原理（Hybrid API 异步传输大量数据）和实际体验（笔者自己码的 demo + github issue）来看，目前 WebAR 相比 ARKit/ARCore 在流畅性上略差一些，位移场景下会有较明显掉帧。从 AR 承担的营销互动玩法来看，WebAR 对业务仍然是重要的，持续优化是有价值的。（欢迎推荐更好的框架，请回复，笔者将更新）

2.1.3. 开发平台

在本文 review 期间，得知云栖大会上发布了 AR 开放平台，直接面对终端开发者，提供识别/渲染/3D追踪等能力，支持 App 生命周期管理，降低开发成本。（了解有限，请回复更多的平台或框架，笔者将更新此节）

图片来源：AR 开放平台

2.1.4. 硬件：Glass

目前 C 端 AR 硬件市场在 Google Glass 初代（企业版已重生）中止后几乎是空白。有个例外，Snap Spectacles 提供了第一人称视角的视频录制并与 Snapchat 打通，即使这样一款最基础的 Glass，即使不含 AR 能力，发售一年都卖出 150000 套（单价 $129.99）。

如果 Glass 能够替代智能手机，Glass 应该大致具备：

功能完备，支持最基础功能且可扩展，基础功能如：通话、购物、新闻、导航、视频、音乐、购物；功能越完备需要的硬件传感器也会增多，体积和总量会增大，功耗也会增多。
8h+续航，电池能量密度不突破的情况下（事实上也没有大突破），功耗越大续航越长电池越重。
轻便，受限上 2 个因素，轻便压力很大。
视域 180 度，尽量接近人眼真实视域（约 180 度），市场已有 120 度的产品

仅仅是功能、续航、轻便这 3 个相互制约的因素，就足够 Glass 头痛了。可能在终极 Glass 诞生前会有一些过渡产品：

伴生 Glass，类似 Apple Watch，Glass 负责展现结果，计算交给智能手机，这可以减少 Glass 的功耗从而降低电池重量使 Glass 更加轻便。
有线 Glass，计算能力可以交给宿主机，连接电源电池不再是问题可以做得很轻便，但是基本局限在家中或固定工作场所中使用，失去便捷性。
混合 GLass，家和工作场所使用有线模式，提供 1 小时续航，方便在家和办公室之间移动，可以做得足够轻便兼顾有线和无线模式。

也有机构在讨论 Glass 的演进路线（Mobile 软件->Mobile 硬件->有线眼镜->眼镜）：

AR 硬件演进路线，图片来源：Digi-Capital

2.1.5. iGlass

Tim Cook（Apple CEO）在今年 2 月、10 月两次接受英国独立报专访时都明确表达了对 AR 的重视和乐观预期（其他场合也多次提到 AR，见参考文献）。并在后一次表达了 iGlass（不是正式名称）硬件不成熟的现状。但考虑到 reddit 上爆出过的Apple 产品清单（有 glass，且事实证明对 iphone、mac 等产品命中率很高），2018 年一款精简版（纯展示，类 HUD） iGlass 是可期的，iGlass 将持续迭代至最终形态。

I regard it as a big idea like the smartphone
[2 月] Tim Cook（Apple CEO）认为 AR 是和智能手机一个体量的好点子，
The field of view, the quality of the display itself, it’s not there yet
[10 月] 视域和显示质量还做不出一款优质的 AR Glass
We don’t give a rat’s about being first, we want to be the best
[10 月] 不求第一，只求最好

2.2. C 端应用

这个“印象中的 AR”其实已经没那么科幻了，物体识别、AR 呈现效果都在逐步成为现实。

笔者感兴趣的是那些独创性或增强性的 AR 交互体验，这些体验有潜力成为 AR 的基础体验。本章的分类从 AR 体验出发，不完全沿用现有 Mobile App 的分类，随着 AR 的成熟以下诸多分类都将融合、消失、并诞生更多类别。这一章关注 C 端应用，B 端应用单列在下一章。

2.2.1. AR 信息

为物理实体显示附加信息，也是早在 AR 还处于实验室中时就高频出现的功能，如下图中房屋上显示的附加信息（以下简称 AR 信息）。AR 信息是一个很基础的能力，也出现在了多个领域。

早期 AR 研究，图片来源："Annotated Reality", 1998

SkyGuide 绘制国际空间站（ISS）在天空上的真实轨迹，增强显示夜空中的星座，想象一下未来在 Glass 中的呈现效果，美轮美奂。SkyGuide 也出现在了 2017 Apple 秋季发布会上。

Carrot Weather 将天气信息以 AR 形式展示，除了基本的移动、旋转、缩放操作外，提供旋转切换天气信息的功能，细节精致，是这类信息展示的代表。

MeasureKit、TapMeasure 是测量类 App，其中 MeasureKit 功能较完整，支持直线/3D/定点测距、测角度、量身高、检测水平面等功能。以直线测距为例：通过 ARKit 提供的 API 确定基准点，通过 Motion Data 监测手机移动或转向来实时绘制线条对象，并计算累计距离。下图例子中，笔者实测 15 寸 Pro 宽度 34cm（软件只显示整数），官方参数 34.93cm，水平测距还算精准。垂直方向精度略差一些，主要是景深估算误差较大，不知道 iPhone-8-Plus/X（均为双摄像头）能否解决这个问题，有设备的同学可以测测。

在体育直播中显示附加信息也是一类 AR 的实用场景，足球、篮球、棒球、橄榄球这类团队性球类运动尤其适合，比如足球比赛中显示球速、弧度、射门时偏差程度、定位球轨迹、进攻/防守跑位预测等。2017 Apple 秋季发布会上，有一个简短的 Demo 涉及棒球比赛中的 AR 应用，后续报道 At Bat（美国知名体育赛事直播 App）已经在测试该功能，预计 2018 赛季启用。

“At Bat” AR 直播 Demo ，图片来源：Apple 2017 秋季发布会

Google Lens 不是 AR 应用，目前使用流程仍是“拍照-识别-触发动作”，未来若能实时识图也可以应用到 AR 中，这种感觉很“AR”。

AR 说明书也是比较容易想到的一类场景，以汽车说明书为例，将手机摄像头对准汽车的中控面板或发动机，可看到直观的功能说明或附加信息，下图展示的汽车手册基本表达清楚了 AR 手册的理念。

2.2.2. AR 贴纸

AR 贴纸（Sticker）在社交类 App Snapchat 中很流行。贴纸使用门槛低、具有很好的视觉效果、很好的互动性、很好的社交媒体传播性，作为早期应用能为 App 或硬件平台本身带来不少口碑，最后连 iOS/Android 2 个平台也将其作为 AR 特性加以推广。

Snapchat 的小狗贴纸，可选不同表情，在直播类 App 中贴纸也已经是标配了。

2017-04-18，Facebook F8 技术大会上发布了 Camera Effects，同时发布了面向设计师的 Frame Studio 和面向开发者的 AR Studio 2 个开发工具。

2017-09-12，Apple 秋季发布会上展示了 Animoji（Animation emoji），像 emoji 表情文字一样可以用在 iPhone X iMessage 的通信中，算是贴纸的衍生品。Animoji 通过 iPhone X 前置摄像头捕获超过 50 种脸部肌肉运动，通过 A11 仿生芯片的 CPU 实时识别，将捕获到的表情映射到可选的动物脸部（如熊猫/独角兽/兔子/公鸡等）通过 GPU 实时渲染。

2017-10-04，Google 秋季发布会上，展示了 Pixel 2 中引入的 AR 贴纸，属于 ARCore 应用。

2.2.3. AR 导航

涉及导航、地图、街景、导游等，是对现有功能的 AR 升级。

即使是在手机中，AR 导航也能带来全新的、增强的导航体验，考虑到 AR 本身的稳定性和场景的安全性要求，从慢速导航（如室内/步行/骑行）切入可能是合理的选择。期待 AR 驾驶导航的成熟应用，能从 Glass 或车窗 HUD 屏使用导航，想想都激动。开发者 Andrew Hart 发布了 2 个 Demo 演示 AR 步行导航和 AR 地图，以及一个 AR 驾驶导航的概念视频（非真实功能）。已有国内地图 App 开始支持景区 AR 导游模式和 AR 导航。

2.2.4. AR 游戏

值得单独提的是 9.21 发布（iOS 11 9.19 发布）的一款 AR APP Magic Sudoku，扫描数独物理纸面后，将完成结果原地展示，用到了图像识别。交互简洁自然，AR 特性使用得恰到好处。

尽管 iOS 正式发布只有 1 个月，已经能看到不少体验优秀的（但也比较简单）的 AR 游戏。出现在 2017 Apple 秋季发布会上的“The Machines”（下图 AR 游戏榜排名第一），有个细节很有意思，手机离游戏战场的远近会影响到音量和音效。提到 AR 游戏其实更容易想到 Pokemon Go，后文的 AR 营销中会有涉及。

AppStore AR 游戏榜，图片来源：SensorTower

另一个有趣的现象，AppStore 中出现了一大波“蹭热点”的 AR 游戏，这类游戏只是将原来的 3D 场景生硬地放到物理空间中，本身并没有借助 AR 为用户带来独特的或增强的体验，这也侧面反映了 AR 仍然处于早期阶段。创意很宝贵，做好一款 AR 游戏可能比预想的困难。

2.2.5. AR 购物

家装也是较适合 AR 的场景，IKea Place 作为 Apple 合作 App 用于推广 ARKit；Houzz（家装商城）启用 ARKit 后，累计有 1 百万用户使用了 AR，这些人的购买意愿提升了 11 倍，APP 时长提升了 2.7 倍（Techcrunch 采访 Houzz CEO）。

There is some evidence to back this up: Houzz said one million people have used the previous AR features in the app to date, and those who used them were “11 times more likely to purchase and spent 2.7 times more time in the app,” the company said. Techcrunch

AR 美妆、服装也是较早切入 AR 的场景，美妆中试妆（口红/眼影等）、服装中的虚拟试衣间（衣/裤/帽等）在国内外都能看到案例，也有传统眼镜虚拟试戴一类的服务供应商出现，这些对电商都有较大的吸引力，线下商场有用虚拟试衣间来提升搭配的效率，未来可能有更多玩法。

2.2.6. AR 营销

AR 初期最被看好的应用场景是游戏和营销，Pokemon Go 这款打怪健身游戏凭借在全球的现象级表现第一次让亿级用户知道了“AR”这个名词，尽管只是轻度的 AR 游戏，把它看做是 AR 的开山之作也不为过。Pokemon Go 的玩法具备很好的参与和传播特性，也影响了一批营销互动玩法，如捉猫猫、AR 实景红包等。AR 在营销中是把利器，相对之前扫二维码打开一张页面的方式而言，AR 营销中可以扫一张电影海报、一个物理实体（如月亮、香蕉），然后展现出更为丰富有趣的交互内容。

Pokemon GO（左）、捉猫猫（中）、AR 实景红包（右），图片来源：Pokemon GO、手机淘宝、手机支付宝

更多 AR 案例可访问活跃的 Github 仓库 Awesome-ARKit。

2.3. B 端

针对不同领域的 AR Glass 其实已经很多了（下图就展示了 32 种，大部分面向 B 端），这一节主要介绍微软和 Google 两个大玩家，还有 Meta 这样有野心的作品，以及神秘的 Magic Leap。

图片来源：arglassesbuyersguide.com

2.3.1. Meta

图片来源：metavision.com

Meron Gribetz 在哥伦比亚大学学习时创建了 Meta，Meron 在 2016 TED 演讲中发布了 Meta 2。早在 2014 年，Meta Pro 就获得了 “CES 2014 最佳 HUD”，同年 Meron 还进入了福布斯“30位30岁以下”科技榜；再之前 2013 年 Meta 在 Kickstarter 上筹集到近 20 万刀（超过预设的 10 万刀），同年进入 YC 种子加速器。尽管是一家刚起步的创业公司，面对的又是 OS 级别的 AR，Meta 的“野心”和进展都值得关注。

从 Meta 2 购买页面可以看到详细参数：

90-degree field of view
2.5K resolution, 60Hz refresh rate
Hand interaction & positional tracking sensors
720p front-facing RGB camera
9 ft (2.7 m) cable for video, data & power
Weighs 1.1 lb / 500g

从参数看，Meta 2 使用摄像头捕捉实时画面，通过 IMU 追踪加速度和角度变化，提供 6 自由度的位置追踪，通过摄像头识别手势实现人机交互。Meta 2 目前仍需连接电源线，这会限制其使用场景。

“You are the operating system”

Meron 2016 年通过 TED 演讲向全球发布了 Meta 2 ，非常有想象力的举动，Meron 觉得 AR 不仅可以用来娱乐和营销，更可以替代现有的 OS（前文提到的“野心”）。几个精彩片段：

”现在的计算机很糟糕“

[00:12] Today's computers are so amazing, that we fail to notice how terrible they really are. I’d like to talk to you today about this problem, and how we can fix it with neuroscience.

”你就是操作系统“，自然的交互方式（减少坐标映射）可能就是最好的交互方式

[05:46] In other words, we're trying to create a zero learning-curve computer. We're building a system that you've always known how to use. Here are the first three design guidelines that we employ in this brand-new form of user experience. First and foremost, you are the operating system.

“超越（2D）显示屏”

[09:10] So folks, this is the message that I discovered in that bar in 2011: The future of computers is not locked inside one of these screens. It's right here, inside of us.

因为 Meta 2 展示了很好的视域，主持人担心是 CG 特效，所以追问“Were we seeing the real deal there?”，得到 Meron 肯定的答复“Absolutely the real deal. Not only that, we took extra measures to shoot it with a GoPro through the actual lens in the various videos that you've seen here. ”，Meta 有些视频是用 GoPro 在 Meta 镜片后拍摄的。

2.3.2. Google Glass 企业版

Google Glass 企业版，图片来源：x.company/glass

Google Glass 初代 2012 年开始对外宣传，2014 年预售后遭遇一系列问题：场景、体验、续航、隐私等，于 2015 年初中止项目。失败的原因有很多，既有宣传策略的问题、缺乏有效场景和杀手级应用，也有技术上的不成熟，这篇文章对这段往事有很细节的介绍。

2017 年 7 月宣布了 Google Glass 企业版，应用范围缩小到 B 端，如制造业、物流、汽车、医疗等领域。企业版外观相对之前最大的变化是镜架可替换，更适用于不同领域的模块替换。

WE'VE ALL BEEN BUSY
Businesses have been getting hands-on with Glass Enterprise Edition.

Google Glass 官网，图片来源：x.company/glass

2.3.3. Hololens

图片来源：Hololens

2016 Build 大会上发布了 Hololens 开发者版，同时带来很多亮眼的 Hololens 合作案例，Keynote 现场演示了多人协作的案例，最近一次公布的较大合作是福特汽车设计过程引入了 Hololens。

Hololens 硬件中有 IMU 、4 个环境感知传感器（2个每边）、1 个 120*120 视角的深度摄像机、1 个 2.4M 普通摄像头用于拍照和录制视频、麦克风阵列、环境光传感器， HPU（Holographic Processing Unit）协处理器参与实时处理传感器数据。可以运行 Windows 应用程序（2D），可以通过 Unity 或 Vuforia 创建”Holographic“（3D 程序）。Hololens 是建立在 Windows 能力之上的，软硬件综合实力可能是市场上最强大的 B 端 Glass了，如果要在 C 端使用，还需要一些优化：视域偏窄（约 30 度，对比人眼 180 度）、分辨率偏低、偏重（约 600g，对比普通眼镜 40g）、续航只有 2-3h（对比 8h 工作时间），电池重量和续航很多时候是互相矛盾的。

严格说 Hololens 是 Mixed Reality（MR）平台的第一个计算设备，而 MR 是在 Windows 10 上的一个平台。比如 10 月 Mixed Reality 平台宣布进驻的第一批设备是 VR 眼镜，未来 Hololens 也有可能发布到 MR 平台上。拗口 :)

2.3.4. Magic Leap

图片来源：magicleap.com

2017-09-27，Magic Leap 官网改版，显示 Magic Leap 可能会有更多进展公布、同时发布了超过 250 个招聘职位。暗示 Magic Leap 产品（至少是开发者版）即将发布，一周后发布视频“How It All Began”，离产品发布更进一步。2017 年底宣布将在 2018 年发布第一款眼镜“Magic Leap One”。

we’re taking you with us on this journey to launch. More to come…
We have lots of news to share and we’re happy you connected with us. So happy that our email team just high-fived. Stay tuned.

对于 Magic Leap 的技术参数也有诸多猜测：

“Mixed Reality Digital Lightfield technology”，官网给出了这个名词，直译是“混合现实数字光场”（一般称光场），更多细节没有看到
未来 6 个月内有产品发布，价格区间 $1500-2000（注：企业版价格），尺寸介于传统眼镜和 VR 头盔之间，可能配备手柄

Magic Leap 进入大众视线是因为 2016 年 3 月在 youtube 上疯传的鲸鱼视频。

2.3.5. B 端小结

表 - B 端 Glass，数据参考 wikipedia 和 arglassesbuyersguide.com

单从价格看这几款都很“企业版”，离普通消费者还有较大距离（对比 iPhone 8 $699, Pixel 2 $649），比起价格，硬件物理瓶颈是更大的挑战。

2.4. AR 业务

AR 是人机交互平台，是入口，各类业务都可以根据自身特性寻找落地点和演进路线。一旦触及业务开发，AR 的安全性也有新的表现，如摄像头开启提示（Snap Spectacles 带了提示灯）、人脸和人身数据的安全等，这是个相对独立的话题。端侧架构上，实测 Native 的 AR 体验更好一些（流畅且稳定），产品级落地更偏 Native，Web/RN/Weex 对营销类玩法更有帮助。

AR 端侧架构，蓝色 OS 级，橙色可扩展，红色业务，图片来源：@鬼道

Keiichi Matsuda 2016 年在 youtube 上发布了这个概念视频，展现了公车/城市/商场未来的 AR 效果，很多子场景和细节效果都已经被实现了，最大的瓶颈看起来还是 Glass。

3. 后记

笔者 17 年 6 月首次体验了 Hololens，时隔 4 月，现在仍能回想起：不到 1 小时的时间内体验了 Gaze/Gesture、Edge、Word、视频、roboraid（第一人称射击游戏），感受到 SLAM 的精准，也发现视域有些偏窄。这种震撼和冲击到现在都没有散去，也是从那时起开始关注 AR 的进展，借着十一假期的大块时间，完成了本文的主要章节，之后修订了 2 周。

从 ENIAC 到 PC 用了 35 年（1946-1981），从 PC 到 Mobile 用了 26 年（1981-2007），从 Mobile 到 AR 雏形只用了 9 年（2007-2016，考虑到成长期也会小于 20 年）。人机交互的演进有加速的趋势，即将到来的 5G 和逐渐成熟的 AI（如物体识别）都会给人机交互带来更大的加速度。笔者入行时还是 PC 主导的世界，有幸经历了 Mobile 的全程（跨终端/Hybrid/Native和Web融合/RN/Weex），现在又见冉冉升起的 AR，能活在这个时代真好！

鬼道

20171020

参考文献

https://en.wikipedia.org/wiki/ENIAC
https://en.wikipedia.org/wiki/Punched_card
https://en.wikipedia.org/wiki/Computer
https://en.wikipedia.org/wiki/Computer_mouse
https://en.wikipedia.org/wiki/Computer_keyboard
https://en.wikipedia.org/wiki/Computer_monitor
https://en.wikipedia.org/wiki/Datapoint_3300 第一台计算机显示器
https://en.wikipedia.org/wiki/Graphical_user_interface
https://en.wikipedia.org/wiki/IBM_Personal_Computer IBM PC 5150
https://en.wikipedia.org/wiki/Macintosh
https://en.wikipedia.org/wiki/IMac_Pro
https://en.wikipedia.org/wiki/IPhone_(1st_generation)
https://www.youtube.com/watch?v=l7yxJDFvTRM
https://developer.apple.com/documentation/uikit/touches_presses_and_gestures/handling_uikit_gestures
Virtual reality is ‘no substitute for human contact 2016-10-14
Apple boss Tim Cook bigs up AR, throws shade on VR 2016-10-04
Why Apple CEO Tim Cook Prefers Augmented Reality Over Virtual Reality 2016-09-14
http://www.independent.co.uk/life-style/gadgets-and-tech/features/apple-tim-cook-boss-brexit-uk-theresa-may-number-10-interview-ustwo-a7574086.html
http://blog.agcocorp.com/2017/05/google-glass-placeholder/
https://open-ar.bot.tmall.com/#data
Learn more about ARKit
Face Tracking with ARKit
https://developer.apple.com/documentation/arkit
https://developer.apple.com/videos/play/wwdc2017/602/ ARKit Tutorial
Human Interface Guidelines: Augmented Reality
https://developer.apple.com/videos/play/fall2017 ARKit 技术细节
https://en.wikipedia.org/wiki/IPhone#Sensors
https://en.wikipedia.org/wiki/List_of_iOS_devices
Google’s New Pixel Phones Are “factory calibrated and optimized for AR”, Now With 60 FPS Tracking
Google Pixel 2 gets ‘Stranger Things’ AR stickers (CNET News)
https://developers.google.com/ar/discover/
https://developers.google.com/ar/discover/concepts
有了 ARCore 和 ARKit，AR 行业还能做什么？
ARCore：移动AR的浪潮
Google ARCore gives Android users augmented reality without Tango - The Verge
AR.js
WebRTC
https://aframe.io/
WebAR
WebARonARCore
WebARonARKit
AR 开放平台
https://9to5mac.com/2017/10/03/spectacles-first-year-sales/
https://www.vrvana.com/#seethedifference
Apple’s Tim Cook on iPhones, augmented reality, and how he plans to change your world | The Independent
https://www.theverge.com/2017/8/1/16074774/apple-ar-headset-goggles-augmented-reality
库克牛津大学演讲：AR 比 VR更深刻，乔布斯一番话让我如释重负
Rekimoto: The World through the Computer 1995
Augment-Able Reality: Annotated Real World 1998
https://www.apple.com/apple-events/september-2017/
https://www.cnet.com/news/baseball-apple-pitches-augmented-reality-to-catch-fans-mlb-apple/
https://www.facebook.com/fbcameraeffects/home/
https://www.apple.com/newsroom/2017/09/the-future-is-here-iphone-x/
https://twitter.com/AndrewProjDent
https://sensortower.com/blog/top-arkit-apps
http://www.pokemongo.com
https://github.com/olucurious/Awesome-ARKit
https://www.theverge.com/2017/9/20/16329366/ios-11-apple-arkit-best-new-ar-apps
https://9to5mac.com/2017/09/20/best-ar-arkit-apps-ios-11/
http://www.idownloadblog.com/2017/08/30/video-hands-on-with-apple-arkit-demo-app/
http://arglassesbuyersguide.com/
http://www.metavision.com/
A glimpse of the future through an augmented reality headset Meron Gribetz TED 演进
Meron Gribetz (CEO, Meta): The Future of Productivity is Spatial - Introducing Meta’s AR Workspace - YouTube
https://techcrunch.com/2014/01/12/the-best-of-ces-2014/
https://techcrunch.com/2014/01/12/the-best-of-ces-2014/
https://www.forbes.com/pictures/fdef45mdfe/meron-gribetz-28-2/
https://techcrunch.com/2013/08/20/y-combinator-summer-2013-demo-day-batch-2-meet-meta-lob-amulyte-weilos-and-more/
https://buy.metavision.com/#requirements
https://www.x.company/glass/
https://blog.x.company/a-new-chapter-for-glass-c7875d40bf24
Google Glass 2.0 Is a Startling Second Act | WIRED
Google Glass gets a second chance in factories, where it’s likely to remain - The Verge
Google Glass 回归企业市场，背后是一笔 20 亿美金的大生意
谷歌眼镜兴衰史：重要的是用户而非技术
https://www.microsoft.com/en-us/hololens
https://www.youtube.com/channel/UCT2rZIAL-zNqeK1OmLLUa6g/videos
Microsoft HoloLens: Partner Spotlight with Ford - YouTube
https://developer.microsoft.com/en-us/windows/mixed-reality
Microsoft’s HoloLens to lead the growth of mixed reality devices
20170614 Hands on: Microsoft HoloLens review
https://www.magicleap.com/
https://www.bloomberg.com/news/articles/2017-09-14/singapore-s-temasek-is-said-to-mull-investing-in-magic-leap
http://www.businessinsider.com/incredible-augmented-reality-headset-2016-3
Magic Leap | How It All Began - YouTube
Magic Leap Updates Site in Preparation for the “journey to launch”
Magic Leap reportedly seeks $500 million at $6 billion valuation
https://developers.google.com/web/updates/2017/09/sensors-for-the-web
3 ways augmented reality will transform UX design
The 3 Biggest Challenges Facing Augmented Reality Today – Road to VR
Living With Low Field Of View - YouTube
Mobile AR’s installed base could grow to over 3 billion by 2021, ARKit and ARCore are leaving VR in the rearview mirror
A new ARKit app from Houzz brings 500,000 objects to moveable life | TechCrunch
4 technologies that will unlock AR’s full potential
https://blog.prototypr.io/ar-first-mobile-second-614e85673083
创新技术（AR、渲染、架构等）在电商领域的探索 QCon 2017
AR 中的识别与渲染技术 QCon 2017
WebAR 技术与应用场景 QCon 2017

点击查看原文链接

热门

活动广场

任务中心

开发者评测

高校计划

乘风者计划

训练营

阿里云MVP

话题

直播

下载

镜像站

技术资料

插件

AR 独立观察：新一代人机交互平台