详解苹果Face ID,将让深度摄像头成主流

简介:

iPhone X的信息想必都知道了,它正面几乎全是屏幕,也就意味着唯一的按键Home键以及Touch ID的消失,而新的身份认证方式就是Face ID。如其名,在开锁时用户只需要看着手机,Face ID就能实现刷脸解锁。

随着人工智能概念的普及,人脸识别已经屡见不鲜。但这次,苹果除了用到图像识别外,还在Face ID的人脸识别中加入了深度信息,让身份认证更安全。

Face ID的实现靠的是iPhone X顶部一小块没被屏幕覆盖的区域。这一小块区域集成了多达八个组件,除了麦克风、扬声器、前置摄像头、环境光传感器、距离感应器等我们熟知的部分,还集成了红外镜头、泛光感应元件(Flood illuminator)、点阵投影器。

详解苹果Face ID,将让深度摄像头成主流

苹果将整个系统称之为原深感摄像头(TrueDepth Camera System),而整个系统除了能用于Face ID人脸验证,也可以扩展自拍功能,实现动画表情发布,和AR效果叠加。

详解苹果Face ID,将让深度摄像头成主流

具体而言,上述的感应器会投射人眼看不见的光,并读取用户的脸部3D几何结构图,并将它与存储在A11芯片隔区内的数据进行对比,如果两者一致,iPhone X就会解锁。在注册时,点阵投影仪会投射3万多个点在人脸上,从而形成一张3D人脸图,并存储在A11芯片上。使用中,泛光感应元件会打一道看不见的光在人的脸上,这样在黑暗中也能识别人脸。

苹果甚至为此开发了一个神经引擎(Neural Engine),可即时处理人脸识别。苹果高级副总裁Phil Schiller在发布会上解释称,“我们用神经网络处理图像和点阵模式,来建立人脸数学模型。”

苹果还请好莱坞特效面具公司制作了一组面具,来训练神经网络,保证安全性。虽然下图看起来还挺可怕。

详解苹果Face ID,将让深度摄像头成主流

库克在发布会上说,Face ID比Touch ID更为安全,后者被破解的概率是五万分之一,而前者是百万分之一。无论是改变发型,戴上眼镜,还是戴上帽子,Face ID都能成功识别。不过苹果也提到,Face ID在长相近似的人身上可能会失效,如果是双胞胎的话,出错的概率会增加不少。

另外,Face ID还是要在用户将注意放在手机上时才能使用,也就是说解锁时要睁眼看着手机,否则就失效了。

Face ID同时支持Apple Pay和第三方应用,实现刷脸支付。

人脸识别与刷脸支付早已被外界熟知,雷锋网也曾报道过马云在支付宝上的演示。这次苹果的Face ID在二维的图像上叠加了一层深度信息,可以保证人脸识别更安全。对于人脸识别中用照片蒙骗系统的问题,由于有了3D信息,也起不到作用。

而且正如苹果演示的那样,多出来的深度信息还可以优化前置相机拍摄效果,实现动画表情,叠加AR特效等功能。

详解苹果Face ID,将让深度摄像头成主流

若要追溯苹果对深度摄像头念头,不严格的说可以回到2013年。雷锋网曾报道,当年底苹果以3亿美元左右的价格收购了以色列公司PrimeSense。

PrimeSense可以说是当时最强的3D传感技术公司,它主要提供传感器和中间件,可以让设备感知周边的三维环境,实现人机交互。这家公司号称拥有全球最小的3D感知芯片,能用在手机、电视、平板、机器人等各类设备上。

它与微软合作开发了第一代体感设备Kinect。当时,微软想以体感体验与任天堂的Wii和索尼的PS争夺家庭主机市场。后来微软有意收购Primesense,但由于价格没谈拢而作罢,而且双方的合作也终止,这导致后者内部经历了大裁员。

在失去最大的客户后,Primesense估值下滑,最终被苹果收购。并购后,外界一直在猜测,苹果会何时用上深度感知技术。如今它终于将其用在了手机前置摄像头上。

目前深度感知领域有三大主流技术方案:飞行时间(TOF),结构光,双目视觉。PrimeSense用的是结构光方案,毫无疑问,苹果也用的改良版的方案。

如前所述,用结构光方案获取深度信息,原理简单来说,就是向空间投影一定图案,传感器获取反射回来的图案,与原图进行对比就能生成深度图。英特尔的RealSense实感技术也用到了这种方法。

TOF深度摄像头后来被微软用在了第二代的Kinct,其原理是,传感器发出经调制的脉冲红外光,遇物体后反射,传感器通过计算光线发射和反射时间差或相位差,来换算被拍摄景物的距离,以产生深度信息,此外再结合传统的相机拍摄,就能将物体的三维轮廓以不同颜色代表不同距离的地形图方式呈现出来。

双目视觉比较好理解,就是模仿人眼的结构,通过两个摄像头的视差来确定距离信息。这种方案在移动设备上的应用较少,多用在户外机器人。

国内做深度摄像头的厂商奥比中光告诉雷锋网(公众号:雷锋网),比较三种方案,飞行时间测量的精准度和稳定性较好,但结构光可以做得更小、功耗小、测量分辨率也相对高,双目则属于被动光,无法适应暗光环境。

手机后置摄像头已经从单镜头进化到了双镜头,在这次发布会前,不少业界人士就猜测,新iPhone的前置摄像头也会增加深度信息,由二维进化到三维。现在消息已经坐实,以苹果的体量无疑会引爆市场,让其它厂商纷纷跟进。只是,做指纹识别的公司,你们还好吗。



本文作者:张驰
本文转自雷锋网禁止二次转载, 原文链接
目录
相关文章
|
7月前
|
算法 计算机视觉 iOS开发
iOS 实时图像处理技术:Core Image 框架的应用
【4月更文挑战第8天】 在移动设备上实现高效的图像处理功能,对于提升用户体验和扩展应用程序能力至关重要。苹果公司的iOS平台提供了强大的Core Image框架,它允许开发者以高效和直观的方式执行复杂的图像处理任务。本文将深入探讨Core Image框架的关键特性,并通过实例演示如何在iOS应用中集成实时图像处理功能,不仅提高性能,同时保持了电池寿命的优化。我们将重点讨论面部识别、滤镜应用和性能优化等关键技术点,为读者提供一份全面的iOS图像处理指南。
|
22天前
|
数据采集 自然语言处理 安全
控制电脑手机的智能体人人都能造,微软开源OmniParser
微软研究团队推出OmniParser,旨在提升GPT-4V等多模态模型在用户界面操作方面的性能。通过解析用户界面截图为结构化元素,OmniParser显著增强了模型的交互能力,使其在多种基准测试中表现出色。该技术开源,促进了社区合作与技术创新,但同时也面临数据质量、计算资源及安全隐私等挑战。
54 14
|
7月前
|
编解码 人工智能 自然语言处理
让大模型理解手机屏幕,苹果多模态Ferret-UI用自然语言操控手机
【5月更文挑战第29天】苹果推出Ferret-UI,一个结合图像识别和自然语言处理的多模态大语言模型,允许用户通过自然语言指令操控手机。该系统能适应不同屏幕布局,识别UI元素并执行相应操作,有望变革手机交互方式,提升无障碍体验,并在测试和开发中发挥作用。但需面对屏幕多样性及准确性挑战。[论文链接](https://arxiv.org/pdf/2404.05719.pdf)
189 3
|
7月前
|
编解码 人工智能
PixArt-Σ:华为最新文生图模型,支持4K高清图像生成
【5月更文挑战第18天】华为发布PixArt-Σ模型,一款基于DiT架构的4K图像生成器,提升图像质量和文本对齐度。模型采用“弱到强训练”,以少量参数生成优质图像。引入高质量数据和高效标记压缩方法,实现超高分辨率图像生成。实验显示,PixArt-Σ在遵循复杂文本提示和图像质量上表现优异,与顶尖T2I模型相当。然而,计算资源需求大及处理复杂场景能力有限仍是待解问题。[链接](https://arxiv.org/pdf/2403.04692.pdf)
137 1
|
7月前
|
人工智能
苹果加入开源大战,官宣端侧小模型OpenELM!参数2.7亿到30亿一台M2 Mac可跑
【5月更文挑战第10天】苹果开源高效语言模型OpenELM,采用层级缩放策略,参数量2.7亿至30亿,可在M2 Mac上运行。相比OLMo,OpenELM在10亿参数下精度提升2.36%,只需一半预训练标记。苹果提供了完整的训练、评估框架及设备推理代码,促进开放研究,源代码和模型可在项目网站及HuggingFace找到。然而,OpenELM尚处早期阶段,性能有待验证,且苹果保留知识产权。论文链接:https://arxiv.org/abs/2404.14619
119 5
|
移动开发 计算机视觉
百度人脸识别记录(2):熟悉H5 capture 调用摄像头
百度人脸识别记录(2):熟悉H5 capture 调用摄像头
83 0
|
机器学习/深度学习 存储 编解码
不到1ms在iPhone12上完成推理,苹果提出移动端高效主干网络MobileOne
不到1ms在iPhone12上完成推理,苹果提出移动端高效主干网络MobileOne
170 0
|
图形学 iOS开发
Unity【Face Cap】- 关于人脸捕捉的解决方案(二)
Unity【Face Cap】- 关于人脸捕捉的解决方案(二)
792 0
Unity【Face Cap】- 关于人脸捕捉的解决方案(二)
|
编解码 vr&ar 数据安全/隐私保护
苹果 Face ID 开放《iPhone X ARKit Face Tracking》
本文章来自 腾讯Bugly 《iPhone X ARKit Face Tracking》 iPhone X前置深度摄像头带来了Animoji和face ID,同时也将3D Face Tracking的接口开放给了开发者。有幸去Cupertino苹果总部参加了iPhone X的封闭开发,本文主要分享一下iPhone X上使用ARKit进行人脸追踪及3D建模的相关内容。
613 0
苹果 Face ID 开放《iPhone X ARKit Face Tracking》
|
存储 缓存 数据可视化
Core Image:iOS图像处理技术追踪
Core Image是苹果官方提供的图像处理框架,通过丰富的built-in(内置)或自定义Filter(过滤器)高效处理静态图片、动态图片或视频。开发者还可以通过构造Filter链或自定义Core Image Kernel来实现更丰富的效果。 在WWDC20中,苹果官方针对Core Image技术在以下三方面做了优化:Core Image对视频/动图的支持、基于Metal构建Core Image (CI) Kernel以及Core Image的Debug支持。 这三方面会在下文逐一提到,文末笔者也会浅谈Core Image在手淘图片库中的应用可能以及对Core Image技术的展望。
1903 0