【Tech】啥是DeepFusion?看完这篇你就懂了!

简介: 【Tech】啥是DeepFusion?看完这篇你就懂了!

2019年10月29号的大半夜,苹果放出了iOS 13.2正式版的更新,顺手还更新了一波AirPods。之前发布会上提到的iPhone 11专属的Deep Fusion也正式上线,利用A13的神经网络引擎,可以在低光照环境下获得噪点更低的照片。


1.jpg


更新介绍讲的超级简单,但是小口袋知道这一切并不是那么简单!这篇文章讲讲Deep Fusion到底是个啥?用来干嘛的。


DeepFusion(深度融合)简介


DeepFusion中文翻译应该叫深度融合,那么是怎么个融合法呢?看图:


2.jpg


简而言之,9图合成1图。DeepFusion采用的技术简单来说就是,当你按下快门,相机会先拍4张短时间曝光的照片,然后再以正常标准曝光拍4张,最后拍一张长曝光获取暗部细节,然后将这九张照片自动分析,选择其中解析力最高的部分进行合成。 在A13的加持下,合成速度只需要半秒到一秒半秒左右(其他处理器由于缺少对于ISP,无法实现该功能)。最终可以得到一张2400万像素的照片(2.6MB的HEIC格式,正常情况下的Smart HDR照片约为1.4MB HEIC格式)    不得不说,苹果这一次的技术革新让我们耳目一新,当一众厂商还在疯狂堆积像素时,苹果试图用1200万像素的镜头,诠释什么才是手机相机应该有的样子。也许从一开始,苹果就与其他手机不在一条赛道上。


怎么开启DeepFusion?


DeepFusion开启不需要任何调节,拍摄方式一如既往的简单:按下快门即可,其余交给苹果。只要光照在10-600lux就会自动打开,并会在打开后自动关闭超取景模式。 值得注意的是,DeepFusion由于需要大量的计算量,连拍模式下连A13都会吃不消,因此开启时连拍会变慢,并且拍摄到照片在相册中会暂时显示为预览图,需要过一段时间才能获得处理过的完整照片。 事实上苹果故意弱化了连拍功能,以前连拍长按拍照按钮就可以了,现在用iPhone 11你再试试?


3.jpg


是的,iPhone 11将长按拍照按钮变成了快速录像,而连拍功能则需要在按下快门后快速向左滑动。这也是为了有效避免用户不小心长按拍摄按钮,导致DeepFusion疯狂开启后大量消耗资源的妥协之策。
也正是因此,DeepFusion只能用于拍照,并不能用于视频拍摄,A13再强也扛不住,如果A12X能拍DeepFusion,估计也扛不住用来拍视频。


照片对比


4.jpg


可以很明显看出,开启DeepFusion后照片清晰度大幅度提升,主要原因之一是DeepFusion照片像素是2400万的,比正常拍摄像素提升了一倍!via


5.jpg


其他细节一览


小口袋特地做了一个图片,解释一下iPhone 11系列(iPhone11  iPhone 11 Pro和Pro Max)在拍照时到底是怎么一回事:


6.png


   由于DeepFusion的功能实在太过强大,甚至有人怀疑iPhone是不是采用了一枚4800万像素的镜头进行超采样输出,然后合成为2400万像素的照片。  

  这也是目前DxOMark至今不敢给出iPhone 11系列拍照得分的原因:iPhone 11相机的能力,可能还有待开发,每一次升级系统都可能带来巨大的提升,这让评分变成了一件很尴尬的事情。


   这也让我们对苹果似乎有了些不一样的认识,Deep Fusion似乎是对其他一众设备上的相机的嘲讽,在其对ISP芯片和NPU的深度挖掘下,几乎没有厂商目前有能力与其抗衡。而苹果将其如此强大的处理器和相机性能,用来做了一件极其平凡而又不平凡的事情,提升当前分辨率下照片的绝对清晰度,这让我们感觉到曾经的苹果似乎回来了。


   我们对下一次iOS 13.3的大更新也有了更多期待,iPhone 11上究竟还有什么神奇的黑科技有待开发呢?比如至今苹果只字未提的U1超宽频芯片,或者是Wi-Fi 6带来的强大能力?敬请期待吧!


大家觉得DeepFusion这个功能怎么样呢?下次苹果又会更新什么黑科技呢?                             欢迎留言讨论~

目录
相关文章
|
2月前
|
云计算 开发者
aliyun开博第一篇20240917
这是阿里云开博的第一篇文章,发布于2024年9月17日。本文标志着阿里云在技术分享与交流领域的新起点,将深入探讨前沿科技、云计算趋势及实践应用,为开发者和行业专家提供有价值的洞察与见解。
186 90
|
3月前
|
算法 数据挖掘 数据建模
【2023年4月美赛加赛】Y题:Understanding Used Sailboat Prices 三篇完整论文及代码
本文概述了2023年4月美赛加赛Y题“Understanding Used Sailboat Prices”的三篇完整论文及代码,涉及二手帆船定价的数学模型构建、区域效应分析、模型在香港市场的适用性验证,以及对帆船市场因素的深入分析和预测。
44 0
《More Effective C# 》读书笔记 第一章
《More Effective C# 》读书笔记 第一章
|
机器学习/深度学习 人工智能 算法
【花书笔记】 之 Chapter01 引言
【花书笔记】 之 Chapter01 引言
【花书笔记】 之 Chapter01 引言
tech| 开源之路: github PR 走起
想快速提高编程能力, 还不快来 「全球最大同性交友社区」~
125 0
|
算法 测试技术 C++
Google Interview University - 坚持完成这套学习手册,你就可以去 Google 面试了
本文讲的是Google Interview University - 坚持完成这套学习手册,你就可以去 Google 面试了,这是我为了从 web 开发者(自学、非计算机科学学位)蜕变至 Google 软件工程师所制定的计划,其内容历时数月。
3185 0
|
机器学习/深度学习 人工智能 算法
吴恩达(Andrew Ng)新书给出的七点建议|附新书下载链接
本文是阅读吴恩达老师新书后总结出最有用且最有趣的七点建议,对机器学习工程应用和学术研究人员都有一定的帮助。
6057 0
|
C++ 开发框架 前端开发