《达摩院2023十大科技趋势》——产业革新——计算光学成像

本文涉及的产品
模型训练 PAI-DLC,5000CU*H 3个月
交互式建模 PAI-DSW,每月250计算时 3个月
模型在线服务 PAI-EAS,A10/V100等 500元 1个月
简介: 《达摩院2023十大科技趋势》——产业革新——计算光学成像

趋势八、计算光学成像


计算光学成像突破传统光学成像极限,将带来更具创造力和想 象力的应用。


摘要


计算光学成像是一个新兴多学科交 叉领域。它以具体应用任务为准则,通 过多维度获取或编码光场信息(如角度、 偏振、相位等),为传感器设计远超人 眼的感知新范式;同时,结合数学和信 号处理知识,深度挖掘光场信息,突破 传统光学成像极限。目前,计算光学成 像处于高速发展阶段,已取得许多令人 振奋的研究成果,并在手机摄像、医疗、 无人驾驶等领域开始规模化应用。未来, 计算光学成像有望进一步颠覆传统成像 体系,带来更具创造力和想象力的应用, 如无透镜成像、非视域成像等。


image.png

趋势解读


传统光学成像建立在几何光学基础 上,借鉴人眼视觉“所见即所得” 的原理,而忽略了诸多光学高维信息。 当前传统光学成像在硬件功能、成像性 能方面接近物理极限,在众多领域已无 法满足应用需求。例如 ,在手机摄影领 域,无法在保证成像效果的同时缩小器 件重量和体积,出现令人诟病的“前刘 海”和“后浴霸”的情况;在显微成像领 域,无法同时满足宽视场和高分辨率的 需求;在监控遥感领域,难以在光线较 暗、能见度较低的复杂环境中获得清晰 图像……


随着传感器、云计算、人工智能等 新一代信息技术的不断演进,新型解决 方案逐步浮出水面——计算光学成像。 计算光学成像以具体应用任务为准则, 通过多维度获取或编码光场信息(如角 度、偏振、相位等),为传感器设计远 超人眼的感知新范式;同时,结合数学 和信号处理知识,深度挖掘光场信息, 突破传统光学成像极限(如图1 所示)。


image.png


计算光学成像是一个新兴多学科交 叉领域 , 早期概念在上个世纪 70 年代中 期才逐步形成。随着信息技术的蓬勃发 展,计算光学成像已成为国际研究热点。 由于计算光学成像研究内容覆盖范围广, 目前还没有一个比较明确的分类方法。 按照计算成像技术所解决的应用问题来 分类,可以大致分为以下三类:(1)功 能提升:对传统方式无法获取的光学信 息,如光场、偏振、相干度等进行成像 或测量;(2)性能提升:即提升现有成 像技术的性能指标,如空间分辨率、时 间分辨率、景深、复杂环境鲁棒性等;(3) 简化与智能化:通过单像素、无透镜等 特定技术简化成像系统,或者以光速实 现特定人工智能任务(如图 2 所示)。


image.png


计算光学成像技术现处于高速发展 阶段,还需克服诸多挑战:首先,需以 传感器为中心重新设计光学系统;其次, 由于需要获取多维度光学信息,需引入 新型光学器件和光场调控机制,随之而 来的是更多的硬件成本和研发 / 调试时 间成本;再次,为了使计算成像硬件和 软件有更好的协同,则需重新开发算法 工具;最后,对算力要求非常高,对应 用设备芯片及其适配性提出更高要求。


计算光学成像虽然是一个新兴技 术,但已取得了很多令人振奋的研究成 果(2014 诺贝尔奖——超分辨荧光显微 成像、2017 年诺贝尔奖——冷冻电镜), 并在手机摄像、医疗、监控、工业检测、 无人驾驶等领域开始规模化应用。如在 手机摄像领域,主流手机厂商均初步融 入了计算光学成像思路,从比拼硬件光 学,转而追求硬件加算法的协同;目前 手机摄像在相当一部分场景的拍摄效果 达到、甚至超过一般单反相机。


未 来, 计 算 光 学 成 像 将 进 一 步 颠 覆传统成像体系,带来更具创造力和 想象力的应用。元成像芯片可实现大 范围无像差三维感知,有望彻底解决手 机后置摄像头突出的问题。无透镜成像 (FlatCam)能够简化传统基于透镜的相 机成像系统,进一步减小成像系统体积 并有望用于各类可穿戴设备。此外,利 用偏振成像技术能够透过可见度不高的 介质清晰成像,实现穿云透雾。还有非 视域成像,能够通过记录并解析光传播 的高速过程来对非视域下目标进行有效 探测,实现隔墙而视,在反恐侦察、医 疗检测等领域具有广泛的应用价值。


专家点评


在过去的十多年来, 信息技术的高速发 展为光学成像注入 了 新 的 生 命, 计 算 成 像 应 运 而 生, 悄 无声息中颠覆了人 类与机器感知世界 的方式。从“所见即 所得”的一一映射到 对高维光场的耦合 编 码 与 计 算 重 构, 计算成像将光作为 信息载体的一部分, 模糊了物理世界与 数 字 世 界 的 边 界, 从而突破了物理约 束,见所未见。从此, 我们能够捕捉光传 播 的 轨 迹, 看 到 千 里 之 外 的 声 音, 解 析生命活动的奥秘, 穿 云 透 雾, 洞 察 秋 毫。从毫厘微末间的 细 胞 病 毒, 到 广 袤 宇宙中的第一缕光, 计算成像将不断开 拓人类的认知边界; 从无人系统手机摄 影, 到 工 业 监 测 安 防 监 控, 计 算 成 像 将融入人们生活的 方 方 面 面, 推 动 数 字经济高速发展。


吴嘉敏

清华大学自动化系 助理教授

相关文章
|
人工智能 自动驾驶 新能源
新能源汽车技术的最新进展和未来趋势
新能源汽车技术的最新进展和未来趋势展示了汽车产业正向更环保、更智能的方向发展。电池技术、智能驾驶和能源回收等关键技术的发展将持续推动新能源汽车的创新。未来,我们有理由相信,新能源汽车将在保护环境和提升出行体验方面发挥更大的作用。
404 1
新能源汽车技术的最新进展和未来趋势
|
6月前
|
传感器 人工智能 自动驾驶
从新能源汽车行业自动驾驶技术去看AI的发展未来趋势
从新能源汽车行业自动驾驶技术去看AI的发展未来趋势
|
6月前
|
机器学习/深度学习 传感器 人工智能
山河光电品牌升级为山河元景,超表面光AI技术推动光学产业变革
随着科技的不断进步和创新,人类社会正迈入一个更加美好、智能化的时代。AI技术带来了全球格局的历史性巨变,继文本模型和图片模型后,文生视频模型的出现,再次引起广泛关注和多方震动;而同样作为前沿科技的超表面技术也日趋成熟,为光学新型器件和应用带来了无限可能,可预见的是,未来超表面技术将会在光学器件领域中扮演越来越重要的角色。
|
存储 人工智能 自然语言处理
瞭望塔|数智化生存——基于人工智能的发展对未来进行的预测
云计算和人工智能技术作为“数智化生存”的核心驱动力,将在我们生活的各个方面发挥重要作用。通过合理规划和技术创新,我们可以利用大模型等先进生产工具,推动社会进步,创造更美好的未来。
176 0
|
传感器 人工智能 编解码
《达摩院2023十大科技趋势》——场景变换——大规模城市数字孪生
《达摩院2023十大科技趋势》——场景变换——大规模城市数字孪生
240 0
|
人工智能 达摩院 大数据
前沿科技|高精度医疗路在何方
编者按: 新型冠状病毒的持续冲击为全球医疗系统带来了巨大的压力,各种疾病的复杂程度倒逼医疗行业智能化程度加快,同时也推进了更多医疗数智化解决方案加速迭代,包括远程医疗、可穿戴设备和人工智能(AI)技术等辅助方案落地。 什么是高精度医疗?什么方法治疗癌症更有效?未来医疗将会如何发展?请阅读下文寻找答案。 全文约2159字,建议阅读时间6分钟。
185 0
|
传感器 人工智能 自然语言处理
2023年十大人工智能物联网趋势和预测
人工智能物联网的出现提高了效率和生产力。通过交互和通信的数字化,人工智能物联网正在帮助企业高管重塑他们的业务。在这里,我们提到了一些主要的人工智能物联网趋势和预测,这些趋势和预测预计将在2023年变得至关重要。
258 0
2023年十大人工智能物联网趋势和预测
|
机器学习/深度学习 人工智能 达摩院
从AI解决风光电并网难题到硅光芯片,达摩院发布2022十大科技趋势!
从AI解决风光电并网难题到硅光芯片,达摩院发布2022十大科技趋势!
204 0
从AI解决风光电并网难题到硅光芯片,达摩院发布2022十大科技趋势!
|
机器学习/深度学习 人工智能 达摩院
阿里巴巴达摩院2022十大科技趋势发布:人工智能或将解决风光电并网难题
阿里巴巴达摩院发布2022十大科技趋势,这是达摩院连续第四年发布前沿科技趋势预测。
601 0
阿里巴巴达摩院2022十大科技趋势发布:人工智能或将解决风光电并网难题
|
机器学习/深度学习 人工智能 编解码
水利行业 | 河湖清“四乱”遥感AI
本文介绍了水利行业 | 河湖清“四乱”遥感AI的方案概述,方案价值及优势以及最佳实践。
水利行业 | 河湖清“四乱”遥感AI