Nat. Light | 深度学习在全息和相干成像中的应用

本文涉及的产品
公网NAT网关,每月750个小时 15CU
简介: Nat. Light | 深度学习在全息和相干成像中的应用

image.png

研究背景


尽管全息相干成像显微镜存在着如无标记,无扫描3D成像等诸多优点,相对于其它的显微成像模式(如明场显微镜和荧光显微镜),全息显微成像仍旧存在一些问题,如复杂的相位重建迭代过程,噪音噪点,导致了它的使用范围并没有那么广泛。


近年来,深度学习领域的发展的取得了很大的进步,这对于全息成像模式来说是全新的机会。深度学习方法应用于全息成像模式上(如图1所示),不仅能规避很多相干成像系统存在的问题,同时还能充分利用其本身成像模式的优势。来自加州大学洛杉矶分校的Ozcan团队相信深度学习与全息技术的交叉研究将是全息成像和传感系统在生命科学、生物医学和工程领域的更广泛的传播和采用的关键。

image.png

图1-深度学习方法在相干成像上的应用


在本文中,作者主要回顾了几种深度学习在全息相干成像系统中已有的应用。


相位恢复和全息重建


相位恢复是全息成像过程中的一个关键过程,常规的恢复策略中已有多种光学和数值方法被提出用于求解相位信息。例如,获取样本在不同轴距、照明角度、波长和偏振状态下的测量值作为在使用重建算法时的物理约束来获得最终解。然而,由于要对同一个物体进行多次测量,这种方法只适用于准静态的物体,对于高速移动的物体并不适用,并且算法耗时巨大并需要对大量自定义参数进行调试以得到比较好的图像。


结合深度学习的相位恢复方法被证明能够在从单一全息图中完成相位恢复工作,且比常规相位恢复策略和算法更高效、鲁棒性更强。在预处理环节,为达到更好的效果,在输入网络进行重建之前,首先会使用解析的方法对全息图进行一个聚焦的处理然后将对焦图像输入到神经网络中生成相位重建图像,如图2b,d所示。

image.png

图2-基于深度学习方法的全息重建


深度神经网络相较于常规解析重建算法的优势在于它可有效减少噪音噪点,且相比于state-of-art的迭代全息重建策略算法能缩短4~30倍的时间,如图2b,c所示。目前,这种技术已经被用于无标记快速流体检测。


景深加强与自动聚焦


Wu, Y. C等人在其工作中证明了深度神经网络能够从单一的全息测量数据中同时的执行自动聚焦和相位恢复,生成处于不同轴向深度的样品图像,如图2c所示。这种神经网络使用随机成对的离焦全息图和对应的聚焦、已相位恢复的全息图训练而成。通过并行的执行不同深度的聚焦和相位恢复,能够大幅的减少对3维分布的样品点进行重建的时间,这对宽视场的全息成像应用非常有用,并且这种扩展的景深图像是无法通过常规的基于波传播的迭代全息恢复策略得到的。


例如,这种基于深度学习的重建方法被用于在大于20平方毫米的宽成像视场上实现高通量病毒检测。还被用于重建生物气溶胶图进行花粉和霉菌孢子的识别及分类。


分辨率及信噪比提升


深度学习应用到分辨率提升中,以成像系统有无透镜分为:


(1)在无透镜全息系统中,用于训练网络的高分辨率标签图像是通过使用同一样本的多张进行了亚像素偏移的图像合成,低分辨率图像则是使用了少量进行了亚像素偏移的图像合成。训练好的网络能将低分辨率图转化成对应的高分辨率图,从而减少全息图的测量次数,缩短图像重建时间,如图2e所示;


(2)在基于透镜的受衍射极限限制的全息系统中,用于训练网络的高分辨率标签图像通过使用放大倍率和数值孔径更大的目镜来获取(此时获得的视野相对变小)。训练好的网络在将低分辨率图像转化成对应的高分辨率图像时,提升了成像系统的总体空间带宽积,同时拥有更高的分辨率和更广的视野。


在提升信噪比(SNR)方面,神经网络用高信噪比图像及其对应的由计算模拟得出的低信噪比图像来训练,然后利用训练好的网络对实验获得的图像数据进行散斑噪声抑制处理,如图2d所示。


明场全息成像


常规策略重建的全息图往往由于其图像对比度和轴向切片能力的不足而陷入性能瓶颈,其不仅是受到孪生像、自干涉及噪斑的影响,且也有受到由于时空间相干性过大而导致的样本离焦特征的影响。

image.png

图3-基于深度学习方法的明场全息术


为了解决其中的图像对比度问题,研究者提出使用神经网络将全息图转变成常规明场显微图。训练集由从同一张全息图计算得到的不同深度的复值图与相应深度的明场显微镜图像对组成。训练完成后,可以实现仅用一张全息图,不需要任何机械的全局轴向扫描操作,来得到样品不同深度的明场图像。这种技术集合了全息显微镜和明场显微镜的优点,如图3所示。


数据驱动的明场全息和跨模态变化方法能进一步的促成下一代高通量的全息体成像系统的出现,通过简单的硬件设备就能拥有更快的成像速度,更高的对比度以及3维切片能力。


用跨模态变化给样本的全息图染色


小提示:这部分内容可参见本公众号的历史文章nature | 基于深度学习方法的虚拟组织染色。


未经染色的生物标本,如细胞及其他一些细薄组织切片,在标准的明场显微镜下只能呈现出很低的对比度,以至于得不到有实际能用于病理诊断的图像。为了能产生高对比度的图像,一直以来,生物化学染色技术都被认为是病理学上得到病理诊断图像的标准方法。然而该技术却有需要在染色过程中使用大量化学试剂,耗时严重,对操作人员要求高等弊端。


基于深度学习的虚拟组织染色方法通过跨模态变化将使用全息显微镜下得到的病理学切片的定量相位图转换成与经过生物化学染色后呈现在明场显微镜下的图相当的虚拟染色图像,如图4所示。

image.png

图4-基于深度学习方法的虚拟组织染色

散射介质成像与衍射层析成像

深度学习在相干成像系统上的应用不局限于基于单次散射的全息投影技术,使用精确标记数据集,深度学习同样可以应用于多次散射与经由散射介质后的成像过程。

image.png

图5-通过光散射器成像

例如,神经网络从相干光通过光散射器后的光信号中提取目标图像,如图5所示;Borhani等人在其工作中提出神经网络可以从传输距离达1km的多模光纤后端获得的散斑图中重建并识别出手写数字,如图6所示。

image.png

图6-通过多模光纤成像

深度学习也被应用到光学衍射层析成像中,Kamilov等人在其研究工作中证明了一个训练好的全卷积神经网络能够由多张衍射层析图得到物体的3D折射率分布,如图7所示。Goy, A 等实现了仅通过少量的角度扫描衍射层析图完成3D折射率重建。

image.png

图7-衍射层析重建

Choi, G等成功的利用对抗生成网络GAN来生成减少了动态散斑噪声的三维重建图,如图8所示。在这种GAN网络中,训练过程中使用的数据集可以是未配对的数据。

image.png

图8-散斑噪声抑制


总结


当前世界正在经历全息术和相干成像领域的真正复兴,这得益于来自神经网络和数据驱动学习方法的强大统计工具的新浪潮。显微领域的进步使得深度学习框架能获取到更多精确的用于训练深度神经网络的图像数据,这种基于深度学习的全息和相干成像模式能高效的得到高分辨率和高通量的图像,给硬件资源有限的便携式显微设备带来更多可能。。


Ozcan团队相信,这只是这一领域将经历的一系列变革性进步的开始,这不仅将从根本上改变成像仪器及其工作方式,而且还将开辟大量的新应用,这是当今成像系统所无法实现的。

参考资料


Rivenson Y., et al. Deep learning in holography and coherent imaging. Light.: Sci. Appl. (2019) 8:85.


审稿人注


Holography偏向于是一种成像方式,Coherent 主要指使用激光成像。


Phase Retrieval: 光是一个复数量,, 其中A是Amplitude(幅度),一般常规显微镜看到的图都是幅度图。指相位,是一个跟物体折射率与物体高度相关的量,所以能够反映物体的内部结构。一般相机只能接收到幅度值,Phase Retrieval的过程就是从相机接收到的幅度值里面提取值的过程。


相关实践学习
每个IT人都想学的“Web应用上云经典架构”实战
基于阿里云,构建一个企业web应用上云经典架构,让IT从业者体验企业级架构的实战训练。
目录
相关文章
|
3天前
|
机器学习/深度学习 固态存储 计算机视觉
深度学习在图像识别中的应用与挑战
【5月更文挑战第17天】本文主要探讨了深度学习在图像识别领域的应用及其所面临的挑战。随着深度学习技术的不断发展,其在图像识别领域取得了显著的成果,如卷积神经网络(CNN)在图像分类、目标检测和语义分割等方面的优异表现。然而,深度学习在图像识别中仍面临一些挑战,如数据不平衡、模型泛化能力和计算资源消耗等。本文将对这些挑战进行分析,并探讨可能的解决方案。
8 0
|
19小时前
|
机器学习/深度学习 边缘计算 算法
深度学习在图像识别中的应用及其挑战
【5月更文挑战第19天】 本文旨在探讨深度学习技术在图像识别领域的应用及其面临的主要挑战。通过分析当前流行的卷积神经网络(CNN)架构,并结合最新的研究进展,本文揭示了深度学习如何革新了传统的图像处理流程。同时,文章也指出了数据偏差、模型泛化能力不足以及计算资源消耗等关键问题,并对可能的解决方案进行了简要讨论。
16 4
|
19小时前
|
机器学习/深度学习 数据采集 人工智能
深度学习在图像识别中的应用与挑战
【5月更文挑战第19天】 随着科技的飞速发展,深度学习技术在图像识别领域取得了显著的成果。本文将探讨深度学习在图像识别中的应用,以及在实际应用中所面临的挑战。通过对现有技术的分析和未来发展趋势的展望,旨在为相关领域的研究者和工程师提供有益的参考。
13 3
|
19小时前
|
机器学习/深度学习 算法 计算机视觉
揭秘深度学习在图像识别中的创新应用
【5月更文挑战第19天】本文深入探讨了深度学习技术在图像识别领域的最新进展和创新应用。通过对卷积神经网络(CNN)的优化策略、数据增强技巧以及迁移学习的实践案例进行分析,文章揭示了深度学习如何提升图像识别的准确性和效率。同时,本文还讨论了深度学习在处理大规模图像数据集时所面临的挑战和相应的解决策略,为未来研究提供了新的视角和思路。
|
1天前
|
机器学习/深度学习 边缘计算 人工智能
探索深度学习在图像识别中的应用
【5月更文挑战第19天】 随着人工智能领域的飞速发展,深度学习技术在图像识别任务中取得了显著成就。本文将探讨卷积神经网络(CNN)的基本原理,分析其在图像识别中的应用,并通过案例研究展示如何利用深度学习模型提高识别精度和效率。我们将讨论数据集的准备、模型训练、优化策略以及模型部署等关键步骤,并对未来发展趋势进行展望。
6 0
|
2天前
|
机器学习/深度学习 算法 计算机视觉
深度学习在图像识别中的应用与挑战
【5月更文挑战第18天】 随着深度学习技术的迅速发展,其在图像识别领域的应用已经取得了显著的成果。本文将探讨深度学习在图像识别中的关键作用,分析其技术实现的基本原理,并讨论当前面临的主要挑战以及未来的发展趋势。我们将重点介绍卷积神经网络(CNN)的结构与优化策略,同时对比不同深度学习模型的性能表现,并提出针对性的改进方法。通过实验结果的分析,本文旨在为图像识别技术的进步提供理论支持和实践指导。
|
2天前
|
机器学习/深度学习 传感器 自动驾驶
基于深度学习的图像识别技术在自动驾驶领域的应用
【5月更文挑战第18天】随着科技的发展,深度学习技术在各个领域的应用越来越广泛。特别是在自动驾驶领域,基于深度学习的图像识别技术已经成为了关键技术之一。本文将详细介绍基于深度学习的图像识别技术在自动驾驶领域的应用,包括其原理、实现方法以及面临的挑战和未来发展趋势。
20 5
|
2天前
|
机器学习/深度学习 人工智能 监控
深度学习在图像识别中的应用与挑战
【5月更文挑战第18天】 随着人工智能技术的飞速发展,深度学习作为其核心推动力之一,在图像识别领域取得了显著的成就。本文将探讨深度学习技术在图像识别任务中的运用,重点分析卷积神经网络(CNN)的结构和优化策略,以及在实际应用中所面临的主要挑战,如模型泛化能力、数据不平衡和对抗性攻击等。通过综合现有文献和最新研究成果,本文旨在为读者提供一个关于深度学习在图像识别领域的应用现状和未来趋势的全面视角。
|
2天前
|
机器学习/深度学习 数据采集 传感器
基于深度学习的图像识别技术在自动驾驶系统中的应用
【5月更文挑战第18天】 随着人工智能技术的飞速发展,特别是深度学习在图像识别领域的突破性进展,自动驾驶技术已经从科幻走向现实。本文旨在探讨如何将基于深度学习的图像识别技术集成到自动驾驶系统中,以提升车辆的环境感知能力、决策效率及安全性。文中不仅回顾了当前自动驾驶中图像识别的关键挑战,还介绍了几种前沿的深度学习模型及其在处理复杂交通场景下的有效性。此外,本文还将讨论数据预处理、增强技术以及模型优化策略对提高自动驾驶系统性能的重要性。
|
2天前
|
机器学习/深度学习 监控 自动驾驶
深度学习在图像识别中的创新应用
【5月更文挑战第18天】 随着人工智能技术的飞速发展,深度学习已成为推动计算机视觉进步的核心动力。尤其在图像识别领域,通过构建和训练复杂的神经网络模型,深度学习技术能够实现对图像内容的高效准确识别。本文将探讨深度学习在图像识别中的最新应用,分析其背后的关键技术,并展望未来的发展趋势。我们将重点讨论卷积神经网络(CNN)的优化策略、数据增强的重要性以及迁移学习的实践案例,旨在为读者提供一个关于如何利用深度学习技术提升图像识别性能的全面视角。