Nature:盐粒大小的相机,可以拍出清晰彩色照片,未来或可应用到手机

简介: Nature:盐粒大小的相机,可以拍出清晰彩色照片,未来或可应用到手机

image.png

你能想象上图只有盐粒大小的物体是一款相机吗?

事实上,这款微型相机甚至可以拍出清晰的全彩图像,而相比之下,普通相机的尺寸要大50万倍。

我们可以来看看它的成片。

image.png

这款微型相机是普林斯顿大学和华盛顿大学的研究人员合作创造的一种新型的光学系统,这个系统依赖于一种叫做Metasurface的技术。

简单来说,研究人员先将相机的硬件缩小到合适的尺寸,并将其与神经网络图像处理技术相结合,使相机能够在自然光线下产生清晰的图像,而以往微型相机只能在完美的实验室环境下拍摄出有效的图像。

该研究也发表在Nature通讯上。

image.png

论文地址:

https://www.nature.com/articles/s41467-021-26443-0?utm_medium=affiliate&utm_source=commission_junction&utm_campaign=3_nsn6445_deeplink_PID100094349&utm_content=deeplink

每个镜片镶嵌着160万根圆柱,可以像电脑芯片一样生产

这个系统依赖于一种叫做Metasurface的技术,每个微型镜片镶嵌着160万根圆柱型立柱,每根柱子的大小大约相当于病毒大小。

每个柱子都有独特的几何形状,其功能就像光学天线。 为了正确地塑造整个光波前的形状,必须改变每个柱体的设计。

在基于机器学习的算法的帮助下,柱子与光线完美交互结合,为全彩Metasurface相机产生了最高质量的图像和最宽的视野。

相机创造的一个关键创新是光学表面和产生图像的信号处理算法的集成设计。 该研究的资深作者、普林斯顿大学计算机科学助理教授Felix Heide说,这提高了相机在自然光条件下的性能,而以前的超表面相机需要实验室的纯激光或其他理想条件才能产生高质量的图像。

image.png

左:2018年SOTA微型相机;右:本文介绍的应用Neural Nano-optics的微型相机

研究人员将他们的系统产生的图像与之前的Metasurface相机的结果进行了比较,以及使用一系列六个折射镜头的传统复合光学系统捕捉到的图像。

image.png

其他超紧凑型超表面透镜的图像畸变严重,视野小,捕捉全光谱可见光的能力有限——被称为RGB成像,因为它结合了红、绿、蓝来产生不同的色调。

“设计和配置这些小的纳米结构来做你想做的事,这是一个挑战,”普林斯顿大学计算机科学博士生Ethan Tseng说,他是这项研究的共同领导者。 “对于这种捕捉大视场RGB图像的特定任务,之前并不清楚如何将数百万个纳米结构与后处理算法一起共同设计。”  

据介绍,这款Metasurface相机可以像电脑芯片一样批量生产。

未来可以实现医疗机器人的微创内镜诊断和治疗疾病

通过对摄像机硬件和计算处理的联合设计,Metasurface系统可以帮助医疗机器人进行微创内窥镜诊断和治疗疾病,并改善其他受体积和重量限制的机器人的成像。

成千上万的这样的摄像机阵列还可以用于全景感应,将Metasurface变成摄像机。

Colburn在华盛顿大学电子与计算机工程系(UW ECE)攻读博士时进行了这项研究,他现在是该学院的助理教授。他还在西雅图的Tunoptix公司指导系统设计,该公司正在将这种Metasurface成像技术商业化。

Tunoptix是由科尔本的研究生顾问Arka Majumdar共同创立的,他是华盛顿大学欧洲经委会和物理系的副教授,也是这项研究的共同作者。

该研究的共同作者James   Whitehead是威斯康星大学欧洲经济学院的博士生,他利用氮化硅(一种类似玻璃的材料,与用于计算机芯片的标准半导体制造方法兼容)制造了Metasurface,这意味着Metasurface可以很容易地以比传统相机镜头以更低的成本进行批量生产。

Heide还设想将Metasurface应用到手机上。

“我们可以将单个Metasurface变成超高分辨率的摄像头,这样你就不再需要在你的手机背后安装三个摄像头,但你的整个手机背面将成为一个巨大的摄像头。”

相关文章
|
9月前
|
并行计算 计算机视觉 流计算
照片生成眨眼张嘴的视频软件,制作眨眼睛张嘴图软件,手机制作人脸眨眼张嘴
这是一套基于Python的人脸动画生成系统,功能完整且模块化设计。项目利用dlib与face-alignment库实现精准人脸关键点检测,结合Delaunay三角剖分技术完成图像变形
|
9月前
|
Java
照片一键生成眨眼视频app,手机照片一键生成眨眼动图,通过JAR代码实现效果
这是一个自动生成眨眼GIF动画的Java程序,包含主程序处理、图像变形和GIF生成三个模块。输入照片路径,自动识别人脸眼睛位置,生成闭眼、半闭眼等多帧图像,并合成为眨眼动效GIF文件。
|
6月前
|
传感器 机器学习/深度学习 算法
【室内导航通过视觉惯性数据融合】将用户携带的智能手机收集的惯性数据与手机相机获取的视觉信息进行融合研究(Matlab代码实现)
【室内导航通过视觉惯性数据融合】将用户携带的智能手机收集的惯性数据与手机相机获取的视觉信息进行融合研究(Matlab代码实现)
228 2
|
机器学习/深度学习 存储 人工智能
MNN-LLM App:在手机上离线运行大模型,阿里巴巴开源基于 MNN-LLM 框架开发的手机 AI 助手应用
MNN-LLM App 是阿里巴巴基于 MNN-LLM 框架开发的 Android 应用,支持多模态交互、多种主流模型选择、离线运行及性能优化。
10599 81
MNN-LLM App:在手机上离线运行大模型,阿里巴巴开源基于 MNN-LLM 框架开发的手机 AI 助手应用
|
11月前
|
前端开发 搜索推荐 JavaScript
如何通过DIY.JS快速构建出一个DIY手机壳、T恤的应用?
DIY.JS 是一款基于原生 Canvas 的业务级图形库,专注于商品定制的图形交互功能,帮助开发者轻松实现个性化设计。适用于 T 恤、手机壳等多种商品场景。它自带丰富功能,无需从零构建,快速集成到项目中。通过创建舞台、添加模型、定义 DIY 区域和添加素材四个步骤即可完成基础用法。支持在线演示体验,文档详细,易上手。
511 57
|
8月前
|
Android开发 数据安全/隐私保护
手机微信虚拟视频聊天,安卓免root虚拟摄像头,免root虚拟hook相机
以上代码实现了一个完整的免root虚拟摄像头方案,通过Hook系统摄像头服务和微信视频通话接口
|
9月前
|
算法 前端开发 计算机视觉
在线照片眨眼生成器,一键生成眨眼照片, 手机制作人脸眨眼张嘴
本系统基于Flask、OpenCV和dlib实现,包含后端服务、前端界面和动画算法三大模块。支持上传照片实时检测人脸关键点,利用薄板样条变换生成自然眨眼动画效果
|
9月前
|
算法 Python
让照片眨眼张嘴的软件免费,照片摇头眨眼张嘴动图,手机制作人脸眨眼张嘴
本项目提供手机端从代码到开发的完整实现路径,包含人脸关键点检测与动画生成。结合先进算法如First Order Motion Model可进一步优化效果,相关开源项目可在GitHub获取。
|
人工智能 算法 前端开发
OmAgent:轻松构建在终端设备上运行的 AI 应用,赋能手机、穿戴设备、摄像头等多种设备
OmAgent 是 Om AI 与浙江大学联合开源的多模态语言代理框架,支持多设备连接、高效模型集成,助力开发者快速构建复杂的多模态代理应用。
1153 72
OmAgent:轻松构建在终端设备上运行的 AI 应用,赋能手机、穿戴设备、摄像头等多种设备
|
XML 人工智能 文字识别
Mobile-Agent:通过视觉感知实现自动化手机操作,支持多应用跨平台
Mobile-Agent 是一款基于多模态大语言模型的智能代理,能够通过视觉感知自主完成复杂的移动设备操作任务,支持跨应用操作和纯视觉解决方案。
5388 10
Mobile-Agent:通过视觉感知实现自动化手机操作,支持多应用跨平台

热门文章

最新文章