阿波罗登月51周年,程序员用DAIN技术还原阿波罗登月高清影像,效果震撼

本文涉及的产品
视觉智能开放平台,图像资源包5000点
视觉智能开放平台,分割抠图1万点
视觉智能开放平台,视频资源包5000点
简介: 7月20日是阿波罗登月51周年。一位YouTube名为DutchSteamMachine的程序员使用AI技术修复了阿波罗登月的原始影像,将登月镜头的像素从每秒12帧提升到每秒60帧,效果令人震撼。

本文来自微信公众号“新智元”(ID:AI_era)
7月20日是阿波罗登月51周年。1969年7月20日,尼尔阿姆斯特朗成为登月第一人,他在月球上迈出的一步是令人难以置信的一步。

1.gif
想当年,阿姆斯特朗的声音通过电视传到了世界的各个角落,并写入历史:「对一个人来说,这是一小步,但对人类来说,这是一次飞跃。」

2.png
观看阿波罗登月的所有历史性镜头令人兴奋又激动,但有时观影质量体验并不是那么好。尽管NASA致力于恢复和增强一些最流行的阿波罗影像,但其中一些镜头仍然模糊不清。

3.gif
近日,一位YouTube名为DutchSteamMachine的照片和电影恢复专家,使用 AI 技术来增强阿波罗原始影像的效果,从而制作出清晰,生动的视频剪辑和图像。

4.png
他告诉《今日世界》杂志,「我想提供一个前所未有的复现旧影像的体验。」

登月镜头像素提升至60 FPS,如同观赏1080p的影片

一起来感受下Charlie Duke 和 John Young一起进行的阿波罗16号月球车穿越过程中的增强镜头,通过AI修复,最初以每秒12帧(FPS)拍摄的镜头已提升到每秒60帧。

看看这凹凸不平的月球,如此清晰的画面简直令人惊叹,第一视角让人身临其境。

5.gif
在增强的阿波罗15号 Hadley Rille 着陆点景象中,月球表面的清晰景象让人震撼,每一个坑洼都清清楚楚,即便没有VR眼镜,也完全让你感受到自己登上了月球。

6.gif
再看尼尔阿姆斯特朗在Apollo 11 进行登月的「第一步」视频的增强版中由月球模块内部的16mm摄像机拍摄的清晰度如何?

7.gif
登月第一人的脚重重地踏在月球表面,右脚后扬起了土的画面都那么清晰。

8.gif
不仅如此,这些录像还同步了特定任务的原始音频,如果仔细听,可以听到宇航员说话的声音。
通过AI高清还原的阿波罗号的镜头,带我们去月球游玩了一圈。
视频是怎么修复的?用了AI开源工具DAIN
DutchSteamMachine使用的AI称为深度感知视频帧INterpolation,简称DAIN。这是一个免费开源的的项目,并且不断得到开发和完善。
DAIN:深度感知视频帧插值(DAIN)模型,通过探索深度信息来显式地检测遮挡。该项目开发了一个深度感知流动投影层,优选取样更近的物体,以合成中间流插补视频帧。

9.png
开源地址:https://grisk.itch.io/dain-app
运动插值或运动补偿帧插值是视频处理的一种形式,其中在现有帧之间生成中间动画帧,以使视频更加流畅,补偿模糊等。
DutchSteamMachine表示,「人们已经使用相同的AI项目将1900年代的旧电影录音带入了高清和彩色的生活。这项技术似乎适用于许多新的镜头,这是一件了不起的事情。」
此前,90后程序员大谷用AI修复了100年前老北京影像,并还原影视原声也曾是火出了圈,其中也用到了DAIN技术。
这位作者在这里面一共用了3个在GitHub上开源的AI程序,第一个是负责做补帧的DAIN,第二个是做分辨率扩增的ESRGAN,第三个是上色的DeOldify,综合到一起才做成了这个视频。

10.gif
使用AI进行修复需要一个功能强大的高端GPU才能完成。DutchSteamMachine解释道,「短短5分钟的视频可能需要6到20个小时才能完成,但结果不言而喻。」

他阐述了他是如何进行这项工作的:
1.寻找质量最高的源视频,恰恰作者找到的这些源视频是高比特率的720p视频文件,因为在尽可能高的源视频进行编辑是更加有助于还原视频高清晰度。
2.找到拍摄镜头的帧率,通常可以在NASA文档中找到。由于有时帧率似乎不正常或波动,并非总是按预期运行。因此,找到帧率的最佳方法是听宇航员正在谈论的地标,并将镜头与之匹配。
3.将源文件分成单独的PNG帧,将它们与输入帧率(1、6、12或24)以及按插值率(2x,4x,8x)所需的输出帧率一起输入到AI。AI开始使用GPU,并查看两个连续的真实帧。
4.应用颜色校正,因为源文件通常带有蓝色或橙色。再将素材与音频同步。
DutchSteamMachine会在业余时间完成这项工作,并将其发布到他的YouTube主页。他还有一个Flickr页面,其中包含更多增强的图像,每张图像重现了过去的景象,令人着迷。

11.png
Flickr:https://www.flickr.com/people/steamarchive/
DutchSteamMachine希望「为将来保留过去」,期待他下一个AI修复视频~
参考链接:https://www.sciencealert.com/watch-this-old-apollo-footage-get-upgraded-into-a-60-fps-masterpiece


开发者社区的小伙伴大家好,相信大家阅读了上面的文章后一定对视觉AI技术有了新的认识,如果大家对视觉AI能力感兴趣,欢迎访问视觉智能开放平台进行AI能力的在线体验及调试。阿里云视觉智能开放平台(vision.aliyun.com)是基于阿里巴巴视觉智能技术实践经验,面向视觉智能技术的开发与应用用户,为其提供好用、易用、普惠的视觉智能API服务,帮助企业和开发者快速建立视觉智能技术的应用能力的综合性视觉AI算法平台,平台目前上线13个类目,100+种AI算法,其中就包含了视频超分辨视频调色人脸口罩检测以及服饰分割等热门能力,欢迎前来体验。

相关文章
|
2月前
|
机器学习/深度学习 算法 JavaScript
为什么分享技术文章无人问津,而工具推荐却大火?
这篇文章探讨了为何工具类文章比技术干货更受欢迎的原因。工具类文章因其实用性强、门槛低、见效快,能迅速提升读者的工作效率,而技术类文章则因学习成本高、见效慢,难以在短期内获得广泛关注。文章还提供了让技术文章更受欢迎的建议,如优化标题、降低门槛及结合实用技巧等。通过借鉴工具文的写作技巧,可以使技术内容更具吸引力,同时保持其深度与专业性。
47 1
|
数据处理 数据格式
三河凡科科技飞讯教学篇:红外成像仪开发难点的兼容性问题
三河凡科科技飞讯教学篇:红外成像仪开发难点的兼容性问题 红外成像技术是一种用于对物体表面进行无接触式测量得先进技术。它是基于物体与环境之间的热辐射,通过测量这种热辐射来实现对物体的成像。红外成像技术已经成为现代科技领域中一个不可或缺的工具,广泛应用于军事、医疗、安防等领域。然而,在红外成像仪的开发过程中,兼容性问题是很常见的一个难点。本文将从多个方面探讨红外成像仪开发中的兼容性问题。
三河凡科科技飞讯教学篇:红外成像仪开发难点的兼容性问题
|
机器学习/深度学习 传感器 文字识别
【新知测评实验室】解谜扫描全能王——“智能高清滤镜”黑科技
扫描技术已经被广泛应用于如办公(文件、名片、发票)、学习(笔记、试卷)、个人生活(证件、照片)、商务(收据、发票)、法律(合同、证据)等等各个领域。然而,现实图像中常常会出现一系列模糊、阴暗、褶皱、污渍、光线、透字等问题,如下面是一张很常见的笔记照片,照片中的褶皱和版面弯曲严重影响了图像质量和可读性,经过传统扫描工具如打印机、扫描仪扫描后仍然难以到达实用性和可用性。近期,合合信息旗下扫描全能王全新上线了一款“智能高清滤镜”黑科技,。本篇文章将对此一探究竟,从深层原理和测试对比来揭开其神秘面纱。
|
编解码 自然语言处理 算法
利用 PRIMO 重构 M87 黑洞图像,普林斯顿高等研究院成功将「甜甜圈」变身「金戒指」
利用 PRIMO 重构 M87 黑洞图像,普林斯顿高等研究院成功将「甜甜圈」变身「金戒指」
148 0
|
编解码 人工智能 算法
超越感官,沉浸赛场——大型体育赛事云上实战精选-第二章 NBA 总决赛:窄带高清的视觉渲染力-如临现场的视觉感染力,NBA决赛还能这样看?
超越感官,沉浸赛场——大型体育赛事云上实战精选-第二章 NBA 总决赛:窄带高清的视觉渲染力
212 0
|
人工智能
超越感官,沉浸赛场——大型体育赛事云上实战精选-第三章 2022北京冬奥会:百年奥运的黑科技-百年奥运的瞬即美学:凌空之美,分秒凝结—AI编辑部“云智剪”(下)
超越感官,沉浸赛场——大型体育赛事云上实战精选-第三章 2022北京冬奥会:百年奥运的黑科技-百年奥运的瞬即美学:凌空之美,分秒凝结—AI编辑部“云智剪”
154 0
|
机器学习/深度学习 人工智能 达摩院
超越感官,沉浸赛场——大型体育赛事云上实战精选-第三章 2022北京冬奥会:百年奥运的黑科技-百年奥运的瞬即美学:凌空之美,分秒凝结—AI编辑部“云智剪”(中)
超越感官,沉浸赛场——大型体育赛事云上实战精选-第三章 2022北京冬奥会:百年奥运的黑科技-百年奥运的瞬即美学:凌空之美,分秒凝结—AI编辑部“云智剪”
185 0

热门文章

最新文章