用AI还原地道京片子!作者大谷亲自揭秘老北京视频语音修复,网友:黄渤穿越了?-阿里云开发者社区

开发者社区> -技术小助手-> 正文

用AI还原地道京片子!作者大谷亲自揭秘老北京视频语音修复,网友:黄渤穿越了?

简介: 用AI还原地道京片子!作者大谷亲自揭秘老北京视频语音修复,网友:黄渤穿越了?
+关注继续查看

对历史,我们总是充满了无限的遐想,而北京这座城市充满了太多故事,对于过去或现在生活在这里的人,都是一份情怀。

在电影中,我们经常能看到对老北京街道的还原,但布景终归只是布景。试想在90年前,有人用摄像机记录下了当时的一切呢?

早在5月,微博博主“大谷Spitzer”分享了他对百年前老北京视频的修复结果,如今在和央视的合作下,时隔两个月,第二期节目终于如约而至,在新的视频中,除了仍然熙熙攘攘的老北京街道,你还能看到很多生活化的场景,甚至听到他们的声音。

比如在学校外面买饭时孩子们的喧闹声:

或者是盲人乐手在街边弹奏表演:

甚至是在剃头小摊剃头,这效果可以堪比不少Tony老师了:

“这头剃得好不疼,剃得不好,真疼!”
“你家几口人啊“
“十口人?!怎么那么些人呢?“
“一天挣两毛钱够挑费不?“

看到这里,有网友表示,“感觉剃头师傅说了段相声”。

这剃头小哥也是个话痨,他对着镜头拍头说“剃挺好”的时候,文摘菌觉得,这怎么就这么像“黄渤×夏雨”呢?

有网友也表示认同,笑称道,“黄渤,你为什么穿越回去剃头”。

这次除了画面,声音修复是一大亮点,不过碍于GIF的限制,想听最纯正的老北京话,大家可以点击下方链接👇:
小程序,

哔哩哔哩
,,
我用人工智能修复了百年前的北京影像!第2期:民俗乐队,街边地摊与剃头匠
小程序

对于大谷来说,有了两次的经验,这次的修复项目要显得得心应手了许多,在整体效果的呈现上,大谷也十分满意,不过颜色上还存在闪烁,分辨率也还可以再提升。

大谷表示,会总结每次的经验教训,争取下一次比上一次的效果更好,当然他也会尝试加入一些新技术。

这次的修复项目,大谷和央视进行了合作,在央视的宣传下,更多人得以领略百年老北京风光,不少网友感叹道科技的进步和贡献:

也有网友感叹道时间的流逝,“下一个90年,未来的人看到我们现在生活面貌,不知道会是什么感想”。

视频发布一周后,在微博、知乎等多个社交平台上都掀起了讨论热潮,文摘菌也再次联系到大谷,第二次接受采访的他也显得要游刃有余许多。

用AI项目做声音修复,老北京视频有声音啦!

说到本次视频的来源,大谷介绍道,可以称得上本次修复过程中最困难的地方了。

虽然网上能找到两段相关的视频影像,两分钟的宣传片和六分钟的正片,但是网上的版本水印非常重,基本不能用,这才触发了大谷向美国南卡罗莱纳大学影像库“求救”,申请了视频的使用权,得到了学校内部版本的视频,这才解决了水印的问题。

“那边的人很配合。”大谷说,当然他们提出了一些要求,就是要加上视频前的小黄纸片,和版权声明部分,除此之外,对视频的后续处理和分享都是自由的。

视频开头的小黄纸片

除了水印外,由于年代差距,这两段宣传片和正片的内容是不重复的,再加上当时的工作人员不懂中文,两段视频的时间顺序是完全乱掉的,比如前一秒还是宣传片的内容,后一秒就马上跳到了全片末尾。

所以拿到这个视频之后,大谷的第一个工作就是把视频重新剪辑到正确的时间流上。

在声音的修复上,当时制作团队所使用的录音设备无形之中帮到了大忙,微博网友@失重的梁柱介绍道:

福克斯有声电影新闻在当时是比较新鲜的模式。区别于华纳兄弟开发了维他风(Vitaphone)和RCA 开发的光电留声机(Photophone),福克斯的有声电影(Movietone)属于单摄影机系统,可将声画同时录制到胶片上,较之以往是十分便捷的。而目前所见的拍摄中国的原声影片,很多都出自福克斯的这一系列。

得益于设备的先进,视频本身的录音效果就已经足够好,再加上南卡罗莱纳大学可能也进行了一些初步处理,大谷所做的工作主要是底层去噪,也就是处理掉那些经常出现在录音中的、吱吱的毛刺声。

大谷表示,AE或PR里的去噪功能就很好,系统首先会学习一小段噪音波形,随后会自动把后续出现的噪音部分抵消,这样的话听上去会清晰很多。但去噪主要针对以低频为主的声音,处理后整体的声音效果听上去就会比较“干”,所以在去噪后,大谷还加入了一些混响,让声音听上去更自然,当然文摘菌可是一点都没听出来。

不过,在盲人演奏的音乐部分,大谷除了加了混响外,基本没有做其他处理,因为音乐本身的混声就比较严重了,如果再去噪的话,低音乐器的声音就会被掩盖住。

随后,大谷还介绍了一个声音修复的AI项目,导入一段默片,AI系统就可以自动补充出音效,比如导入《火车进站》,系统就能补充火车的音效,由远及近,非常逼真,有了这项技术就可以更轻松地对更多老电影进行声音修复了。

不过,这个项目还没有开源,大谷表示他也会持续关注最新进展。

论文链接如下,感兴趣的朋友们可以尝尝鲜:
http://bvision11.cs.unc.edu/bigpen/yipin/visual2sound_webpage/visual2sound.html

大谷说到,这其实是第一次针对原声视频进行修复,也是很有意义的一次进步。南卡罗莱纳大学影像库内部还保存有很多有声老视频,也希望未来能够和他们继续取得联系。

画面大升级:边缘更平滑,整体效果更好了

除了声音上的修复外,文摘菌也注意到,与第一期视频相比,本次视频中画面上颜色跳来跳去的情况少了很多,这与大谷使用的不同软件有着直接关系。

大谷表示,在画面分辨率上首先进行了进一步的提升,与第一期不同,本次修复主要使用的是Topaz,Topaz在边缘的处理上要更加平滑,画面效果也更好。

其次就是利用到了DeepRemaster这项技术,与这项技术的邂逅是在YouTube上的推荐流上,这其实是GitHub上的一个开源项目,目前还在研究中。

GitHub链接:
https://github.com/satoshiiizuka/siggraphasia2019_remastering

发现这项技术之后,大谷就发邮件征得了两位日本研究员的同意。

在使用过程中,大谷发现,DeepRemaster非常好上手,可以导入一些手绘图或者历史图像作为参考图,修复的效果就会稳定在参考图的范围内,同时场景中颜色的抖动也变得更加平稳。

在本次视频中,盲人音乐家表演的部分和“黄渤”拍头的部分都是通过这个技术实现的。

当然,DeepRemaster技术本身也存在瓶颈,不是所有的场景都能直接套用,就大谷的个人经验来说,对于动作剧烈或者是人脸很多的场景,比如市井,都没办法使用这项技术,DeepRemaster更适合那些静帧、平移的画面,比如音乐表演。

在画面和声音的修复工作上,大谷也进行了有机的结合,比如电脑自动补帧的时候,就可以利用空隙在PR上修复声音,两个部分可以不矛盾地进行,有时候会穿插着来,也会返工二次修复声音部分。

除了在声音和画面上的修复外,我们也注意到,在这次的项目上,大谷也和央视进行了一次合作,他表示,自己主要负责技术修复,央视主要负责宣发,“这也省了很多力气,上传审核视频都是很费时的”。

有了前两次的经验,这次的修复显得要“顺手”很多,整个制作周期大概持续了一个月的时间,这段时间里,其实也不是全身心地扑在这上面,也有在开发自己的游戏,做一些其他的项目。

在和央视的合作过程中,央视也会对整体的修复提出参考意见,比如音乐的剪辑,以及字幕的添加等。大谷感叹道,添加字幕的过程同样也是一次学习的体验,同时也可以让观众更好地理解人物对话。

不只如此,修复后的老视频在社交媒体上传播之后,大谷收到了很多反馈,比如第二期老视频的出处本来是模糊的,后来有大神根据修复后的画面等信息综合后,指出这是100年前老济南西门泺源门(濼源门),这些都是宝贵的互动。

破案过程,欢迎围观:
https://www.zhihu.com/question/399225415

神器DeepRemaster:如何把修复效果稳定在参考图范围内

和第一期修复视频一样,在这次新的视频过程中,大谷仍然借鉴了YouTube博主Denis Shiryae的影像修复教程,以及使用到了上海交大联合提出的DAIN补帧技术。

除此之外,如上文所说,新一期视频中使用到的新技术DeepRemaster由日本筑波大学和早稻田大学两位研究者合作提出,论文曾被计算机图形学顶会SIGGRAPH Asia 2019收录。

论文链接:
http://iizuka.cs.tsukuba.ac.jp/projects/remastering/en/index.html

DeepRemaster之所以强大,是因为它与近年来使用递归模型处理视频的方法不同,该方法对老旧影像的修复是基于全卷积网络实现的。

在这项研究中,研究人员提出了一种单一框架,该框架基于带有注意力机制的时间卷积神经网络,主要以半交互的方式处理所有重制任务。同时,论文提出的source-reference注意力,允许模型在处理任意数量的彩色参考图像时,不需要进行分割就能视频着色,也很好地保持了时间一致性。

输入一系列的黑白图像,通过预处理网络修复,修复的结果作为最终输出视频的亮度通道。然后,source-reference网络将预处理网络的输出和任意数目的彩色参考图像结合,产生视频的最终色度通道。

在效果测试上,研究人员对一些老视频进行了测试,比如下图,结果正如大谷所说,在静止的场景内,输入少量参考图像后,系统就能输出稳定、一致的数千帧图像。

与以往的方法相比,DeepRemaster生成的图像与真实世界的色彩更加一致。

未来,大谷表示,他会继续关注新的技术和老视频修复领域,也会尝试将这些新的AI修复技术利用到老视频修复上。

换句话说,现在是不是就可以期待第三期的老北京修复视频了?!搓手~

版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。

相关文章
duilib 修复padding属性导致其他控件自动计算宽高度错误的bug和导致自己宽高度错误的bug
转载请说明原出处,谢谢~~:http://blog.csdn.net/zhuhongshu/article/details/42950733          BUG 一:padding导致其他控件宽度计算错误             今天在写项目的一个布局时,用到了最常用的相对布局属性padding:在一个纵向容器里,给其中的各个子元素设置了padding属性来做相对布局。
965 0
两行代码修复了解析MySQL8.x binlog错位的问题!!
MySQL是互联网行业使用的最多的关系型数据库之一,而且MySQL又是开源的,对于MySQL的深入研究,能够加深我们对于数据库原理的理解。自从开源了mykit-data之后,不少小伙伴试用后,反馈mykit-data无法正确的解析MySQL8的binlog。于是我测试了下,mykit-data在解析MySQL5.x的binlog时,没有啥问题,能够正确的解析出结果数据。然而,在解析MySQL8.x的binlog时,总是与binlog日志位数相差12位而导致解析失败。
10 0
阿里云服务器端口号设置
阿里云服务器初级使用者可能面临的问题之一. 使用tomcat或者其他服务器软件设置端口号后,比如 一些不是默认的, mysql的 3306, mssql的1433,有时候打不开网页, 原因是没有在ecs安全组去设置这个端口号. 解决: 点击ecs下网络和安全下的安全组 在弹出的安全组中,如果没有就新建安全组,然后点击配置规则 最后如上图点击添加...或快速创建.   have fun!  将编程看作是一门艺术,而不单单是个技术。
4561 0
一对一语音直播系统源码如何解决音视频直播技术难点
直播作为实时性和互动性要求较高的音视频应用场景,存在非常多的技术难点,就连一对一的直播模式也毫不例外。比如低延迟、流畅性、回声消除、国内外互通和海量并发等问题,都是开发过程中的难点。但是,在开发过程中如果具备了优质的一对一语音直播系统源码,那么这些难点可能都会得到一定的解决。
204 0
duilib relativepos属性导致控件错误的bug修复
转载请说明出处,谢谢~~         我在仿酷狗音乐播放器的开发日志系列里,曾经提到了这个bug,文章地址为:http://blog.csdn.net/zhuhongshu/article/details/38145365。
914 0
1457
文章
0
问答
来源圈子
更多
+ 订阅
文章排行榜
最热
最新
相关电子书
更多
文娱运维技术
立即下载
《SaaS模式云原生数据仓库应用场景实践》
立即下载
《看见新力量:二》电子书
立即下载