新AI算法拯救渣画质马赛克秒变高清

简介: 在这个追求高清画质的时代,我们对渣画质的容忍度越来越低。在知乎上搜索「低分辨率」、「渣画质」,会看到一大片诸如「如何补救清晰度低的照片」、「如何拯救渣画质」之类的问题。那么,将渣到马赛克级别的画面秒变高清,是一种怎样的体验?新AI 算法告诉你。

--------点击屏幕右侧或者屏幕底部“+订阅”,关注我,随时分享机器智能最新行业动态及技术干货----------

在这个追求高清画质的时代,我们对渣画质的容忍度越来越低。

在知乎上搜索「低分辨率」、「渣画质」,会看到一大片诸如「如何补救清晰度低的照片」、「如何拯救渣画质」之类的问题。

那么,将渣到马赛克级别的画面秒变高清,是一种怎样的体验?新AI 算法告诉你。

image.png

前所未有,「马赛克」瞬间变高清

杜克大学的研究人员提出了一种 AI 算法,称之为 PULSE(Photo Upsampling via Latent Space Exploration,通过潜在空间探索的照片上采样)。

该算法可以将模糊、无法识别的人脸图像转换成计算机生成的图像,其细节比之前任何时候都更加精细、逼真。

image.png

根据输入的低分辨率图片,系统会生成一系列高清图像

如果用以前的方法,想要把一张模糊的「大头照」变清晰,最多只能将这张照片缩放到原始分辨率的八倍。

但是杜克大学的团队提出了一种新的方法,仅在几秒钟内,就可以把 16x16 像素的低分辨率(Low Resolution,以下简称 LR)小图,放大 64 倍,变成 1024 x 1024 像素的高分辨率(High Resolution,以下简称 HR)图像。

他们的 AI 工具会「想象」出一些原本不存在的特征,即使是原本 LR 照片中无法看到的细节,比如毛孔、细纹、睫毛、头发和胡茬等,经过其算法处理后,都能看得一清二楚。

来看一个具体示例:

image.png

左图为原始低分辨率图像,右图为系统创建的高清图像

领导该团队的杜克大学计算机科学家辛西娅·鲁丁(Cynthia Rudin)说:「以前从来没有像现在这样,能用这么少的像素,就创造出拥有大量细节的超分辨率图像。」

在实际应用方向上,论文的共同作者 Sachit Menon 介绍称:「在这些研究中,我们只是用面部作为概念验证。

但从理论上讲,该技术是通用的,从医学、显微镜学到天文学和卫星图像,都可以通过该技术改善画质。」

打破传统操作,实现最佳效果

虽说此前已经有很多类似的低清变高清的方法,但能够达到像素放大 64 倍级别的,还是业界首次。

传统方法:像素匹配,易出 bug

传统方法处理此类问题时,一般拿到 LR 图像后,会「猜测」需要多少额外的像素,然后试着将此前处理过的 HR 图像中相应的像素,匹配给 LR 图像。

而这种单纯匹配像素的结果是,像头发和皮肤的纹理这种区域,会出现像素匹配错位的现象。

而且该方法还会忽略了 HR 图像中,感光性等感知细节。所以最终在平滑度、感光度上出现问题,结果依然会显得模糊或者不真实。

image.png

之前的一些方法,部分生成结果有点诡异

新方法:低清图像「连连看」

杜克大学的团队则提出的新方法,可以说是开辟了新的思路。

在拿到一张 LR 图像后,PULSE 系统不会慢慢添加新的细节,而是遍历 AI 生成的 HR 图像,将这些 HR 图像对应的 LR 图像与原图对比,找到最接近的那张。

打个比方,相当于拿 LR 图片做个「连连看」,找到最相似的 LR 版本,那么再反推回去,这张 LR 图像所对应的 HR 图像,就是最终要输出的结果。

image.png

**原始 LR 图片(上),PULSE 输出的 HR 图片(中)
HR 图片对应的 LR 图(下)**

团队使用了生成对抗网络(简称 GAN ),它包括对同一张照片数据集进行训练的两个神经网络,即生成器与鉴别器。

其中,生成器模拟它所受过训练的人脸,提供 AI 创建的人脸,而鉴别器则获得了该输出,并确定它是否足以以假乱真。

随着经验的积累,生成器的经验会越来越好,直到鉴别器无法分辨出差异。

他们用一些真实图像进行试验,效果对比如下图所示:

image.png

上排为真实图片,中排为将真实图片下采样而来 LR 图像

下排为 PULSE 根据 LR 图像生成的 HR 图像

虽然生成的高分辨率图与原图仍有一些差距,但是这比以前的方法要清晰很多。

评估:优于其它方法,得分接近真实照片

团队在著名的高分辨率人脸数据集 CelebA HQ 上评估了其算法,用 64×,32× 和 8× 的比例因子进行了这些实验。

研究人员要求 40 个人对通过 PULSE 和其他五种缩放方法生成的 1440 张图像进行 1 到 5 的评分,而 PULSE 的效果最佳,得分几乎与真实的高质量照片一样高。

image.png

HR 为实际的高清人像数据集,得分仅比 PULSE 高 0.14

团队成员表示,PULSE 可以从嘈杂、低质量的输入中,创建逼真的图像,即使原图连眼睛、嘴巴都无法辨认。这是其他方法无法做到的。

image.png

与其它方法对比,PULSE 将细节处理得更为逼真

不过,该系统还不能用于识别身份,研究人员表示:「它无法将安全摄像头拍摄的失焦、不能识别的照片,变成真人的清晰图像。它仅会生成不存在但看上去很真实的新面孔。」

在具体应用场景上,除了上文提到的,该技术未来可能应用在医学、天文学之外,对于大众来说,拥有这项黑科技之后,就可以把 N 年前的老照片变高清。对于编辑同志们来说,更是一大福音,再也不用为找高清配图而头大了。

image.png

文章来源:https://yqh.aliyun.com/detail/14790

目录
相关文章
|
2月前
|
传感器 人工智能 监控
智慧工地 AI 算法方案
智慧工地AI算法方案通过集成多种AI算法,实现对工地现场的全方位安全监控、精准质量检测和智能进度管理。该方案涵盖平台层、展现层与应用层、基础层,利用AI技术提升工地管理的效率和安全性,减少人工巡检成本,提高施工质量和进度管理的准确性。方案具备算法精准高效、系统集成度高、可扩展性强和成本效益显著等优势,适用于人员安全管理、施工质量监控和施工进度管理等多个场景。
|
2月前
|
传感器 人工智能 监控
智慧电厂AI算法方案
智慧电厂AI算法方案通过深度学习和机器学习技术,实现设备故障预测、发电运行优化、安全监控和环保管理。方案涵盖平台层、展现层、应用层和基础层,具备精准诊断、智能优化、全方位监控等优势,助力电厂提升效率、降低成本、保障安全和环保合规。
智慧电厂AI算法方案
|
1天前
|
机器学习/深度学习 人工智能 算法
Enhance-A-Video:上海 AI Lab 推出视频生成质量增强算法,显著提升 AI 视频生成的真实度和细节表现
Enhance-A-Video 是由上海人工智能实验室、新加坡国立大学和德克萨斯大学奥斯汀分校联合推出的视频生成质量增强算法,能够显著提升视频的对比度、清晰度和细节真实性。
19 8
Enhance-A-Video:上海 AI Lab 推出视频生成质量增强算法,显著提升 AI 视频生成的真实度和细节表现
|
24天前
|
机器学习/深度学习 缓存 人工智能
【AI系统】QNNPack 算法
QNNPACK是Marat Dukhan开发的量化神经网络计算加速库,专为移动端优化,性能卓越。本文介绍QNNPACK的实现,包括间接卷积算法、内存重排和间接缓冲区等关键技术,有效解决了传统Im2Col+GEMM方法存在的空间消耗大、缓存效率低等问题,显著提升了量化神经网络的计算效率。
35 6
【AI系统】QNNPack 算法
|
24天前
|
存储 人工智能 缓存
【AI系统】Im2Col 算法
Caffe 作为早期的 AI 框架,采用 Im2Col 方法优化卷积计算。Im2Col 将卷积操作转换为矩阵乘法,通过将输入数据重排为连续内存中的矩阵,减少内存访问次数,提高计算效率。该方法首先将输入图像转换为矩阵,然后利用 GEMM 库加速计算,最后将结果转换回原格式。这种方式显著提升了卷积计算的速度,尤其适用于通道数较多的卷积层。
47 5
【AI系统】Im2Col 算法
|
24天前
|
存储 机器学习/深度学习 人工智能
【AI系统】Winograd 算法
本文详细介绍Winograd优化算法,该算法通过增加加法操作来减少乘法操作,从而加速卷积计算。文章首先回顾Im2Col技术和空间组合优化,然后深入讲解Winograd算法原理及其在一维和二维卷积中的应用,最后讨论算法的局限性和实现步骤。Winograd算法在特定卷积参数下表现优异,但其应用范围受限。
33 2
【AI系统】Winograd 算法
|
12天前
|
人工智能 算法
AI+脱口秀,笑点能靠算法创造吗
脱口秀是一种通过幽默诙谐的语言、夸张的表情与动作引发观众笑声的表演艺术。每位演员独具风格,内容涵盖个人情感、家庭琐事及社会热点。尽管我尝试用AI生成脱口秀段子,但AI缺乏真实的情感共鸣和即兴创作能力,生成的内容显得不够自然生动,难以触及人心深处的笑点。例如,AI生成的段子虽然流畅,却少了那份不期而遇的惊喜和激情,无法真正打动观众。 简介:脱口秀是通过幽默语言和夸张表演引发笑声的艺术形式,AI生成的段子虽流畅但缺乏情感共鸣和即兴创作力,难以达到真人表演的效果。
|
2月前
|
机器学习/深度学习 传感器 人工智能
智慧无人机AI算法方案
智慧无人机AI算法方案通过集成先进的AI技术和多传感器融合,实现了无人机的自主飞行、智能避障、高效数据处理及多机协同作业,显著提升了无人机在复杂环境下的作业能力和安全性。该方案广泛应用于航拍测绘、巡检监测、应急救援和物流配送等领域,能够有效降低人工成本,提高任务执行效率和数据处理速度。
智慧无人机AI算法方案
|
28天前
|
存储 人工智能 缓存
【AI系统】布局转换原理与算法
数据布局转换技术通过优化内存中数据的排布,提升程序执行效率,特别是对于缓存性能的影响显著。本文介绍了数据在内存中的排布方式,包括内存对齐、大小端存储等概念,并详细探讨了张量数据在内存中的排布,如行优先与列优先排布,以及在深度学习中常见的NCHW与NHWC两种数据布局方式。这些布局方式的选择直接影响到程序的性能,尤其是在GPU和CPU上的表现。此外,还讨论了连续与非连续张量的概念及其对性能的影响。
48 3
|
28天前
|
机器学习/深度学习 人工智能 算法
【AI系统】内存分配算法
本文探讨了AI编译器前端优化中的内存分配问题,涵盖模型与硬件内存的发展、内存划分及其优化算法。文章首先分析了神经网络模型对NPU内存需求的增长趋势,随后详细介绍了静态与动态内存的概念及其实现方式,最后重点讨论了几种节省内存的算法,如空间换内存、计算换内存、模型压缩和内存复用等,旨在提高内存使用效率,减少碎片化,提升模型训练和推理的性能。
48 1

热门文章

最新文章