1、活动目标
本次实验旨在通过使用PAI-DSW和Stable Diffusion WebUI,对一组旧照片进行修复和增强,以提升其清晰度、颜色和纹理。通过这一过程,我们期望能更好地理解和运用PAI-DSW和Stable Diffusion WebUI的强大功能,为图像修复领域提供新的可能性。
2、实验过程
通过PAI-DSW快速搭建实验环境。然后利用大模型进行图像的修复工作。它运用深度卷积神经网络(DCNN)和生成对抗网络(GAN)等技术,能自动识别并修复图像中的破损和缺失部分,使修复后的图像看起来更为真实、清晰。大致的过程是先进行图像去噪、图像超分、面部增强、图像上色、划痕清理等方法。最后再利用Stable Diffusion WebUI进行精确的图像修复。
2.1、实验步骤
2.1.1、环境准备
首先,我们需要安装实验所需要的依赖资源。
2.2.2、准备数据
然后我们通过OSS提供的方法,下载对应的图片资源。
2.2.3、图像推理
该过程由多个过程组成,其中包含图像去噪、图像超分、面部增强、图像上色、划痕清理等。
图像去噪:
下载Restormer代码及预训练文件
运行推理任务
下载NAFNet代码及预训练文件 (基于modelscope)
运行推理任务
图像超分:
下载RealESRGAN代码及预训练文件
运行推理任务
下载SwinIR代码及预训练文件
运行推理任务
下载HAT代码及预训练文件
运行推理任务,这个过程用时比较长,需要耐心等待。
面部增强:
下载CodeFormer代码及预训练文件
运行推理任务
图像上色:
无条件上色
下载代码及预训练文件,并安装modelscope 环境
运行推理任务
有条件上色
这次我们选择的是70.jpg这种图片。然后进行标点及上色操作。
然后我们可以开始对指定区域进行上色
划痕清理:
下载LaMa-inpaint代码及预训练文件,并安装modelscope环境,然后再启动UI服务。
2.2.4、使用Stable Diffusion WebUI进行修复
将训练好的模型导入Stable Diffusion WebUI中,然后根据破损照片的不同情况,选择合适的算法和参数进行修复。在此过程中,我们不断调整参数,并实时预览修复效果,以获得最佳结果。
2.2、实验结果及一些错误截图
通过实验,我们成功地使用PAI-DSW和Stable Diffusion WebUI对一组旧照片进行了修复和增强。修复后的照片在清晰度、颜色和纹理方面都有了显著的提升。具体来说:
(1)清晰度:修复后的照片在细节部分的表现上更为出色。例如,原先模糊不清的边缘变得清晰可见,细小的纹理也得到了很好的保留。
(2)颜色:对于褪色、变色等问题,修复后的照片在颜色复原方面有了很大的改善。整体色彩更为自然、真实。
(3)纹理:对于照片的破损纹理,如划痕、污渍等,PAI-DSW算法在很大程度上进行了修复和弥补。使整体视觉感受更为和谐。
然而,实验过程中我们也发现了一些不足之处。比如在处理一些严重破损的照片时,PAI-DSW算法的修复效果可能并不理想,存在一定的局限性。比如照片上色的区域存在明显的错误。
以下是实验过程中碰到的错误界面截图。
2.3、心得体会
通过本次实验,我们深刻体会到PAI-DSW和Stable Diffusion WebUI在图像修复领域的强大潜力。对于旧照片的修复工作,它们无疑提供了高效、精确的方法。
3、小结
本次实验让我们收获颇丰,对PAI-DSW和Stable Diffusion WebUI在图像修复领域的应用有了更深入的了解。这将为我们今后的研究和工作提供有益的参考。