“用PAI-DSW修复亚运历史老照片”活动体验

一、引言

阿里云作为第十九届杭州亚运会官方合作伙伴，值此亚运会 110 周年庆典之际，与亚奥理事会联合发起“历久弥新——亚运史料AI修复”计划，由阿里云市场部品牌团队、阿里云开发者团队联合计算平台和存储团队举办“用AI修复亚运老照片”活动。

二、体验过程

2.1、环境资源准备

本次照片修复需要的产品：

• 机器学习平台PAI
• OSS
• GPU服务器
• 负载均衡
• 天池Notebook

2.2、修复过程

本次修复过程大部分是按照操作手册完成（保姆手册）。

2.2.1、领取PAI-DSW资源包后并开通机器学习PAI。

2.2.2、创建实验要求的硬件环境

2.2.3、进入天池Notebook，通过DSW Gallery，快速导入“用AI重燃亚运经典”教程。

该教程已经包含了完整的代码。只需要一步步按照要求去执行。

2.2.4、修复步骤

a、下载需要修复的图片资源

首先我们需要安装一些依赖环境，然后我们按照要求把这次的原始照片下载下来。

下载之后，我们可以在项目目录的input目录下，可以找打对应的图片资源。

b、图片去燥

该功能主要是去除图像中的噪声、模糊等。

主要技术特点有：

• 去运动模糊
• 去focus模糊
• 去雨滴
• 真实场景去噪
• 灰度图去高斯噪声
• RGB图去高斯噪声

完成去燥之后，我们可以看到图片image_restoration/results/nafnet_*/ 目录下。 这里我们可以看到有3个目录。执行完去燥之后，我们发现图片比原始图片要清晰了一些。

c、图像超分

这次我们首先使用的RealESRGAN算法，首先我们需要下载该算法代码及预训练文件。

然后我们对图片进行合适的推理。

主要技术有：

• 动漫微调模型
• realesrgan
• realesrnet 基础模型

然后我们进一步使用HAT算法进行图像超分。

这个过程执行时间很长，需要耐心等待，同时我们可以发现GPU这个阶段使用率达到了100%。

d、面部增强

该算法用于人脸面部增强，并支持使用RealESRGAN进行背景的超分。我们可以按照实验要求，下载对应的代码及预训练文件。

我们可以发现，进行面部修复之后，图片的质量已经还原了50%，画面已经非常的清晰了。

e、图像上色

接下来我们基于Modelscope，使用DDC、DeOldify、CSRNet等算法进行图像上色及色彩增强。

执行以上算法修复后，图片的背景颜色已经开始增强。

接下来我们进行局部细节上色。我们通过基于Unicolor+SAM的有条件的上色方案。通过指定修改位置即颜色，对局部颜色细节进行调整。

在处理一些细节的时候我们需要注意文件的格式。

然后就进行局部的标识及选择需要调整的颜色。

最后对指定区域进行上色

f、划痕处理

该操作我们通过实验提供的一个可视化界面，进行手动标记划痕位置，然后通过LaMa算法进行修复。

2.2.5、修复结果

三、体验过程碰到的问题及注意事项

a、镜像包一定要选择正确，不然需要安装很多依赖组件

b、读取和初始化SAM和Unicolor模型容易出错，主要原因有几个方面。

一个是本地存储不够，二是官方的模型有调整，导致下载失败。

四、体验感受

这次“用PAI-DSW修复亚运历史老照片”活动让我很受益，通过学习和实践，我学会了如何修复历史照片。我不仅学会了这方面的知识，还感受到了亚运的魅力。未来，我会继续总结经验，提升自己的技术水平。同时，我希望能够让更多人了解图像修复的重要性，并激发他们对历史和文化的热爱。在未来的学习和工作中，我会继续努力保护和传承这些珍贵的历史瞬间。