“用PAI-DSW修复亚运历史老照片”活动体验
一、引言
阿里云作为第十九届杭州亚运会官方合作伙伴，值此亚运会 110 周年庆典之际，与亚奥理事会联合发起“历久弥新——亚运史料AI修复”计划，由阿里云市场部品牌团队、阿里云开发者团队联合计算平台和存储团队举办“用AI修复亚运老照片”活动。
二、体验过程
2.1、环境资源准备
本次照片修复需要的产品：
- 机器学习平台PAI
- OSS
- GPU服务器
- 负载均衡
- 天池Notebook
2.2、修复过程
本次修复过程大部分是按照操作手册完成（保姆手册）。
2.2.1、领取PAI-DSW资源包后并开通机器学习PAI。
2.2.2、创建实验要求的硬件环境
2.2.3、进入天池Notebook，通过DSW Gallery，快速导入“用AI重燃亚运经典”教程。
该教程已经包含了完整的代码。只需要一步步按照要求去执行。
2.2.4、修复步骤
a、下载需要修复的图片资源
首先我们需要安装一些依赖环境，然后我们按照要求把这次的原始照片下载下来。
下载之后，我们可以在项目目录的input目录下，可以找打对应的图片资源。
b、图片去燥
该功能主要是去除图像中的噪声、模糊等。
主要技术特点有：
- 去运动模糊
- 去focus模糊
- 去雨滴
- 真实场景去噪
- 灰度图去高斯噪声
- RGB图去高斯噪声
完成去燥之后，我们可以看到图片image_restoration/results/nafnet_*/ 目录下。 这里我们可以看到有3个目录。执行完去燥之后，我们发现图片比原始图片要清晰了一些。
c、图像超分
这次我们首先使用的RealESRGAN算法，首先我们需要下载该算法代码及预训练文件。
然后我们对图片进行合适的推理。
主要技术有：
- 动漫微调模型
- realesrgan
- realesrnet 基础模型
然后我们进一步使用HAT算法进行图像超分。
这个过程执行时间很长，需要耐心等待，同时我们可以发现GPU这个阶段使用率达到了100%。
d、面部增强
该算法用于人脸面部增强，并支持使用RealESRGAN进行背景的超分。我们可以按照实验要求，下载对应的代码及预训练文件。
我们可以发现，进行面部修复之后，图片的质量已经还原了50%，画面已经非常的清晰了。
e、图像上色
接下来我们基于Modelscope，使用DDC、DeOldify、CSRNet等算法进行图像上色及色彩增强。
执行以上算法修复后，图片的背景颜色已经开始增强。
接下来我们进行局部细节上色。我们通过基于Unicolor+SAM的有条件的上色方案。通过指定修改位置即颜色，对局部颜色细节进行调整。
在处理一些细节的时候我们需要注意文件的格式。
然后就进行局部的标识及选择需要调整的颜色。
最后对指定区域进行上色
f、划痕处理
该操作我们通过实验提供的一个可视化界面，进行手动标记划痕位置，然后通过LaMa算法进行修复。
2.2.5、修复结果
三、体验过程碰到的问题及注意事项
a、镜像包一定要选择正确，不然需要安装很多依赖组件
b、读取和初始化SAM和Unicolor模型容易出错，主要原因有几个方面。
一个是本地存储不够，二是官方的模型有调整，导致下载失败。
四、体验感受
这次“用PAI-DSW修复亚运历史老照片”活动让我很受益，通过学习和实践，我学会了如何修复历史照片。我不仅学会了这方面的知识，还感受到了亚运的魅力。未来，我会继续总结经验，提升自己的技术水平。同时，我希望能够让更多人了解图像修复的重要性，并激发他们对历史和文化的热爱。在未来的学习和工作中，我会继续努力保护和传承这些珍贵的历史瞬间。
