用 AI 修复亚运珍贵史料——基于Stable Diffusion WebUI 体验AIGC加持的修复能力

本文涉及的产品
模型训练 PAI-DLC,100CU*H 3个月
交互式建模 PAI-DSW,每月250计算时 3个月
模型在线服务 PAI-EAS,A10/V100等 500元 1个月
简介: 2023年,正值亚运110周年,也是第19届杭州亚运会即将举办之际,阿里云与亚奥理事会合作,发起“历久弥新——用 AI 修复亚运会珍贵史料”活动(以下简称“本活动”),开发者使用阿里云的 AI 技术对亚运会历史老照片进行修复,重燃亚运经典,为亚运助威,并有机会入选“亚运史上第一个 AI 修复特展—— 1974 年德黑兰亚运会特展”。

用 AI 修复亚运珍贵史料——基于Stable Diffusion WebUI 体验AIGC加持的修复能力

大家好,我是博主Lingxw_w!在开始介绍我的修复之前,首先看一下我生成的照片:
image.png
image.png

1、背景介绍

2023年,正值亚运110周年,也是第19届杭州亚运会即将举办之际,阿里云与亚奥理事会合作,发起“历久弥新——用 AI 修复亚运会珍贵史料”活动(以下简称“本活动”),开发者使用阿里云的 AI 技术对亚运会历史老照片进行修复,重燃亚运经典,为亚运助威,并有机会入选“亚运史上第一个 AI 修复特展—— 1974 年德黑兰亚运会特展”。今天使用开源社区的高质量图像修复、去噪、上色等算法,并使用 Stable Diffusion WebUI 进行交互式图像修复。

2、领取对应的试用产品

在活动当前页领取对应的产品,准备环境和资源;
image.png
我申请试用的是PAI-DSW免费资源包,当前可申请免费使用的资源类型有:ecs.gn6v-c8g1.2xlarge、ecs.g6.xlarge、ecs.gn7i-c8g1.2xlarge。
image.png
image.png

开通成功后单击进入PAI控制台,在默认工作空间中创建DSW实例。
image.png

创建实例:
image.png
选择官方镜像中的stable-diffusion-webui-env:pytorch1.13-gpu-py310-cu117-ubuntu22.04。
image.png
注意这里不用添加VPC、并且实例的名字不要和教程中的一样,否则会报错。

3、修复步骤

3.1图形去噪

进入PAI-DSW开发环境。
image.png
打开:
image.png
基于Modelscope实现:https://www.modelscope.cn/models?name=nafnet&page=1

! pip install modelscope
download_from_oss('aigc-data/restoration/repo/','nafnet.zip')
AI 代码解读

根据需要运行合适的推理任务

# 去模糊
!python NAFNet/demo.py --task deblur --input_dir input --result_dir results
# 去噪
!python NAFNet/demo.py --task denoise --input_dir input --result_dir results
# 去运动模糊
!python NAFNet/demo.py --task de_motion_blur --input_dir input --result_dir results
AI 代码解读

image.png
查看结果:
image.png

3.2图像超分

这部分使用的是RealESRGAN 算法;该算法发表于ICCV workshop 2021 用于对图像超分。
该算法提供3个预训练模型:
-RealESRNet_x4plus:基础预模型
-RealESRGAN_x4plus:用GAN Loss训练的RealESRNet
-RealESRGAN_x4plus_anime_6B用动漫数据集微调过的RealESRGAN_x4plus

download_from_oss('aigc-data/restoration/repo/','realesrgan.zip')
AI 代码解读
# 动漫微调模型
!python Real-ESRGAN/demo.py --model_name RealESRGAN_x4plus_anime_6B --input input/ --output results --tile 512
# realesrgan
!python Real-ESRGAN/demo.py --model_name RealESRGAN_x4plus --input input/ --output results --tile 512
# realesrnet 基础模型
!python Real-ESRGAN/demo.py --model_name RealESRNet_x4plus --input input/ --output results --tile 512
AI 代码解读

完成图形超分。
image.png

3.3上色

基于Modelscope,使用不同的算法进行图像上色及色彩增强。
DDC:https://www.modelscope.cn/models/damo/cv_ddcolor_image-colorization/summary
DDC发表于 ICCV 2023,色彩鲜艳

! pip install modelscope
download_from_oss('aigc-data/restoration/repo/','color.zip')
AI 代码解读
# DDC no enhance
!python Colorization/demo.py --algo DDC --input_dir input --result_dir results

# DDC with enhance
!python Colorization/demo.py --algo DDC --input_dir input --result_dir results --use_enhance

# DeOldify no enhance
!python Colorization/demo.py --algo DeOldify --input_dir input --result_dir results

# DeOldify with enhance
!python Colorization/demo.py --algo DeOldify --input_dir input --result_dir results --use_enhance
AI 代码解读

完成DDC的图像上色;
image.png
image.png

3.4局部重绘

通过Unicolor+SAM的有条件的上色方案,我们可以指定修改位置即颜色,对局部颜色细节进行调整。下载代码及预训练文件:

# 下载/解压 约10min
download_from_oss('aigc-data/restoration/repo/','sam_unicolor.zip')
AI 代码解读

加载模型文件和待处理的图片;

import os
import cv2
from PIL import Image
import numpy as np
from unicolor.sample.colorizer import Colorizer
from unicolor.sample.utils_func import *
from unicolor.sample.SAM.segment_anything import sam_model_registry, SamPredictor
import sys
import numpy as np
AI 代码解读

读取上色前的黑白图片以及通过上述无参考的DDC/DeOldify获取的上色图片,并画出坐标系方便选取参考点和参考格

#读取和初始化SAMUnicolor模型
device = "cuda"
sam_checkpoint = 'unicolor/sample/sam_vit_h_4b8939.pth'
model_type = "vit_h"
sam = sam_model_registry[model_type](checkpoint=sam_checkpoint)
sam.to(device=device)
predictor = SamPredictor(sam)


ckpt_file = 'unicolor/framework/checkpoints/unicolor_mscoco/mscoco_step259999'
colorizer = Colorizer(ckpt_file, device, [256, 256], load_clip=True, load_warper=True) # it will change the workdir
os.chdir('../../') # change back
AI 代码解读

image.png

4、总结、

在这个活动中,充分发挥了阿里云的先进AI技术,对亚运会的珍贵历史照片进行修复和重制。这一过程包括超分辨率处理,去除噪声,上色以及局部重绘等四个关键步骤。通过这些步骤,亚运会的老照片焕发出崭新的生机,重新展现了历史瞬间的细节和色彩。

修复后的照片不仅让人们能够更清晰地看到过去的辉煌瞬间,还让年轻一代更深入地了解亚运历史的丰富内涵。这个活动也唤起了人们对亚运会的热情,为即将到来的第19届杭州亚运会增添了更多的期待和助威声。

此次活动的成功展示了科技和体育的结合,以及人工智能在文化保护和传承方面的巨大潜力。阿里云与亚奥理事会的合作为亚运会的持续发展和传承注入了新的动力,同时也将亚运历史的珍贵财富分享给更多人。我们期待着在未来看到更多这样的创新举措,将亚运的光辉历史传承下去,继续激发人们对体育和文化的热爱。

相关实践学习
借助OSS搭建在线教育视频课程分享网站
本教程介绍如何基于云服务器ECS和对象存储OSS,搭建一个在线教育视频课程分享网站。
目录
打赏
0
2
4
0
271
分享
相关文章
AI助理精准匹配------助力快速搭建Stable Difussion图像生成应用
【10月更文挑战第7天】过去在阿里云社区搭建Stable Diffusion图像生成应用需查阅在线实验室或官方文档,耗时且不便。现阿里云AI助理提供精准匹配服务,直接在首页询问AI助理即可获取详细部署步骤,简化了操作流程,提高了效率。用户可按AI助理提供的步骤快速完成应用创建、参数设置、应用部署及资源释放等操作,轻松体验Stable Diffusion图像生成功能。
AI电影从这个LoRA开始:魔搭AIGC1月赛题公布&12月赛题获奖作品新鲜出炉
魔搭社区LoRA创意挑战赛月度赛第三期来啦! 1月赛题揭晓:电影风格模型训练大赛
Datawhale AI夏令营第四期魔搭-AIGC文生图方向Task1笔记
这段内容介绍了一个使用Stable Diffusion与LoRA技术创建定制化二次元图像生成模型的全流程。首先,通过安装必要的软件包如Data-Juicer和DiffSynth-Studio准备开发环境。接着,下载并处理二次元图像数据集,利用Data-Juicer进行数据清洗和筛选,确保图像质量和尺寸的一致性。随后,训练一个针对二次元风格优化的LoRA模型,并调整参数以控制模型复杂度。完成训练后,加载模型并通过精心设计的提示词(prompt)生成一系列高质量的二次元图像,展示模型对细节和艺术风格的理解与再现能力。整个过程展示了从数据准备到模型训练及结果生成的完整步骤,为定制化图像提供了方向。
全球AI新浪潮:智能媒体服务的技术创新与AIGC加速出海
本文介绍了智能媒体服务的国际化产品技术创新及AIGC驱动的内容出海技术实践。首先,探讨了媒体服务在视频应用中的升级引擎作用,分析了国际市场的差异与挑战,并提出模块化产品方案以满足不同需求。其次,重点介绍了AIGC技术如何推动媒体服务2.0智能化进化,涵盖多模态内容理解、智能生产制作、音视频处理等方面。最后,发布了阿里云智能媒体服务的国际产品矩阵,包括媒体打包、转码、实时处理和传输服务,支持多种广告规格和效果追踪分析,助力全球企业进行视频化创新。
AI助理精准匹配,为您推荐方案——如何添加一个Stable Difussion图像生成应用
介绍了一种利用AI助手快速获取并搭建Stable Diffusion图像生成应用的方法。用户只需在阿里云官网向AI助手提出需求,即可获得详细的实施方案。随后,按照AI助手提供的方案,通过函数计算部署应用,并进行测试。此过程显著提升了开发效率。
873 2
AI助理精准匹配,为您推荐方案——如何添加一个Stable Difussion图像生成应用
Claude 3.5:一场AI技术的惊艳飞跃 | AIGC
在这个科技日新月异的时代,人工智能(AI)的进步令人惊叹。博主体验了Claude 3.5 Sonnet的最新功能,对其卓越的性能、强大的内容创作与理解能力、创新的Artifacts功能、视觉理解与文本转录能力、革命性的“computeruse”功能、广泛的应用场景与兼容性以及成本效益和易用性深感震撼。这篇介绍将带你一窥其技术前沿的魅力。【10月更文挑战第12天】
202 1
添加一个Stable Difussion图像生成应用,通过向AI助手简单的提问,即可快速搭建Stable Diffusion应用至自己的网站中,大幅提升开发效率。
添加一个Stable Difussion图像生成应用,通过向AI助手简单的提问,即可快速搭建Stable Diffusion应用至自己的网站中,大幅提升开发效率。
在stable diffussion中完美修复AI图片
无论您的提示和模型有多好,一次性获得完美图像的情况很少见。修复小缺陷的不可或缺的方法是图像修复(inpainting)
在stable diffussion中完美修复AI图片
魔搭上线AIGC专区,为开发者提供一站式AI创作开发平台
魔搭上线AIGC专区,首批上架157个风格化大模型,专业文生图全免费~
191 16

热门文章

最新文章

AI助理

你好,我是AI助理

可以解答问题、推荐解决方案等