给学妹换个风格,画风突变【❤️CVPR 2020 风格迁移之NICE-GAN❤️】

简介: 重用判别器进行编码:实现无监督的图像到图像翻译;

❤️【深度学习入门项目】❤️ 之 【风格迁移】 初识 | 🚀学会【对抗训练】,你和红颜便不会再有尴尬🚀

❤️ 【带你了解】❤️

  • ❤️ 风格迁移 ========》一键换装
  • 💙 人生多一点尝试 ===》画风突变

🔔 基础信息

🎉 git 官方 环境依赖如下:

gitHub 官方

1

📢 环境搭建

  • 服务器:ubuntu1~18.04 Quadro RTX 5000 16G
  • CUDA版本 V10.0.130
conda create -n nice python=3.6.9

conda activate nice

pip install torch==1.1.0

pip install torchvision==0.3.0
或者(建议使用 conda 来安装)
conda install pytorch==1.1.0 torchvision==0.3.0 cudatoolkit=10.0 -c pytorch

pip install pillow==5.2.0

pip install opencv-python

pip install scipy
pip install thop

🎄 项目结构

 git clone https://github.com/alpc91/NICE-GAN-pytorch.git
 
 cd NICE-GAN-pytorch
 
 cd dataset/

💜 加入数据集

1-0

💜 训练参数设置

1-1

🎄 训练和测试

💜 Train

# 显卡16G不够用,所以设置  --light True 

python main.py --dataset horse2zebra --light True

# 指定多卡训练的方式如下

CUDA_VISIBLE_DEVICES=2,3 python main.py --dataset horse2zebra --light True

# nohup 把训练进程放到后台

nohup python main.py --dataset horse2zebra --light True &
90分钟 训练 5000 个epoch ,训练效果如下

1-2

💜 Test

python main.py --dataset horse2zebra --phase test  --light True
测试运行输出如下
python main.py --dataset horse2zebra --phase test  --light True

# 测试运行输出如下
 
number of epochs must be larger than or equal to one

##### Information #####
# light :  True
# dataset :  horse2zebra
# batch_size :  1
# iteration per epoch :  300000
# the size of image :  256
# the size of image channel :  3
# base channel number per layer :  64

##### Generator #####
# residual blocks :  6

##### Discriminator #####
# discriminator layers :  7

##### Weight #####
# adv_weight :  1
# cycle_weight :  10
# recon_weight :  10
-----------------------------------------------
[INFO] Register count_linear() for <class 'torch.nn.modules.linear.Linear'>.
[INFO] Register count_convNd() for <class 'torch.nn.modules.conv.Conv2d'>.
[INFO] Register count_relu() for <class 'torch.nn.modules.activation.LeakyReLU'>.
[Network disA] Total number of parameters:  93.749M
[Network disA] Total number of FLOPs:  12.013G
-----------------------------------------------
[INFO] Register zero_ops() for <class 'torch.nn.modules.activation.ReLU'>.
[INFO] Register count_linear() for <class 'torch.nn.modules.linear.Linear'>.

[Network gen2B] Total number of parameters:  16.192M
[Network gen2B] Total number of FLOPs:  67.552G
-----------------------------------------------
5000 [测试使用模型的迭代次数]

dataset/horse2zebra/testA/n02381460_1000.jpg
dataset/horse2zebra/testA/n02381460_1010.jpg
...

1-3

💬 备注

  • 该模型训练中一次保存,大小 1.2 个G
  • --batch_size == 1 时,GPU 占用 7679MiB
  • --batch_size == 2 时,GPU 占用 12473MiB
  • --batch_size == 4 时,16G 的GPU就不够用啦

👋 可能遇到的报错

单卡训练,NICE-GAN full version 训练, 【16G】GPU 不够用
  • CUDA_VISIBLE_DEVICES=3 python main.py --dataset horse2zebra
RuntimeError: CUDA out of memory. Tried to allocate 1024.00 MiB (GPU 0; 15.75 GiB total capacity; 13.78 GiB already allocated; 782.44 MiB free; 499.74 MiB cached)
解决方法如下
  • 经验证换用 24 G 以上更大内存的 GPU 进行训练,不会遇到该错误,即进行【NICE-GAN full version】训练
  • 训练时,追加参数 --light True 即进行【NICE-GAN light version】训练

🚀 给学妹换个风格 🚀

这里使用 【梵高油画和现实风景图像】构成的数据集进行 50万 iteration 训练
nohup python main.py --dataset vangogh2photo --light True &

# 训练时长,最终定格在 5天
训练结束输出如下
[499995/500000] time: 431994.8614 d_loss: 2.32049370, g_loss: 3.90420341
[499996/500000] time: 431995.4892 d_loss: 2.04860115, g_loss: 3.71788430
[499997/500000] time: 431996.1223 d_loss: 2.22972393, g_loss: 4.25117588
[499998/500000] time: 431996.7609 d_loss: 2.36788273, g_loss: 5.42507362
[499999/500000] time: 431997.3897 d_loss: 2.53704023, g_loss: 4.05708218
[500000/500000] time: 431998.0172 d_loss: 2.21194649, g_loss: 4.53932619
current D_learning rate:-1.7075100951256253e-16
current G_learning rate:-1.7075100951256253e-16
 [*] Training finished!

💜 训练分析

可以看到,默认每隔10w iteration 保存一次模型,50w 训练只保存了 5次模型
这 5 次保留的模型经测试发现,效果都无法让人心动
意外翻车,原因分析如下
  • Gan 网络的模型训练本身就有很多不稳定性、不确定性存在
  • 改进策略,数据集 trainA 和 trainB 风格尽量一致
  • 训练时,建议每隔 1 w 或者 5k iteration 保存一次模型
  • 这样可以得到多个生成模型,然后一一测试,也许会有惊喜
  • 对于 NiceGAN 而言,实测应用,模型训练基本是这样一个思路
  • 只能说,iteration 次数越多,理论上训练效果相对会更好,但是实际应用中,效果好的模型未必就是训练次数最大的那次得到的模型

2-1

💜 学妹还是有的

论数据集风格统一的重要性
【❤️下次,一定,让你更美❤️】

2-3

🍖 训练代码+数据分享

💜【 把训练数据 + 代码分享给大家】💜
## 见原文 

https://positive.blog.csdn.net/article/details/120235766

🚀🚀 文末专栏推荐部分 🚀🚀

🎄如果感觉文章看完了不过瘾,还想更进一步,那么可以来我的其他 专栏 看一下哦~
❤️❤️❤️❤️❤️❤️
计算机视觉正确打开方式 计算机视觉、超分重建、图像修复、目标检测、硕博交流
❤️❤️❤️❤️❤️❤️

end.jpg

相关实践学习
部署Stable Diffusion玩转AI绘画(GPU云服务器)
本实验通过在ECS上从零开始部署Stable Diffusion来进行AI绘画创作,开启AIGC盲盒。
目录
相关文章
|
3月前
|
机器学习/深度学习 监控 定位技术
神经网络也有空间意识!学会在Minecraft创建地图,登上Nature子刊
【8月更文挑战第14天】国际团队利用预测编码神经网络,在Minecraft中实现了空间认知突破。他们在《自然》子刊发表的研究显示,神经网络能学习游戏内的空间关系并构建地图,不仅标记地形与物体,还能理解其间的相对位置。此成果揭示了神经网络在空间认知方面的潜力,引发了关于其真实空间意识及可能应用的讨论。论文链接:https://www.nature.com/articles/s42256-024-00863-1。
136 66
|
1月前
Midjourney-03 收集Prompt 动漫风格 樱花 武士 魔法少女 自然 机甲 拟人动物 歌剧场景 星际飞船 神秘森林 精灵 详细记录 超多图片 多种风格 附带文本 关键词
Midjourney-03 收集Prompt 动漫风格 樱花 武士 魔法少女 自然 机甲 拟人动物 歌剧场景 星际飞船 神秘森林 精灵 详细记录 超多图片 多种风格 附带文本 关键词
25 0
|
4月前
看张手绘草图就能合成图形程序,加州伯克利让扩散模型掌握新技能
【7月更文挑战第12天】加州伯克利研究团队利用神经扩散模型创新程序合成,通过在语法树上反向消除“噪声”实现迭代编辑,改善了传统LLMs自回归生成的局限性。这种方法能看手绘草图生成图形程序,结合搜索进行调试,适用于逆图形任务,性能优越,但目前仅支持有限的程序结构。[[arxiv:2405.20519](https://arxiv.org/pdf/2405.20519)]
39 2
|
6月前
复现sci顶刊中的画中画(局部细节放大)
复现sci顶刊中的画中画(局部细节放大)
412 0
|
人工智能 编解码 移动开发
NeRF基于线稿生成逼真三维人脸,细节风格随意改,论文已上SIGGRAPH
NeRF基于线稿生成逼真三维人脸,细节风格随意改,论文已上SIGGRAPH
461 0
|
机器学习/深度学习 自然语言处理 算法
论文赏析【EMNLP19】语言模型效果不好?也许你可以给它添加一点句法信息
论文赏析【EMNLP19】语言模型效果不好?也许你可以给它添加一点句法信息
|
人工智能 安全 机器人
研究者意外发现DALL-E 2在用自创语言生成图像:全文黑话,人类都看不懂
研究者意外发现DALL-E 2在用自创语言生成图像:全文黑话,人类都看不懂
132 0
|
机器学习/深度学习 计算机视觉
英伟达的实习生提出零样本风格迁移:多模态CLIP玩出花,只用文本就能干CV的活!
零样本的风格迁移听说过没有?英伟达一个实习生小哥集文本CLIP和图像生成StyleGAN于一身,只需要输入几个单词就可以完成你想要的风格迁移效果!再也不用为了风格迁移找数据啦!
294 0
英伟达的实习生提出零样本风格迁移:多模态CLIP玩出花,只用文本就能干CV的活!