StyleMapGAN之celeba_hq 风格迁移 - 图像编辑、实验测评【二】

🥇 版权: 本文由【墨理学AI】原创、各位大佬、一文读懂、敬请查阅
🎉 声明: 作为全网 AI 领域 干货最多的博主之一，❤️ 不负光阴不负卿 ❤️

StyleMapGAN 基于 StyleGAN2 改进

论文题目

Exploiting Spatial Dimensions of Latent in GAN for Real-time Image Editing

所运行代码 + paper

• https://github.com/naver-ai/StyleMapGAN
• https://arxiv.org/pdf/2104.14754.pdf

本博文记录StyleMapGAN 预训练模型 在 celeba_hq 测试数据上的 生成效果

• 环境搭建参考上一篇博文即可

celeba_hq 测试数据 + 预训练模型准备

作者把相关下载链接和解压逻辑已经在 download.sh 中整理完毕，真的非常 Nice
直接傻瓜式操作，复制命令一路下载即可【看网速，差不多半小时的样子】

# Download raw images and create LMDB datasets using them
# Additional files are also downloaded for local editing

bash download.sh create-lmdb-dataset celeba_hq

# Download the pretrained network (256x256)
bash download.sh download-pretrained-network-256 celeba_hq

# Download the pretrained network (1024x1024 image / 16x16 stylemap / Light version of Generator)
bash download.sh download-pretrained-network-1024 ffhq_16x16

整个项目 + 以上命令下载解压的数据 ，总共就 占用 20G 存储

du -sh

20G     .

项目数据部分目录结构

Generate images test of celeba_hq 数据集

Reconstruction

Reconstruction Results are saved to expr/reconstruction.

# CelebA-HQ
python generate.py --ckpt expr/checkpoints/celeba_hq_256_8x8.pt --mixing_type reconstruction --test_lmdb data/celeba_hq/LMDB_test

单卡 GPU 占用 11073MiB

interpolation

W interpolation Results are saved to expr/w_interpolation

# CelebA-HQ
python generate.py --ckpt expr/checkpoints/celeba_hq_256_8x8.pt --mixing_type w_interpolation --test_lmdb data/celeba_hq/LMDB_test

单卡 GPU 占用 8769MiB

Local editing

Local editing Results are saved to expr/local_editing. We pair images using a target semantic mask similarity. If you want to see details, please follow preprocessor/README.md.

# Using GroundTruth(GT) segmentation masks for CelebA-HQ dataset.
python generate.py --ckpt expr/checkpoints/celeba_hq_256_8x8.pt --mixing_type local_editing --test_lmdb data/celeba_hq/LMDB_test --local_editing_part nose

单卡 GPU 占用 8793MiB

重建得到的 nose

synthesized_image 生成的鼻子如下【也有少许失败样例】

Random Generation

Random Generation Results are saved to expr/random_generation. It shows random generation examples.

python generate.py --mixing_type random_generation --ckpt expr/checkpoints/celeba_hq_256_8x8.pt

Style Mixing

Style Mixing Results are saved to expr/stylemixing. It shows style mixing examples.

python generate.py --mixing_type stylemixing --ckpt expr/checkpoints/celeba_hq_256_8x8.pt --test_lmdb data/celeba_hq/LMDB_test

单卡 GPU 占用 8769MiB

• 粗修复结果： 135_coarse.png

• 细修复结果： 135_fine.png

Semantic Manipulation

Semantic Manipulation Results are saved to expr/semantic_manipulation. It shows local semantic manipulation examples.

# CelebA-HQ
python semantic_manipulation.py --ckpt expr/checkpoints/celeba_hq_256_8x8.pt --LMDB data/celeba_hq/LMDB --svm_train_iter 10000

单卡 GPU 占用 6455MiB

生成【化妆】效果如下

运行输出如下【运行5分钟左右】

latent_code_shape (64, 8, 8)
positive_train: 5867, negative_train:3134, positive_val:651, negative_val:348
Training boundary. 2021-07-09 10:36:17.187714
/home/墨理/anaconda3/envs/torch15/lib/python3.7/site-packages/sklearn/svm/_base.py:258: ConvergenceWarning: Solver terminated early (max_iter=10000).  Consider pre-processing your data with StandardScaler or MinMaxScaler.
  % self.max_iter, ConvergenceWarning)
Finish training. 2021-07-09 10:37:23.516691
validate boundary.
Accuracy for validation set: 914 / 999 = 0.914915
classifier.coef_.shape (1, 4096)
boundary.shape (64, 8, 8)
30000 images, 30000 latent_codes
Heavy_Makeup 18

代码结构如下

大家参考博文，应该很容易就能够完成博文所示的测试效果

tree -L 5 ，此次博文对应源码、完整项目目录结构如下

 tree -L 5
.
├── assets
│   ├── teaser.jpg
│   └── teaser_video.jpg
├── data
│   └── afhq
│       ├── LMDB_test
│       │   ├── data.mdb
│       │   └── lock.mdb
│       ├── LMDB_train
│       │   ├── data.mdb
│       │   └── lock.mdb
│       ├── LMDB_val
│       │   ├── data.mdb
│       │   └── lock.mdb
│       ├── local_editing
│       └── raw_images
│           ├── test
│           │   └── images
│           ├── train
│           │   └── images
│           └── val
│               └── images
├── demo
│   ├── static
│   │   └── components
│   │       ├── css
│   │       │   ├── image-picker.css
│   │       │   ├── main.css
│   │       │   └── main.scss
│   │       ├── img
│   │       │   ├── afhq
│   │       │   ├── celeba_hq
│   │       │   ├── eraser.png
│   │       │   └── lsun
│   │       └── js
│   │           ├── agh.sprintf.js
│   │           ├── image-picker.min.js
│   │           └── main.js
│   └── templates
│       ├── index.html
│       └── layout.html
├── demo.py
├── download.sh
├── expr
│   ├── checkpoints
│   │   ├── afhq_256_8x8.pt
│   │   ├── celeba_hq_256_8x8.pt
│   │   └── ffhq_1024_16x16.pt
│   ├── checkpoints_afhq
│   │   ├── afhq_256_8x8.pt
│   │   ├── ffhq_1024_16x16.pt
│   │   ├── small_ffhq_16x16_5M.pt
│   │   └── small_ffhq_32x32_2_5M.pt
│   ├── local_editing
│   │   └── celeba_hq
│   │       └── nose
│   │           ├── mask
│   │           ├── mask_ref
│   │           ├── mask_src
│   │           ├── reference_image
│   │           ├── reference_reconstruction
│   │           ├── source_image
│   │           ├── source_reconstruction
│   │           └── synthesized_image
│   ├── semantic_manipulation
│   │   ├── afhq_256_8x8_inverted.npy
│   │   └── Heavy_Makeup
│   │       └── afhq_256_8x8_Heavy_Makeup_boundary.npy
│   └── stylemixing
│       └── afhq
│           ├── 124_coarse.png
│           ├── 124_fine.png
│           ├── 135_coarse.png
│           ├── 135_fine.png
│           ├── 136_coarse.png
│           ├── 136_fine.png
│           ├── 162_coarse.png
│           ├── 162_fine.png
│           ├── 173_coarse.png
│           ├── 173_fine.png
│           ├── 7_coarse.png
│           └── 7_fine.png
├── generate.py
├── install.sh
├── LICENSE
├── metrics
│   ├── calc_inception.py
│   ├── fid.py
│   ├── inception.py
│   ├── __init__.py
│   ├── local_editing.py
│   ├── README.md
│   └── reconstruction.py
├── NOTICE
├── preprocessor
│   ├── pair_masks.py
│   ├── prepare_data.py
│   └── README.md
├── README.md
├── semantic_manipulation
│   ├── 0_neg_indices.npy
...
...
│   ├── 9_pos_indices.npy
│   └── list_attr_celeba_hq.txt
├── semantic_manipulation.py
├── training
│   ├── dataset_ddp.py
│   ├── dataset.py
│   ├── __init__.py
│   ├── lpips
│   │   ├── base_model.py
│   │   ├── dist_model.py
│   │   ├── __init__.py
│   │   ├── networks_basic.py
│   │   ├── pretrained_networks.py
│   │   └── weights
│   │       ├── v0.0
│   │       │   ├── alex.pth
│   │       │   ├── squeeze.pth
│   │       │   └── vgg.pth
│   │       └── v0.1
│   │           ├── alex.pth
│   │           ├── squeeze.pth
│   │           └── vgg.pth
│   ├── model.py
│   ├── op
│   │   ├── fused_act.py
│   │   ├── fused_bias_act.cpp
│   │   ├── fused_bias_act_kernel.cu
│   │   ├── __init__.py
│   │   ├── __pycache__
│   │   │   ├── fused_act.cpython-37.pyc
│   │   │   ├── __init__.cpython-37.pyc
│   │   │   └── upfirdn2d.cpython-37.pyc
│   │   ├── upfirdn2d.cpp
│   │   ├── upfirdn2d_kernel.cu
│   │   └── upfirdn2d.py
│   └── __pycache__
│       ├── dataset.cpython-37.pyc
│       ├── __init__.cpython-37.pyc
│       └── model.cpython-37.pyc
├── train.py
└── wget-log

53 directories, 167 files

📙 博主 AI 领域八大干货专栏、诚不我欺

• 🍊 计算机视觉： Yolo专栏、一文读懂
• 🍊 计算机视觉：图像风格转换--论文--代码测试
• 🍊 计算机视觉：图像修复-代码环境搭建-知识总结
• 🍊 计算机视觉：超分重建-代码环境搭建-知识总结
• 🍊 深度学习：环境搭建，一文读懂
• 🍊 深度学习：趣学深度学习
• 🍊 落地部署应用：模型部署之转换-加速-封装
• 🍊 CV 和 语音数据集：数据集整理

📙 预祝各位 2022 前途似锦、可摘星辰

🎉 作为全网 AI 领域 干货最多的博主之一，❤️ 不负光阴不负卿 ❤️
❤️ 如果文章对你有帮助、 点赞、评论鼓励博主的每一分认真创作

❤️ 比寻找温暖更重要的是，让自己成为一盏灯火 ❤️

• 深度学习模型训练推理——基础环境搭建推荐博文查阅顺序【基础安装—认真帮大家整理了】——【1024专刊】
• 📆 最近更新：2022年1月20日
• 🍊 点赞 👍 收藏 ⭐留言 📝 都是博主坚持写作、更新高质量博文的最大动力！