翻车现场:我用pytorch和GAN做了一个生成神奇宝贝的失败模型

简介: 翻车现场:我用pytorch和GAN做了一个生成神奇宝贝的失败模型

前言

神奇宝贝已经是一个家喻户晓的动画了,我们今天来确认是否可以使用深度学习为他自动创建新的Pokemon。

image.png

我最终成功地使用了生成对抗网络(GAN)生成了类似Pokemon的图像,但是这个图像看起来并不像神奇宝贝。

虽然这个尝试失败了,但是我认为其他人可能会喜欢这个过程,现在把他分享出来。

GAN生成对抗网络

image.png

这里不想花很多时间讨论GAN是什么,但是上面的图片只是一个非常简单的解释过程。

训练了两个网络-鉴别器和生成器。生成器学习如何吸收随机噪声并从训练数据生成看起来像图像的图像。它通过将其生成的图像发送到鉴别器网络,鉴别器网络经过训练可以辨别真实图像和生成的图像。

生成器经过优化,可以更好地欺骗鉴别器,鉴别器经过优化,可以更好地检测生成的图像。因此,他们俩一起进步。

数据

因此,我的假设是,我可以使用真实的神奇宝贝图像作为训练集来训练GAN。结果将是一个生成器,然后将能够创建新颖的神奇宝贝!

我的第一个挑战是找到神奇宝贝的图像。幸运的是,Kaggle数据集得以抢救!

有人已经想过类似的想法,尽管听起来他在生成新的Pokemon图像方面没有很大的成功,但是由于他花了时间收集800幅图像,因此决定将它们上传到Kaggle数据集。这节省我很多时间。

我们看一下这个数据集:

image.png

这是一张 蒜头王八 妙蛙种子 的图片,大小是256*256

现在,有了数据,下一步就是选择要使用的GAN类型。可能存在数百种GAN的变体,但过去使用DCGAN可以看到良好的效果。

DCGAN从神经网络中消除了所有完全连接的层,使用转置卷积进行上采样,并用卷积跨度(除其他外)代替了最大池化。

我喜欢DCGAN,因为与其他我尝试过的GAN相比,它们似乎更健壮,因此无需进行超参数的重大调整即可更容易训练。

实际上,DCGAN非常受欢迎,以至于PyTorch的示例就很好地实现了。同样重要的是,他们的示例可以直接从文件夹读取输入。因此,使用以下命令,我能够开始训练我的GAN:

python main.py --dataset folder --dataroot /pokemon/  --cuda --niter 10000 --workers 8

该命令从文件夹中读取图像,在具有8个工作程序的GPU上运行以加载数据,并运行10,000次迭代。

事实证明,此问题需要进行10,000次迭代,但我想看看我能推多远。让我们来看看!

结果

第一步始于一个一无所知的网络,因此产生的只是噪声:

image.png

每个box都是一个64 x 64像素的图像,它是尝试从我们的生成器中生成神奇宝贝。由于我们的网格为8 x 8,因此我们尝试生成64种不同的神奇宝贝。我将图像缩小到64 x 64,因为在尝试生成更大的图像时这种算法会变得不稳定。

50次迭代以后,有点意思了

image.png

150次迭代,图像变得清晰了


3,700点之后,会有一些不错的图片出现了。此后,它开始趋向于产生更差的结果:

image.png

这些看起来根本都不像神奇宝贝!

但是请将浏览器缩小到25%左右,然后再次查看。在远处,它们看起来惊人地类似于真正的神奇宝贝。

为什么呢?由于我们正在对64 x 64的图像进行训练,因此辨别器很容易被形状和颜色类似于口袋妖怪的图像所迷惑,因此生成器不需要改进。

下一步?

显而易见的下一步就是训练更高分辨率的GAN。实际上,我已经对此进行了一些尝试。

第一个尝试是重新编写PyTorch代码以缩放到256 x 256图像。该代码有效,但是DCGAN崩溃了,我无法稳定训练。主要原因是只有大约800张图像。而且,尽管我进行了一些数据扩充,但还不足以训练更高分辨率的DCGAN。

然后,我尝试使用相对论的GAN,该GAN已成功针对具有较小数据集的高分辨率数据进行了成功的训练,但也无法使其正常工作。

目前来看,问题应该出现在数据上,数据量太小,还是满足不了训练的需求。但是我将继续尝试其他一些想法,以产生更高分辨率的Pokemon,如果我有工作的必要,我将发布我使用的技术。

目录
相关文章
|
2月前
|
算法 PyTorch 算法框架/工具
Pytorch学习笔记(九):Pytorch模型的FLOPs、模型参数量等信息输出(torchstat、thop、ptflops、torchsummary)
本文介绍了如何使用torchstat、thop、ptflops和torchsummary等工具来计算Pytorch模型的FLOPs、模型参数量等信息。
379 2
|
22天前
|
机器学习/深度学习 人工智能 PyTorch
Transformer模型变长序列优化:解析PyTorch上的FlashAttention2与xFormers
本文探讨了Transformer模型中变长输入序列的优化策略,旨在解决深度学习中常见的计算效率问题。文章首先介绍了批处理变长输入的技术挑战,特别是填充方法导致的资源浪费。随后,提出了多种优化技术,包括动态填充、PyTorch NestedTensors、FlashAttention2和XFormers的memory_efficient_attention。这些技术通过减少冗余计算、优化内存管理和改进计算模式,显著提升了模型的性能。实验结果显示,使用FlashAttention2和无填充策略的组合可以将步骤时间减少至323毫秒,相比未优化版本提升了约2.5倍。
42 3
Transformer模型变长序列优化:解析PyTorch上的FlashAttention2与xFormers
|
2月前
|
机器学习/深度学习 自然语言处理 监控
利用 PyTorch Lightning 搭建一个文本分类模型
利用 PyTorch Lightning 搭建一个文本分类模型
75 8
利用 PyTorch Lightning 搭建一个文本分类模型
|
2月前
|
机器学习/深度学习 自然语言处理 数据建模
三种Transformer模型中的注意力机制介绍及Pytorch实现:从自注意力到因果自注意力
本文深入探讨了Transformer模型中的三种关键注意力机制:自注意力、交叉注意力和因果自注意力,这些机制是GPT-4、Llama等大型语言模型的核心。文章不仅讲解了理论概念,还通过Python和PyTorch从零开始实现这些机制,帮助读者深入理解其内部工作原理。自注意力机制通过整合上下文信息增强了输入嵌入,多头注意力则通过多个并行的注意力头捕捉不同类型的依赖关系。交叉注意力则允许模型在两个不同输入序列间传递信息,适用于机器翻译和图像描述等任务。因果自注意力确保模型在生成文本时仅考虑先前的上下文,适用于解码器风格的模型。通过本文的详细解析和代码实现,读者可以全面掌握这些机制的应用潜力。
128 3
三种Transformer模型中的注意力机制介绍及Pytorch实现:从自注意力到因果自注意力
|
3月前
|
机器学习/深度学习 PyTorch 调度
在Pytorch中为不同层设置不同学习率来提升性能,优化深度学习模型
在深度学习中,学习率作为关键超参数对模型收敛速度和性能至关重要。传统方法采用统一学习率,但研究表明为不同层设置差异化学习率能显著提升性能。本文探讨了这一策略的理论基础及PyTorch实现方法,包括模型定义、参数分组、优化器配置及训练流程。通过示例展示了如何为ResNet18设置不同层的学习率,并介绍了渐进式解冻和层适应学习率等高级技巧,帮助研究者更好地优化模型训练。
211 4
在Pytorch中为不同层设置不同学习率来提升性能,优化深度学习模型
|
3月前
|
机器学习/深度学习 监控 PyTorch
PyTorch 模型调试与故障排除指南
在深度学习领域,PyTorch 成为开发和训练神经网络的主要框架之一。本文为 PyTorch 开发者提供全面的调试指南,涵盖从基础概念到高级技术的内容。目标读者包括初学者、中级开发者和高级工程师。本文探讨常见问题及解决方案,帮助读者理解 PyTorch 的核心概念、掌握调试策略、识别性能瓶颈,并通过实际案例获得实践经验。无论是在构建简单神经网络还是复杂模型,本文都将提供宝贵的洞察和实用技巧,帮助开发者更高效地开发和优化 PyTorch 模型。
56 3
PyTorch 模型调试与故障排除指南
|
2月前
|
存储 并行计算 PyTorch
探索PyTorch:模型的定义和保存方法
探索PyTorch:模型的定义和保存方法
|
4月前
|
机器学习/深度学习 PyTorch 编译器
PyTorch 与 TorchScript:模型的序列化与加速
【8月更文第27天】PyTorch 是一个非常流行的深度学习框架,它以其灵活性和易用性而著称。然而,当涉及到模型的部署和性能优化时,PyTorch 的动态计算图可能会带来一些挑战。为了解决这些问题,PyTorch 引入了 TorchScript,这是一个用于序列化和优化 PyTorch 模型的工具。本文将详细介绍如何使用 TorchScript 来序列化 PyTorch 模型以及如何加速模型的执行。
174 4
|
4月前
|
机器学习/深度学习 边缘计算 PyTorch
PyTorch 与边缘计算:将深度学习模型部署到嵌入式设备
【8月更文第29天】随着物联网技术的发展,越来越多的数据处理任务开始在边缘设备上执行,以减少网络延迟、降低带宽成本并提高隐私保护水平。PyTorch 是一个广泛使用的深度学习框架,它不仅支持高效的模型训练,还提供了多种工具帮助开发者将模型部署到边缘设备。本文将探讨如何将PyTorch模型高效地部署到嵌入式设备上,并通过一个具体的示例来展示整个流程。
791 1
|
4月前
|
机器学习/深度学习 自然语言处理 PyTorch
PyTorch与Hugging Face Transformers:快速构建先进的NLP模型
【8月更文第27天】随着自然语言处理(NLP)技术的快速发展,深度学习模型已经成为了构建高质量NLP应用程序的关键。PyTorch 作为一种强大的深度学习框架,提供了灵活的 API 和高效的性能,非常适合于构建复杂的 NLP 模型。Hugging Face Transformers 库则是目前最流行的预训练模型库之一,它为 PyTorch 提供了大量的预训练模型和工具,极大地简化了模型训练和部署的过程。
251 2