使用GAN绘制像素画,用机器学习的方式协助绘画者更快地完成作品(二)

简介: 使用GAN绘制像素画,用机器学习的方式协助绘画者更快地完成作品(二)

数据集

image.png

在Trajes Fatais游戏中,我们选择了Sarah和Lucy角色作为数据集,以评估Pix2Pix体系结构。莎拉(Sarah)角色只有87个完成的精灵,还有207个需要绘制。它也是一个中等复杂的图片,具有多个平滑复杂的区域。另一方面,露西(Lucy)角色已完成,因此它具有530个完全绘制的精灵,并且非常容易绘制,具有大部分平滑的特征。

从某种意义上说,露西是我们的上限。它具有我们希望得到的所有数据,并且很容易绘制。如果该算法无法处理露西,那么其他任何数据都可能会失败。相比之下,莎拉是我们常见的情况:一个中等复杂的人物,只有几十个精灵可以训练。如果算法对莎拉有用,那么它可能对我们有价值。

结果

image.png

可以看出,该算法对于阴影问题和区域精灵的问题具有很好的结果。因为颜色变化了,并且精灵周围有一些噪声。对于着色精灵,只检测到了较小的问题,例如第二行中的肩膀和腿部。

image.png

在第二批中,可以找到更多问题。在生成的阴影列中,可以在阴影区域看到许多伪图像,例如在女孩(第一个行),鸭嘴兽的背部(第2行)和鸭嘴兽的喙(第3行)上。对于彩色画面,会存在大量噪声,使这些子画面无法使用,因为人类很难去除噪声。

image.png

第三批的作品来自207个精灵,仅提供艺术线条。因此,这些需要主观分析来评价效果。这些行分别由类似于训练中使用的子图形,以前不曾看到的精灵的子图形和其他精灵的子图形组成。

尽管第一行最有用,但是第二和第三行上的彩色图像会迅速恶化。着色精灵的质量基本保持一致。但是,着色精灵的第三列不一致。第二行中的正面小精灵的脸应更亮,并且右下角的小精灵的亮度不连续。

现在,我们可以确定的假设着色精灵可以使用,但是区域精灵却不能使用,因为它们噪声太大并且存在色移问题。让我们将注意力转移到露西。

image.png

露西精灵的数据多了五倍,与莎拉相比改善更加明显。阴影精灵几乎完美,阴影区域的毛发很小,头发的差异可忍受。但是,区域精灵仍然远非最佳。色移问题和噪点仍然存在。这表明增加数据集大小并不能使这些问题得到明显改善。

image.png

第二批包含我们手动选择的精灵,因为它们与大多数其他精灵有很大的不同。尽管如此,阴影精灵仍然与人类绘制的精灵几乎相同。彩色图像的质量也并没有像莎拉一样严重下降。但是,它仍然远远达不到理想的结果。

考虑到这些结果,可以说增加数据集的大小可以显着改善阴影,但不能改善区域。由于露西是我们的最佳情况,因此可以假设我们需要另一个问题表述/体系结构来解决区域精灵问题。

为了更客观地量化所生成内容的质量,我们计算了两个数据集的MSE,MAE和SSIM分数。

121.png

从表中可以看出,在所有这三个指标上,阴影精灵的均值(μ)和方差(σ²)比彩色图像更好。同样,75%的四分位数与最大可见值之间的差异很大,这表明分布偏斜。

此外,露西(Lucy)的结果始终好于莎拉(Sarah)的结果,其方差低得多,而且歪斜度也大大降低。

目录
相关文章
|
机器学习/深度学习 自然语言处理 数据可视化
时序预测的三种方式:统计学模型、机器学习、循环神经网络
时序预测是一类经典的问题,在学术界和工业界都有着广泛的研究和应用。甚至说,世间万物加上时间维度后都可抽象为时间序列问题,例如股票价格、天气变化等等。关于时序预测问题的相关理论也极为广泛,除了经典的各种统计学模型外,当下火热的机器学习以及深度学习中的循环神经网络也都可以用于时序预测问题的建模。今天,本文就来介绍三种方式的简单应用,并在一个真实的时序数据集上加以验证。
435 0
时序预测的三种方式:统计学模型、机器学习、循环神经网络
|
机器学习/深度学习 算法 计算机视觉
使用GAN绘制像素画,用机器学习的方式协助绘画者更快地完成作品(三)
使用GAN绘制像素画,用机器学习的方式协助绘画者更快地完成作品(三)
196 0
使用GAN绘制像素画,用机器学习的方式协助绘画者更快地完成作品(三)
|
机器学习/深度学习 编解码 算法
使用GAN绘制像素画,用机器学习的方式协助绘画者更快地完成作品(一)
使用GAN绘制像素画,用机器学习的方式协助绘画者更快地完成作品(一)
190 0
使用GAN绘制像素画,用机器学习的方式协助绘画者更快地完成作品(一)
|
机器学习/深度学习 数据可视化 算法
机器学习基础:可视化方式理解决策树剪枝
机器学习基础:可视化方式理解决策树剪枝
机器学习基础:可视化方式理解决策树剪枝
|
机器学习/深度学习
【机器学习技巧】回归模型的几个常用评估指标(R2、Adjusted-R2、MSE、RMSE、MAE、MAPE)及其在sklearn中的调用方式
【机器学习技巧】回归模型的几个常用评估指标(R2、Adjusted-R2、MSE、RMSE、MAE、MAPE)及其在sklearn中的调用方式
【机器学习技巧】回归模型的几个常用评估指标(R2、Adjusted-R2、MSE、RMSE、MAE、MAPE)及其在sklearn中的调用方式
|
机器学习/深度学习 Python
【机器学习技巧】之特征工程:数字编码以及One-hot独热编码的几种方式(sklearn与pandas处理方式)
【机器学习技巧】之特征工程:数字编码以及One-hot独热编码的几种方式(sklearn与pandas处理方式)
【机器学习技巧】之特征工程:数字编码以及One-hot独热编码的几种方式(sklearn与pandas处理方式)
|
机器学习/深度学习 算法
阿旭机器学习实战【1】K-近邻算法(KNN)模型应用实例,以及图像表征方式
阿旭机器学习实战【1】K-近邻算法(KNN)模型应用实例,以及图像表征方式
阿旭机器学习实战【1】K-近邻算法(KNN)模型应用实例,以及图像表征方式
|
机器学习/深度学习 算法 数据挖掘
机器学习的几种学习方式
机器学习的几种学习方式
254 0
|
机器学习/深度学习 算法 数据挖掘
【数据挖掘】神经网络简介 ( 有向图本质 | 拓扑结构 | 连接方式 | 学习规则 | 分类 | 深度学习 | 机器学习 )(二)
【数据挖掘】神经网络简介 ( 有向图本质 | 拓扑结构 | 连接方式 | 学习规则 | 分类 | 深度学习 | 机器学习 )(二)
256 0
|
机器学习/深度学习 物联网 数据挖掘
【数据挖掘】神经网络简介 ( 有向图本质 | 拓扑结构 | 连接方式 | 学习规则 | 分类 | 深度学习 | 机器学习 )(一)
【数据挖掘】神经网络简介 ( 有向图本质 | 拓扑结构 | 连接方式 | 学习规则 | 分类 | 深度学习 | 机器学习 )(一)
741 0