数据集
在Trajes Fatais游戏中,我们选择了Sarah和Lucy角色作为数据集,以评估Pix2Pix体系结构。莎拉(Sarah)角色只有87个完成的精灵,还有207个需要绘制。它也是一个中等复杂的图片,具有多个平滑复杂的区域。另一方面,露西(Lucy)角色已完成,因此它具有530个完全绘制的精灵,并且非常容易绘制,具有大部分平滑的特征。
从某种意义上说,露西是我们的上限。它具有我们希望得到的所有数据,并且很容易绘制。如果该算法无法处理露西,那么其他任何数据都可能会失败。相比之下,莎拉是我们常见的情况:一个中等复杂的人物,只有几十个精灵可以训练。如果算法对莎拉有用,那么它可能对我们有价值。
结果
可以看出,该算法对于阴影问题和区域精灵的问题具有很好的结果。因为颜色变化了,并且精灵周围有一些噪声。对于着色精灵,只检测到了较小的问题,例如第二行中的肩膀和腿部。
在第二批中,可以找到更多问题。在生成的阴影列中,可以在阴影区域看到许多伪图像,例如在女孩(第一个行),鸭嘴兽的背部(第2行)和鸭嘴兽的喙(第3行)上。对于彩色画面,会存在大量噪声,使这些子画面无法使用,因为人类很难去除噪声。
第三批的作品来自207个精灵,仅提供艺术线条。因此,这些需要主观分析来评价效果。这些行分别由类似于训练中使用的子图形,以前不曾看到的精灵的子图形和其他精灵的子图形组成。
尽管第一行最有用,但是第二和第三行上的彩色图像会迅速恶化。着色精灵的质量基本保持一致。但是,着色精灵的第三列不一致。第二行中的正面小精灵的脸应更亮,并且右下角的小精灵的亮度不连续。
现在,我们可以确定的假设着色精灵可以使用,但是区域精灵却不能使用,因为它们噪声太大并且存在色移问题。让我们将注意力转移到露西。
露西精灵的数据多了五倍,与莎拉相比改善更加明显。阴影精灵几乎完美,阴影区域的毛发很小,头发的差异可忍受。但是,区域精灵仍然远非最佳。色移问题和噪点仍然存在。这表明增加数据集大小并不能使这些问题得到明显改善。
第二批包含我们手动选择的精灵,因为它们与大多数其他精灵有很大的不同。尽管如此,阴影精灵仍然与人类绘制的精灵几乎相同。彩色图像的质量也并没有像莎拉一样严重下降。但是,它仍然远远达不到理想的结果。
考虑到这些结果,可以说增加数据集的大小可以显着改善阴影,但不能改善区域。由于露西是我们的最佳情况,因此可以假设我们需要另一个问题表述/体系结构来解决区域精灵问题。
为了更客观地量化所生成内容的质量,我们计算了两个数据集的MSE,MAE和SSIM分数。
从表中可以看出,在所有这三个指标上,阴影精灵的均值(μ)和方差(σ²)比彩色图像更好。同样,75%的四分位数与最大可见值之间的差异很大,这表明分布偏斜。
此外,露西(Lucy)的结果始终好于莎拉(Sarah)的结果,其方差低得多,而且歪斜度也大大降低。