本文中，来自谷歌、 希伯来大学、 MIT 等机构的研究者提出了一种新的分类器可视化解释方法 StylEx，该方法能以不同方式修改图像属性来更改其分类器输出。
神经网络可以非常出色地执行各种任务，但它们是如何做出决定的呢？例如，在图像分类任务中，模型是如何确定一张图像属于这一类而不是属于另一类，这通常是一个谜题。解释神经网络如何做决策的过程，可能会在某些领域产生重大的社会影响，例如医学图像分析和自动驾驶。
以前对分类器进行视觉解释的方法（例如注意力图 Grad-CAM）），会强调图像中的哪些区域对分类有影响，但这些方法并没有解释这些区域中的哪些属性决定分类结果：例如是颜色、形状，还是其他的属性决定模型进行这样的分类。另一类方法是通过在一类和另一类之间平滑转换图像来提供解释（例如 GANalyze）。然而，这些方法倾向于一次性改变所有属性（例如颜色、形状），因此，很难隔离单个属性带来的影响。
去年，来自谷歌、 希伯来大学、 MIT 等机构的研究者提出了一种新的分类器可视化解释方法，相关论文被 ICCV 2021 接收。他们提出了 StylEx ，可以自动发现和可视化影响分类器的解耦属性（disentangled attributes）。StylEx 允许通过单独操作这些属性来探索单个属性的影响（也就是说，更改一个属性不会影响其他属性）。StylEx 适用于广泛的领域，包括动物、树叶、面部和视网膜图像。该研究结果表明，StylEx 找到的属性与语义属性非常吻合，可以生成有意义的特定于图像的解释，并且在用户研究中可以被人们所解释。
训练 StyleGAN 来解释分类器
解释猫和狗分类器：StylEx 提供了可以解释分类的 top-K 个解耦属性。移动每个旋钮可以操作图像中的相应属性，同时保持图形的其他属性不变。
例如，要了解给定图像上的猫与狗分类器，StylEx 可以自动检测解耦属性，并可视化操作每个属性如何影响分类器概率。然后用户可以查看这些属性并对它们所代表的内容进行语义解释。例如，在上图中，可以得出狗比猫更容易张开嘴（上图 GIF 中的属性 #4）、猫的瞳孔更像狭缝（属性 # 5），猫的耳朵不倾向于折叠（属性 #1），等等。
下面的视频提供了该方法的简短说明：
，时长05:49
给定一个分类器和一个输入图像，该研究希望找到并可视化影响其分类的各个属性。研究人员采用了可以生成高质量图像的 StyleGAN2 架构，整个过程包括两个阶段：
第一阶段：训练 StylEx
论文《StyleSpace Analysis: Disentangled Controls for StyleGAN Image Generation》中的研究表明，StyleGAN2 包含一个名为「StyleSpace」的解耦潜在空间，其包含训练图像的单个语义属性。该研究训练了一个类似于 StyleGAN 的生成器来满足分类器需求，从而可以使 StyleSpace 适应分类器特定的属性。
StylEx 通过使用两个附加组件训练 StyleGAN 生成器来实现。第一个是编码器，它与具有 reconstruction-loss 的 GAN 一起训练，并强制生成的输出图像在视觉上与输入相似，从而允许生成器应用于任何给定的输入图像。然而，仅仅只有图像的视觉相似性是不够的，因为它可能不一定捕获对特定分类器（例如医学病理学）重要的细微视觉细节。
为了确保这一点，该研究在 StyleGAN 训练中添加了一个 classification-loss，它强制生成图像的分类器概率与输入图像的分类器概率相同。这保证了细微视觉细节（例如医学病理学）包含在生成的图像中，这对分类器来说是很重要的。
训练 StyleEx：联合训练生成器和编码器。在生成图像和原始图像之间应用 reconstruction-loss，以保持视觉相似性。在生成图像的分类器输出和原始图像的分类器输出之间应用 classification-loss，以确保生成器能够捕获对分类很重要的细微视觉细节。
第二阶段提取解耦属性
训练完成之后，研究者在经过训练的分类器的 StyleSpace 中搜索显著影响分类器的属性，他们对每个 StyleSpace 进行操作并测量其对分类概率的影响。对于给定的图像，研究者寻找对图像分类影响最大的属性。这一过程可以找到 top-K 个特定图像属性。对每个类的图像重复这个过程，可以进一步发现特定类的 top-K 属性，这个端到端的系统被命名为 StylEx。
图像特定属性提取的可视化说明
StylEx 适用于各种领域和分类器
StylEx 适用于各种领域和分类器（二元和多类），下面是感知性别分类器展示的 top-4 属性。
对于性别分类器，以下是每个分类器检测到的前四个属性。对于每个属性，该研究在源图像和属性操作图像之间进行变换。属性（例如胡子、眉毛等）对分类器概率的影响程度显示在每个图像的左上角。
感知性别分类器 Top-4 属性
感知年龄分类器 Top-4 属性
StylEx 揭示了给定分类器可以从数据中学会利用图像不同属性，这些属性可能不一定代表现实中类别标签（例如年轻或年长）之间的实际物理差异。特别是，这些检测到的属性可能会揭示分类器训练或数据集中的偏差。StylEx 可以进一步用于提高神经网络的公平性，例如，通过增加训练数据集的示例来补偿 StylEx 方法揭示的偏差，有针对性的进行补偿。
对于分类严重依赖精细细节的任务，将 classifier loss 添加到 StyleGAN 训练中至关重要。举例来说，在没有 classifier loss 的情况下，在视网膜图像上训练的 GAN 不一定会产生与特定疾病对应的精细病理细节。而添加 classification loss 使得 GAN 生成这些微妙的病理，作为分类器的解释。下面以视网膜图像分类器（DME 疾病）和不健康 / 健康树叶分类器为例。StylEx 能够发现与疾病指标一致的属性，例如视网膜的「硬渗出物」。
视网膜图像 DME 分类器的 Top-4 属性
不健康 / 健康树叶图像 Top-4 属性
特定于鸟的分类器（200 个类），事实上 StylEx 检测到与 CUB（鸟类数据集） 分类中的属性相对应的属性
