神经网络准确但不可解释，决策树是可解释的，但在计算机视觉中是不准确的。对于这种问题，我们在本文有一个解决办法。
Designed by author⁰
来自IEEE会员Cuntai Guan，他承认“many machine decisions are still poorly understood "。大多数论文甚至在准确性和可解释性之间提出严格的二分法.
Explainable AI (XAI)试图填补这个鸿沟，但正如我们下面所解释的，XAI在不直接解释模型的情况下证明了决策的合理性。这意味着在金融和医学等应用领域的实践者被迫陷入两难境地：在不可解释的、精确的模型，和不准确、可解释的模型之间选择一个。
“可解释性”是什么？
定义计算机视觉的可解释性是有挑战性的：它甚至意味着如何解释像图像那样的高维输入的分类，正如我们下面讨论的，两种常见的定义涉及显著图和决策树，但这两种方法都有其弱点。
XAI不能解释什么
显著性图¹
许多XAI方法生成显著性图，它突出了影响预测的重要输入像素。然而，显著性图侧重于输入但忽略了对模型如何做出决策的解释。
原始图像(上)，显著性图(中间)使用一种称为GRAD CAM的方法，另一种使用导向反向传播(下)。上图是“分类判别”的典型例证。以上显著性图取自https://github.com/kazuto1011/grad-cam-pytorch
显著性图不能解释什么？
为了说明为什么显著性图不能完全解释模型预测的过程，这里有一个例子：下面两个显著性图是相同的，但是预测不同。即使两个显著性图都突出了正确的对象，但其中一个预测是不正确的。为什么?回答这个问题可以帮助我们改进模型，但是正如下图所示，显著图不能解释模型的决策过程。
上边的模型预测黑颈䴙䴘。下边的模型预测角鸊鷉。这些是ResNet18模型得到GRAM-CAM结果，该模型是在Caltech-UCSD Birds-200–2011或CUB2011中短期训练得到的。虽然显著性图看起来非常相似，但模型预测不同。因此，显著性图不能解释模型是如何得到其最终预测的。
决策树
另一种方法是用可解释的模型代替神经网络。在深度学习之前，决策树是准确性和可解释性的黄金标准。下面，我们解释决策树的可解释性，它通过将预测分解成一系列决策来工作。
不只是预测出“超级汉堡包”或“华夫薯条”，上述决策树将输出一系列导致最终预测的决策。然后，这些中间决策可以单独验证。因此，经典的机器学习称这种模型为“可解释的”。
然而，对于准确度而言，决策树在图像分类数据集²上落后于神经网络高达40%的准确度。神经网络和决策树混合使用也表现不佳，甚至不能在数据集CIFAR10上匹配神经网络，该数据集特征在于微小的32X32图像，如下图：
举例显示32X32是多么微小(来自CIFAR10数据集的样本)
这种精度差距降低了可解释性：高精度，可解释的模型需要被用来解释高精度神经网络。
