基于卷积神经网络和手工特征注入的皮肤损伤图像异常检测：一种绕过皮肤镜图像预处理的方法

基于卷积神经网络和手工特征注入的皮肤损伤图像异常检测：一种绕过皮肤镜图像预处理的方法
罗马大学信息工程、电子和电信系（DIET），意大利罗马，00184
2.
国家交通管理局（NTA），D02WT20都柏林，爱尔兰
3.
罗马大学统计科学系，意大利罗马，00185
4.
罗马大学临床内科麻醉心血管科学系皮肤科，意大利罗马，00185
*
通信地址应为的作者。
算法2023，16（10），466；https://doi.org/10.3390/a16100466
接收日期：2023年9月2日/修订日期：2023.9月22日/接受日期：2023:9月26日/发布日期：2023-10月2日
（本文属于《深度学习用于异常检测》特刊）

摘要
皮肤癌症（SC）是世界上最常见的癌症之一，也是人类死亡的主要原因。黑色素瘤（M）是癌症最具侵袭性的形式，发病率不断上升。早期准确诊断M对提高患者生存率至关重要；然而，它的临床评估受到时间线长、解释多样以及由于惊人的相似性而难以将其与痣区分开来的限制。为了克服这些问题并支持皮肤科医生，已经开发了几种机器学习（ML）和深度学习（DL）方法。在所提出的工作中，黑色素瘤检测，被理解为关于由痣组成的正常情况的异常检测任务，是在卷积神经网络（CNN）的帮助下进行的，同时将皮肤镜图像的手工纹理特征作为训练阶段的额外输入。目的是评估在保持高分类性能的同时，是否可以绕过皮肤镜图像的预处理和分割步骤。在ISIC2018和ISIC2019数据集上进行网络训练，其中仅考虑黑色素瘤和痣。将所提出的网络与皮肤科领域中最广泛使用的预训练网络进行比较，并在分类和计算成本方面显示出更好的结果。它还在ISIC2016数据集上进行了测试，以提供与文献的比较：它在准确性、敏感性和特异性方面实现了高性能。
关键词：皮肤癌症；黑色素瘤分类；人工智能深度学习；卷积神经网络；计算机辅助诊断；可解释性

1.简介
皮肤癌症是全球高加索人群中最常见的癌症类型之一[1]。它是癌症最危险和增长最快的三种类型之一，因此是一个严重的公共卫生问题[2]。皮肤肿瘤可以是良性的[3]，也可以是恶性的；主要的恶性肿瘤有基底细胞瘤、鳞状细胞癌和恶性黑色素瘤[4]。其中，黑色素瘤是最不常见的，但同时也是最具攻击性的，如果诊断晚，可能会导致死亡。因此，尽早发现它至关重要，这将增加治疗和治愈的机会[5]。其诊断遵循一些简单的规则[6]：ABCDE规则，该规则基于病变的形态学特征，如不对称性（A）、边界不规则性（B）、颜色变化（C）、直径（D）和演变（E）；七点检查表，基于代表黑色素瘤的七种皮肤镜特征；以及Menzies方法，该方法根据某些积极或消极特征的存在/不存在进行评分。ABCDE规则是最广泛使用的规则，因为它将易于应用和诊断功效完美结合。事实上，虽然痣通常是对称的（圆形或椭圆形），边缘规则（光滑均匀），颜色均匀，体积小（直径小于6mm），不会随着时间的推移而演变（随访中进行控制），但大多数黑色素瘤的形状不对称，边缘不规则，黑色素瘤的颜色不均匀，但可以有不同的棕色（随着黑色素瘤生长，它也可以呈现红色、蓝色或白色），它们比痣大，而且它们的特征会随着时间的推移而变化。然而，在某些情况下，黑色素瘤和痣表现出相似的特征，因此很难通过简单的视觉检查来区分它们。识别一些特征，如对称性、大小、宽度以及颜色特征的存在和分布（还有蓝白区域、非典型色素网络和球蛋白），对于诊断皮肤病变至关重要[7]；然而，这是一个复杂而耗时的过程，显示出对医生的主观性和经验的强烈依赖。这些问题需要开发计算机辅助诊断系统（CAD系统），该系统通常涉及皮肤病变的皮肤镜图像的分析和分类的几个步骤[8]：预处理、分割、特征提取和使用ML和DL方法的分类。预处理旨在减弱图像中的伪影，伪影主要是由于病变上存在毛发和标记物，而分割阶段旨在将病变与周围皮肤分离，从而提取临床相关特征。研究人员[9，10，11，12，13，14]已经为这两个阶段提出了几种解决方案，其中许多解决方案很费力，需要训练额外的机器和深度学习模型。特征提取步骤可以是手动的[15]，也可以使用机器学习算法实现自动化。在皮肤病变分类的情况下，手动特征提取是基于皮肤科医生为皮肤癌症诊断设计的方法，特别是皮肤科的ABCDE规则。使用机器学习方法，学习的特征是从数据集自动导出的，不需要事先了解问题。分类的最后阶段也可以采用各种方法：从经典的机器学习方法到基于深度卷积神经网络的最先进方法。

黑色素瘤检测可以被理解为皮肤病变中的异常检测问题，因为黑色素瘤代表痣群体中的异常（形状、大小、颜色等）。在本文中，我们提出了一种异常检测方法，该方法只涉及手动和自动的特征提取和分类步骤。具体来说，我们开发了一个自定义的CNN，除了黑色素瘤和痣图像的数据集之外，它还基于从整个皮肤镜图像中提取的额外手工纹理特征进行训练。这避免了分割步骤，并且可以捕获与病变周围组织相关的病理学的某些方面。此外，对皮肤病变图像不进行预处理，减少了工作时间。本文的主要贡献是：
1.
提出了一种添加了手工特征的自定义卷积神经网络模型，该模型可以在不需要图像预处理和分割的情况下准确地对黑色素瘤和痣进行分类。
2.
在相同的测试数据集上，所提出的模型的性能超过了用于皮肤损伤分类的最广泛使用的预训练模型（Res Net50、VGG16、Dense Net121、Dense Net169、Dense Net201和Mobile Net）。
3.
所提出的模型执行输出结果所需的执行时间远小于测试的预训练模型所需的时间。
4.
与其他现有的深度学习模型相比，所提出的模型在ISIC 2016数据集上实现了更好的准确性。
5.
对所提出的模型进行了简要的可解释性分析。
本文分为以下几个部分。第2节报告了皮肤损伤分类和异常检测领域的相关工作。第3节讨论了皮肤癌症检测的主要挑战和机遇。第4节介绍了用于本工作的材料，即皮肤镜图像的公共数据集。第5节显示了所提出方法的工作流程，包括从皮肤镜图像中提取手工特征，以及为黑色素瘤-痣识别任务构建和训练CNN网络。第6节详细介绍了实验的设置以及训练和测试模型时使用的数据集的创建。此外，还介绍了一些烧蚀实验和分类结果。在第7节中，讨论了通过将我们的模型与皮肤科领域常用的一些迁移学习（TL）方法以及ISIC 2016数据集和Derm IS数据库上的文献进行比较而获得的结果。此外，还对所提出的模型进行了简要的可解释性分析。在第8节中，总结了得出的结论，并讨论了未来的一些安排。

2.相关工程
在过去的十年里，研究人员对开发用于皮肤损伤分类的ML和DL解决方案的兴趣大大增加[16]。这是一项不平凡的任务，它不时提出一些至今仍未解决的关键问题。其基本思想是能够提供准确的诊断支持工具，并将其引入临床实践。到目前为止，有许多比较研究表明，这种系统显示出与皮肤科医生相当甚至更好的准确性[17]，其中一种（Moleazer Pro）已被批准作为医疗设备进入欧洲市场[18]。通常，应用于皮肤癌症诊断的基于AI的自动方法可分为两个宏观区域[19]，其中一个涉及手动提取皮肤病变特征并随后通过ML算法进行分类，而另一个涉及自动提取病变特征并通过DL方法进行分类。
2.1使用机器学习方法的皮肤损伤分类
关于传统的ML方法，最广泛使用的分类方法是支持向量机（SVM）。在[10]中，提出了一种用于黑色素瘤、发育异常痣和基底细胞癌多分类的自动方法。工作流程包括皮肤损伤的特征提取（与形状、边缘不规则性、颜色和纹理有关），使用递归方法（RFE）选择相关特征，以及使用径向核支持向量机（RBF）进行分类。在[20]中，在灰色空间中进行病变分割，并在RGB颜色空间中提取纹理和颜色特征。从提取的特征中只选择最重要的特征，然后通过用于黑色素瘤/非黑色素瘤任务的线性SVM模型对其进行分类。在[21]中，作者提出了一种新颖的自动黑色素瘤检测系统，包括：图像预处理、二维经验模式分解（BEMD）、纹理增强、熵和能量特征的手动提取以及二元分类（良性与恶性病变）。最后一步是使用具有RBF函数的SVM模型来操作的。所有这些方法在很大程度上依赖于皮肤病图像的预处理和分割步骤，但它们也依赖于特征提取；将它们交换并组合以找到最佳分类结果。ML算法是标准的，并且已经实现，所以在这方面不能做太多工作。

2.2.使用深度学习方法进行皮肤损伤分类
关于DL方法，使用预先训练的网络是皮肤损伤分类的主流。[22]的作者在Inception V3、Res Net50和Denset201上使用迁移学习对皮肤损伤进行多类别分类。它们从这些体系结构中删除了输出层，并添加了池和完全连接层。在[23]中，使用快速梯度符号法（FGSM）创建了新的对抗性示例图像，并使用它们训练和测试了一些预训练的网络（VGG16、VGG19、Dense Net101和Res Net101）。对抗性训练允许最大化输入图像的损失。在一些论文中，不同的体系结构用于几种不同的情况。在[24]中，在不同的训练场景中评估了三个预训练网络（Efficient Net、SENet和Res-Net）：首先，使用分割图像；对于第二种，使用预先训练的图像；而对于第三个，前两个解决方案被组合。在[25]中，预训练的Res-Net52网络用于不同训练情况下的皮肤损伤分类：没有数据增强（DA）；其中DA仅用于正类；其中DA用于正类并且下采样（DS）用于负类；并且DA仅用于正类，但添加了从不同数据集拍摄的其他图像。最好的解决方案是只增加属于阳性类别的病变的数据。自定义细胞神经网络的使用很少，但仍被考虑[26，27，28]。
还有一种混合方法，包括使用细胞神经网络的自动特征提取和手动特征提取，以获得包含在网络决策过程上游的向量[29，30]。这种方法在一般情况下仍然很少使用，在皮肤科领域更是如此，但它允许向网络提供额外的重要信息，以提高其分类准确性。
如前所述，黑色素瘤检测可以被理解为皮肤病变中的异常检测问题。在异常检测中，将“异常”的概念与“正常”进行对比，必须对其进行明确和具体的定义。对于黑色素瘤检测任务，正常是由痣群代表的，而异常是黑色素瘤。该场景包括几篇半监督论文，其中DL模型仅使用正常数据进行训练，异常被识别为偏离训练数据的数据[31，32，33]。在本工作中，提出了一种监督异常检测方法，其中正常和异常数据都参与训练神经网络。此外，所提出的工作是在混合特征提取方法的背景下进行的；事实上，重要的纹理特征是从皮肤镜图像中提取的，并被注入到分类层上游的CNN中。这些特征与之前从网络中提取的特征混合，带来了支持正确预测的额外信息。
3.皮肤癌症D的挑战与机遇

3.皮肤癌症检测的挑战与机遇
利用ML和DL方法对皮肤镜图像进行自动分类存在一些困难和挑战；这些困难至今仍在研究中，研究人员尽可能地减轻它们。其中一些问题比其他问题更容易解决。例如，目前缺乏对文献中提出的算法的真实世界临床验证[34]。因此，尽管许多研究表明，DL算法在检测和诊断皮肤病变方面的性能等于甚至超过了有经验的皮肤科医生[35，36]，但这些算法的性能也应在其专业领域之外的图像上进行评估[37]，尤其是在临床环境中（可能是在进行临床诊断以避免偏差之后）。此外，尚不清楚细胞神经网络与皮肤科医生在该领域进行视觉评估的情况[38]，因为所有比较人与机器性能的研究都测试了皮肤科医生评估图像的能力，而没有提供临床环境中通常可用的元数据的全貌。需要解决的最重要和最困难的关键问题包括涉及皮肤损伤的内在特征、与图像质量相关的问题以及皮肤病数据集收集方式引起的问题。
3.1内在关键性
皮肤损伤具有固有的关键问题[39]，包括：与周围皮肤的对比度低；形状、大小和位置的高度可变性；健康状况和癌症状况之间的相似性；以及根据患者的皮肤状况而不同的特征。肤色是一个需要解决的关键方面[40]，尽管它仍然很少得到解决。事实上，皮肤镜数据集，无论是私人收集的还是公开的，都只包含来自欧洲或东亚的浅皮肤人的图像。如果只根据这些数据进行训练，机器学习模型就无法为深色皮肤的患者提供准确的诊断。因此，需要扩展现有的数据集来填补这一空白，并避免将皮肤病学[41]中存在的种族差异纳入自动诊断算法。

3.1内在关键性
皮肤损伤具有固有的关键问题[39]，包括：与周围皮肤的对比度低；形状、大小和位置的高度可变性；健康状况和癌症状况之间的相似性；以及根据患者的皮肤状况而不同的特征。肤色是一个需要解决的关键方面[40]，尽管它仍然很少得到解决。事实上，皮肤镜数据集，无论是私人收集的还是公开的，都只包含来自欧洲或东亚的浅皮肤人的图像。如果只根据这些数据进行训练，机器学习模型就无法为深色皮肤的患者提供准确的诊断。因此，需要扩展现有的数据集来填补这一空白，并避免将皮肤病学[41]中存在的种族差异纳入自动诊断算法。
3.2图像质量
如前所述，其他困难与图像质量有关[42]。事实上，不同的采集工具和技术可以产生从人类角度来看非常相似但对机器来说非常不同的输出。低质量的图像通常被排除在研究之外，但如果在临床实践中应用自动化模型，这将导致不可预测的输出。此外，墨水痕迹、标尺、彩色圆盘和毛发的存在往往会降低分类性能。然而，在模型训练中包括这些图像可以使模型更加健壮。模型稳健性在现实世界的应用中至关重要，在医学应用中具有更大的重要性。
3.3.数据集的构建
另一个需要考虑的重要方面是，对于算法训练，使用的图像由皮肤科医生标记（诊断）；因此，网络学习皮肤科医生决策过程的风险很高，包括所有可能的偏见。因此，最好只使用经活检验证的图像。
承认我们已经在很大程度上克服了上述挑战，为了在皮肤科临床实践中接受人工智能模型，必须能够理解和解释其决策过程。要做到这一点，必须对模型进行可解释性和可解释性分析，以解释和解释它们做出某一决定的理由。这将弥合许多医生对新兴技术的不信任——与不完全理解有关——并有助于将其引入临床实践。此外，最好在皮肤科医生的实践中引入培训课程，因为他们中的大多数人承认他们不熟悉人工智能[43]。为应对与癌症自动检测相关的许多挑战所做的努力肯定会得到由此带来的机会的回报。除了已经提到的之外，它们还包括：避免不必要的活检或遗漏黑色素瘤的能力，在不需要与患者皮肤进行身体接触的情况下进行皮肤诊断的能力，以及降低非黑色素瘤皮肤癌症的诊断和治疗成本的能力，这是相当可观的[44]。

4.材料
本文中考虑的皮肤镜图像属于国际皮肤成像协作组织（ISIC）档案[45]。该档案结合了几个皮肤损伤数据集，最初于2016年发布，用于名为国际生物医学成像研讨会（ISBI）的挑战。具体而言，用于训练阶段的数据集是ISBI挑战2018和ISBI挑战2019数据集，而用于在ISBI 2018比赛中测试的数据集用于测试。此外，ISBI challenge 2016数据集用于与文献进行比较。表1中给出了这些数据集的详细信息。
表1。所用数据集的摘要。皮肤病变分为：痣（N）/非典型痣（AN）、恶性黑色素瘤（M）、脂溢性角化病（SK）、基底细胞癌（BCC）、皮肤纤维瘤（DF）、光化性角化症（AK）、血管病变（VL）和鳞状细胞癌（SCC）。

在本研究中，只有N和M个图像类别被认为可以执行区分正常（痣）和异常（黑色素瘤）数据的任务。为此，我们只需访问图像附带的CSV格式的基本事实文件，并在相关的“MEL”或“NV”框中分别选择黑色素瘤或痣诊断为1的图像名称。
5.方法
本工作的目的是试图了解通过使用原始（未处理）皮肤镜图像和来自完整（未分割）图像的额外纹理信息，卷积神经网络是否可以有效区分痣和黑色素瘤，这两种图像显示出相似的特征，因此难以诊断。在本节中，我们介绍了所提出方法的工作流程，如图1所示。将皮肤镜图像作为输入提供给一个非常简单的自定义CNN，在训练阶段，将先前提取的手工特征注入到该CNN的平坦层中。

5.1.精心制作的特征提取
皮肤损伤特征的手动提取来自皮肤科医生在临床实践中使用的ABCDE规则。用于提取皮肤损伤特征的主要操作是：计算面积、周长、长轴和短轴长度、偏心率、小波不变矩和形状特征的对称图；计算颜色特征的平均值、标准差、方差、偏度、最大值、最小值、熵、1D或3D颜色直方图以及自相关图；以及灰度共生矩阵（GCLM）、灰度长度矩阵（GLRLM）、局部二进制模式（LBP）以及纹理特征的小波和傅立叶变换的计算。通常，从图像中提取的特征——经过选择程序——构成了要分类的新数据集。皮肤病学中最常用的分类器是SVM、K-最近邻（KNN）、线性判别分析（LDA）和多层感知器（MLP）[49，50，51]。在已经从图像中提取特征的神经网络中注入手动提取的特征仍然是一种新的、未经尝试的方法。
在本工作中，考虑的手工特征仅为纹理特征，因为为了提取形状特征，有必要对病变进行分割（本工作中故意不进行这一操作），并且根据我们的实际经验，颜色特征已经在很大程度上被开发的CNN捕获。最后一句话来自于在神经网络训练的上游对皮肤镜图像进行颜色归一化操作所获得的结果。在这种情况下获得的黑色素瘤的分类性能通常较差，与不进行任何图像预处理所获得的分类性能相当（见第6节）。在使用ML和DL算法的自动皮肤损伤诊断的背景下，最广泛使用的纹理特征是GLCM和LBP；下面简要描述这些特征。

GLCM：灰度共生矩阵是最早用于图像纹理分析的技术之一，由Haralick等人于1973年提出[52]。同现矩阵，也称为同现分布或灰度空间相关性矩阵，是一种考虑像素空间关系的图像纹理分析统计方法。它在图像上被定义为在给定偏移处同时出现的值的分布，并表示特定维度的图像的子区域上的距离和角度空间关系。GLCM是从灰度图像创建的，并通过计算具有特定强度值i和j的相邻像素对出现的频率以及特定的空间关系来表征图像的纹理。空间方向，即分析方向，为：水平（0°）、垂直（90°）和对角线（−45°和−135°）。给定图像I、随机空间位置（h，k）和偏移量（Δ𝑥,Δ𝑦), 同现矩阵表示为：

变量𝜇 和𝜎 分别为均值和方差：

LBP：局部二进制模式是纹理光谱模型的一种特例，于1994年首次描述，它是一种简单但非常有效的纹理算子，根据与相邻像素的比较来标记图像中的像素[54]。在最简单的形式中，LBP特征向量是通过执行以下步骤创建的：
将图像划分为固定大小的单元格。
每个单元格的中心像素与其每个邻居（左上、中上、右上、右下等）的比较。如果参考像素的值大于相邻像素的值，则得分为0。否则，分数为1。
计算每个单元格的直方图（偶尔还会对直方图进行归一化）。
每个单元格的直方图的连接。
LBP：局部二进制模式是纹理光谱模型的一种特例，于1994年首次描述，它是一种简单但非常有效的纹理算子，根据与相邻像素的比较来标记图像中的像素[54]。在最简单的形式中，LBP特征向量是通过执行以下步骤创建的：
将图像划分为固定大小的单元格。
每个单元格的中心像素与其每个邻居（左上、中上、右上、右下等）的比较。如果参考像素的值大于相邻像素的值，则得分为0。否则，分数为1。
计算每个单元格的直方图（偶尔还会对直方图进行归一化）。
每个单元格的直方图的连接。
由于其判别能力和计算简单性，LBP纹理算子已成为各种应用中流行的方法。也许它最重要的特性是它对灰度单调变化的鲁棒性，例如，由照明变化引起的变化[55]。原始算子的一个有用的扩展是所谓的一致模式；这种扩展的动机是，一些二进制模式在纹理图像中比其他模式更常见。如果二进制模式最多包含两个0–1或1–0转换，则局部二进制模式称为一致[56]。统一模型允许减少特征向量的长度并实现简单的旋转不变描述符。
如前所述，在计算机辅助皮肤损伤诊断的背景下，最常用的纹理特征是GLCM和LBP。因此，在本工作中，这些特征是从皮肤镜图像中提取的。对于GLCM，为了获得对比度、相异性、均匀性、第二角动量（ASM）、相关性和能量的统计数据，使用Python的Skimage库，将像素对之间的偏移设置为一个单位值，选择0°、45°、90°和135°的四个不同方向，并确保输出是非对称的（像素对的顺序不被忽略），并且不通过累积的出现总数进行归一化。这样做会为每个图像产生总共24个全局文本特征。对于LBP，相同的Skimage库允许使用单元大小为3×3的统一方法，从而为每个图像产生总共26个全局文本特征。

由于其判别能力和计算简单性，LBP纹理算子已成为各种应用中流行的方法。也许它最重要的特性是它对灰度单调变化的鲁棒性，例如，由照明变化引起的变化[55]。原始算子的一个有用的扩展是所谓的一致模式；这种扩展的动机是，一些二进制模式在纹理图像中比其他模式更常见。如果二进制模式最多包含两个0–1或1–0转换，则局部二进制模式称为一致[56]。统一模型允许减少特征向量的长度并实现简单的旋转不变描述符。
如前所述，在计算机辅助皮肤损伤诊断的背景下，最常用的纹理特征是GLCM和LBP。因此，在本工作中，这些特征是从皮肤镜图像中提取的。对于GLCM，为了获得对比度、相异性、均匀性、第二角动量（ASM）、相关性和能量的统计数据，使用Python的Skimage库，将像素对之间的偏移设置为一个单位值，选择0°、45°、90°和135°的四个不同方向，并确保输出是非对称的（像素对的顺序不被忽略），并且不通过累积的出现总数进行归一化。这样做会为每个图像产生总共24个全局文本特征。对于LBP，相同的Skimage库允许使用单元大小为3×3的统一方法，从而为每个图像产生总共26个全局文本特征。5.2.具有手工制作功能的自定义CNN
人工神经网络受大脑连接的启发，旨在解决复杂的现实世界问题。神经网络具有分层组织的简单结构，每个结构由称为神经元（或节点）的功能单元组成，这些功能单元由模拟突触连接的弧连接[57]。每一层都从数据中提取有意义的表示，并在将其发送到下一层之前对其进行处理。神经网络的学习过程是迭代的，并且依赖于调整与神经元之间的连接相关联的权重；改变权重是基于在先前迭代中获得的经验。
卷积神经网络（CNNs或Conv Nets）是专门研究计算机视觉的人工神经网络，其灵感来自视觉皮层的生物神经网络[58]。它们的结构包括输入，即图像，特征学习块，其中各种隐藏层负责特征提取，最后是输出。每一层都由通过加权连接进行通信的基本计算单元组成。细胞神经网络适用于计算机视觉领域，正是因为与人工神经网络不同，它们具有三维组织的单元（宽度、高度和深度），并且只连接到前一层的一部分。细胞神经网络中的层可以具有也可以不具有可训练的参数；在后一种情况下，它们只是实现功能。细胞神经网络中最常用的层类型是[59]：

卷积层：卷积层能够学习对平移不变的局部模式，因此即使在不同的空间位置，图像中学习的任何模式都可以被识别，并且学习扩展到模式的空间层次：即，层从先前层的特征开始学习越来越大的模式。这使得convnet能够有效地学习越来越复杂的视觉概念。卷积层包含一系列滤波器，这些滤波器在前向阶段通过不时执行卷积（或者更确切地说，互相关）运算（即两个矩阵之间的标量积）对输入运行。结果是m维特征图，m等于应用于每一层的滤波器数量。卷积的输出使用非线性激活函数进行处理，例如双曲型、Softmax、整流线性单元（Re-LU）、指数线性单元（ELU）和缩放指数线性单元。
池层：池层旨在通过保留特征图中包含的主要信息来对特征图进行子采样，以减少模型参数的数量和计算成本。为此，在层的输入图像和新滤波器之间再次执行卷积，但在这种情况下，避免了矩阵之间的重叠。最常用的池化滤波器使用均值池化和最大池化，均值池化的结果是每个值是源图像的子矩阵的平均值的矩阵，最大池化的效果是每个值都是源图像子矩阵的最大值的矩阵。池化层的超参数是滤波器大小和间距。
归一化层：归一化层是通过特定函数对输入数据进行归一化的层，该函数不提供任何可训练的参数，仅在正向传播中起作用。它们的贡献还在于减少过度拟合的问题。
全连接层：全连接层是所有神经元连接到上一层中所有神经元的层；也就是说，它们使用全局连接性属性。这些层的输出是一个1×1×k的向量，其中k是宿主神经元的数量，包含为每个神经元计算的激活。通常，按顺序使用多个完全连接的层，其中最后一个层的参数k等于数据集中的类的数量。
用随机初始化的参数训练DL模型需要大量标记的数据。在缺乏数据的情况下，迁移学习是一种可行的解决方案，因为它允许在大型数据集（如图像网络）上重用来自预训练网络的知识（权重），并取得良好的结果。最广泛使用的预训练CNN架构是Goog-Le-Net、Inception V3、Res-Net、挤压网、暗网、密集网、Xception、Inception-Res-Net、Nasnet和高效网。在皮肤病学领域，尽管有几个大型公共数据集可用，但许多作者选择在单个网络上使用TL[60，61]，或通过从这些网络构建集成模型[62，63，64]。少数人选择基于已知网络[65，66，67]或全新网络[68，69]开发定制细胞神经网络。在本工作中，开发了图2中所示的自定义CNN。

卷积层：卷积层能够学习对平移不变的局部模式，因此即使在不同的空间位置，图像中学习的任何模式都可以被识别，并且学习扩展到模式的空间层次：即，层从先前层的特征开始学习越来越大的模式。这使得convnet能够有效地学习越来越复杂的视觉概念。卷积层包含一系列滤波器，这些滤波器在前向阶段通过不时执行卷积（或者更确切地说，互相关）运算（即两个矩阵之间的标量积）对输入运行。结果是m维特征图，m等于应用于每一层的滤波器数量。卷积的输出使用非线性激活函数进行处理，例如双曲型、Softmax、整流线性单元（Re-LU）、指数线性单元（ELU）和缩放指数线性单元。
池层：池层旨在通过保留特征图中包含的主要信息来对特征图进行子采样，以减少模型参数的数量和计算成本。为此，在层的输入图像和新滤波器之间再次执行卷积，但在这种情况下，避免了矩阵之间的重叠。最常用的池化滤波器使用均值池化和最大池化，均值池化的结果是每个值是源图像的子矩阵的平均值的矩阵，最大池化的效果是每个值都是源图像子矩阵的最大值的矩阵。池化层的超参数是滤波器大小和间距。
归一化层：归一化层是通过特定函数对输入数据进行归一化的层，该函数不提供任何可训练的参数，仅在正向传播中起作用。它们的贡献还在于减少过度拟合的问题。
全连接层：全连接层是所有神经元连接到上一层中所有神经元的层；也就是说，它们使用全局连接性属性。这些层的输出是一个1×1×k的向量，其中k是宿主神经元的数量，包含为每个神经元计算的激活。通常，按顺序使用多个完全连接的层，其中最后一个层的参数k等于数据集中的类的数量。

用随机初始化的参数训练DL模型需要大量标记的数据。在缺乏数据的情况下，迁移学习是一种可行的解决方案，因为它允许在大型数据集（如图像网络）上重用来自预训练网络的知识（权重），并取得良好的结果。最广泛使用的预训练CNN架构是Goog-Le-Net、Inception V3、Res-Net、挤压网、暗网、密集网、Xception、Inception-Res-Net、Nasnet和高效网。在皮肤病学领域，尽管有几个大型公共数据集可用，但许多作者选择在单个网络上使用TL[60，61]，或通过从这些网络构建集成模型[62，63，64]。少数人选择基于已知网络[65，66，67]或全新网络[68，69]开发定制细胞神经网络。在本工作中，开发了图2中所示的自定义CNN。

所提出的体系结构由五个卷积层组成，然后是五个级别的最大池化和批处理规范化。在最后一个归一化层之后，二维特征被展平为一维阵列，并被提供给由每类一个神经元组成的输出层。前两级卷积中的滤波器数量为32，第三级和第四级为64，最后一级为128。所有卷积核的大小都是3×3。每个卷积层后面都有一个大小为2×2的最大池化层和一个用于标准化输入的批量归一化层。在该架构中使用泄漏整流线性单元（Leaky Re-LU）激活函数来将非线性引入网络。在最后一个卷积块之后，通过从二维切换到一维来压平特征；因此，从网络中自动提取特征。为此，使用LBP获得的手工特征被级联，从而比单输入卷积神经网络模型具有更好的精度（结果在第6节中讨论）。在训练所提出的架构的过程中，皮肤损伤被缩放到224×224像素，并作为CNN的输入。为了减少计算时间，没有进行预处理。

6.结果
实施细节：一台配备苹果M1 Pro处理器和16GB RAM的mac-Os计算机用于训练和验证所提出的模型。使用Keras库使用Spyder 5.1.5和Python 3.9.12创建模型。Scikit-learn、Open CV、Pandas和Numpy被用作依赖项，Tensorflow专门通过利用图形卡对深度神经网络进行有效训练，作为后端引擎。Python语言的选择与其强大的功能和可访问性有关，这使它成为数据科学中最受欢迎的编程语言。
所用数据集的详细信息：该模型使用ISIC 2018和ISIC 2019训练数据集进行训练，并在ISIC 2016测试数据集上进行测试，以确保获得的结果与其他论文中报告的结果进行比较。如上所述，仅从每个数据集中选择黑色素瘤和痣图像。在训练数据集中，类之间的划分显示出强烈的不平衡，有利于痣类，痣类的图像数量是黑色素瘤的三倍多（这是医学领域的一种普遍现象，因为获得正常数据相对容易，但获得异常数据相当困难）。为了在所考虑的两个类别之间取得平衡，对nevi类别进行了随机下采样（DS）；具体地，从两个训练数据集中选择相同数量的痣图像，使得它们的总和等于黑色素瘤图像的数量。痣图像是从每个数据集中随机选择的。表3报告了两个训练数据集中黑色素瘤和痣的初始和最终数量。
表3。训练数据集中的N个和M个样本的数量。

10%的训练数据被用作验证集，以提供模型训练的公正过程。
网络配置。在测试了通过在Adam、Adamax和SGD之间改变优化器而获得的几个配置之后；初始学习率在10-1-4之间；并且批量大小在32和512之间；为所提出的CNN网络设置的参数为：
优化器：Adam
初始学习率：10−3
损失函数：二进制交叉熵
划时代数量：100
批量：128
分类结果：正如已经预料到的那样，在本工作中，考虑将GLCM和LBP纹理特征注入CNN网络，以提高其分类性能。进行了几项实验，试图找出使用已经从网络中自动提取的信息之外的附加信息是否方便，如果方便，是单独使用还是组合使用这两种信息更好。此外，为了了解是否有必要使用复杂的方法，如CNN，而不是更简单的方法，纹理特征通过最广泛使用的用于皮肤损伤分类的ML方法进行分类，即SVM、KNN和LDA。
-
SVM：测试了线性核（逆正则化参数C的值在1、10、100和1000之间变化）、RBF核和多项式核（C的值等于之前的值和伽玛参数的值等于0.001和0.0001之间的所有可能组合）。对于GLCM和LBP特征分类，使用具有RBF核的SVM并设置参数C=1000和gamma=0.001都获得了最佳结果；对于GLCM+LBP特征分类，使用线性SVM并设置参数C=100可以获得最佳结果。
-
KNN：邻居的数量在3到10之间。对于GLCM和LBP特征分类，当K=9时获得最佳结果；而对于GLCM+LBP组合，K＝10时获得最佳结果。
-
测试了LDA：奇异值分解（SVD）和最小二乘解（LSQR）分解方法，前者对所有特征都产生了最佳的分类性能。
对于所有ML方法，“最佳结果”是指在高灵敏度和特异性之间表现出最佳权衡的结果。在不同情况下在测试数据集上获得的结果如表4所示。
表4。黑色素瘤与痣分类的不同情况比较：GLCM特征分类的ML方法；用于LBP特征分类的ML方法；GLCM和LBP特征分类的ML方法（G&L）；CNN没有注入手工制作的特色（CNN w.f.）；注入GLCM和LBP特征的CNN（CNN G&L）；仅注入GLCM特征的CNN（CNN GLCM）；以及仅注入LBP特征的CNN（CNN-LBP）。所有值均以百分比表示。

ML方法显示出与使用各种CNN网络获得的灵敏度值相似的灵敏度值，但它们具有较低的特异性、准确性和AUC。从CNN获得的结果来看，从结果中可以明显看出，没有一种情况明显优于其他情况，但最好的情况是将LBP纹理特征注入到所提出的CNN网络中。对于后四种情况，ROC曲线图如图3所示。

图3。ROC曲线。
人们还可能会问，从图像中提取的LBP特征是否都是相关的，或者是否应该选择最重要的特征。在这方面，模拟了两种替代场景，其中应用主成分分析（PCA）将特征的维度降低到其原始大小的1/3和1/2。表5中显示了通过添加这些减少的特征来训练所提出的CNN所获得的结果，以及通过考虑所有原始特征而获得的结果。
表5。通过用所有LBP特征和其中的一部分（PCA（1/3）和PCA（1/2））训练CNN网络获得的分类结果的比较。所有值均以百分比表示。
在PCA（1/3）的情况下，与特征维度没有降低但特异性大大降低的情况相比，敏感性增加。相反，在PCA（1/2）的情况下，对于所有度量，结果都低于CNN LBP的情况。从获得的结果可以推断，没有必要对LBP纹理特征进行降维，因为它们对于皮肤损伤的分类都很重要。
此外，本工作旨在研究所述异常检测任务是否需要初步的图像预处理步骤。在这方面，将通过用原始图像和使用皮肤病学领域中使用的主要技术预处理的图像训练定制CNN LBP而获得的性能进行比较，如下所述。
高斯滤波器（GF）是一种线性平滑滤波器，用作一种低通滤波器[70]。降噪是图像处理和计算机视觉中广泛使用的预处理方法。在目前的工作中，高斯核的标准偏差(𝜎) 设置为1、3和5；平滑操作在所有方向上都相同地执行，从而导致与图像中结构的方向无关的滤波动作。
直方图均衡（HE）是用于校准图像对比度的最广泛使用的全局方法，其基于重新分配像素强度值以使强度分布最大程度均匀的思想[71]。
颜色归一化（CN）是计算机视觉中广泛使用的一种技术，用于补偿图像中的光照变化。为本工作选择的方法基于颜色恒定性技术[72]，该技术确保图像的感知颜色在不同的照明条件下保持不变，以便于分类算法。
还测试了刚才描述的技术的各种组合：GF+HE、GF+CN和HE+CN。在这些组合中，高斯滤波器设置为𝜎=1，这已经被证明产生了最佳的分类结果。将各种预处理方法应用于皮肤损伤图像的结果如图4所示。
图4。预处理结果：（a）原始图像。（b） 高斯滤波器。（c） 直方图均衡。（d） 高斯滤波器+直方图均衡。（e） 颜色规格化。（f） 高斯滤波器+颜色归一化。（g） 直方图均衡+颜色归一化。
表6中显示了通过将神经网络与原始图像和预处理图像进行训练而获得的分类结果的比较。
表6。通过用预处理图像和原始图像训练CNN网络获得的分类结果的比较（CNN LBP是用原始图像训练的CNN，即未经预处理的图像）。所有值均以百分比表示。

从结果可以看出：（1）高斯滤波器𝜎=3和𝜎=5导致高特异性值但非常低的灵敏度；（2） 颜色归一化（CNN-CN）、与直方图均衡相结合的高斯滤波（CNN-GF+HE）以及直方图均衡与颜色归一化的组合（CNN-HE+CN）允许获得比未经预处理获得的更高的特异性值，从而获得更高的精度；然而，在所有这些情况下，灵敏度远低于CNN w.p.获得的灵敏度，该灵敏度反映了正确分类黑色素瘤的准确性，因此是特定应用（医学领域中的异常检测）最重要的参数。；（3） 高斯滤波器的应用𝜎=1导致分类结果类似于通过用原始图像训练网络而获得的分类结果，但更低；（4） 敏感性、特异性和准确性之间的最佳权衡似乎是通过使用原始图像训练的CNN网络来实现的。
一旦确定了黑色素瘤检测的最佳解决方案——通过将LBP操作员从未处理的图像中捕获的纹理信息添加到CNN网络来获得——我们就想检查为平衡这两类图像而选择的训练数据集是否是最佳的。在这方面，将所提出的平衡情况（其结果已在表4中显示）与以下两种情况进行比较：（1）类别之间的不平衡是不平衡的，因此，训练集包括所有痣和黑色素瘤图像（命名为M/Ntot的场景）。在这种情况下，痣的数量是黑色素瘤数量的三倍多；（2） 为了使黑色素瘤的数量接近痣的总数，在黑色素瘤图像上应用数据增强，直到黑色素瘤数量增加三倍（命名为DA-Mx3的场景）。为增加训练数据集中的图像数量而执行的操作包括：旋转（范围=20）、宽度偏移（范围=0.1）、高度偏移（范围=0.01）、剪切（范围=0.3）、缩放（范围=0.30）、水平翻转和填充模式=“最近”。通过使用这些新数据集训练网络所获得的结果以及在不使用DA的情况下的比较如表7所示。
表7。使用训练数据集中M和N的不同分布获得的结果的比较。绩效结果以百分比表示。
矛盾的是，由于没有平衡分类，因此黑色素瘤的数量是痣的三分之一，其特异性远高于敏感性；另一方面，随着黑色素瘤数量的增加，网络识别痣的能力也有所提高，但网络的灵敏度为零，表明没有对黑色素瘤进行正确分类。所获得的结果，尽管看起来可能不是这样，但却是“幸运”的结果；事实上，考虑到在训练过程中，模型在验证数据集上的性能在前面描述的两种场景中都不一致，它们可能会更糟。图5绘制了在M/Ntot图5a和DA Mx3图5b情况下训练期间获得的精度曲线。
该模型显示出良好的学习率，因为训练精度随着时期的数量而增加（图6a），并且验证精度虽然一开始趋于下降，但在离训练曲线不远的地方稳定下来。训练损失和验证损失都会降低到稳定的程度（图6b）。训练在大约50个时代之后达到融合。训练曲线和验证曲线之间的小间隙表明该模型不受过拟合的影响。
验证曲线显示的结果与测试集上获得的结果非常不同（见表7）。这可能意味着：（1）由于ISIC 2019数据集比ISIC 2018数据集数量更多，网络对该数据集的特征了解更多，并且（2）旨在构成验证集的10%的训练数据集（通过Keras中的验证分割函数获得）包含的ISIC 2019图像比ISIC 18图像多得多，从而使得在验证集和测试集上获得的结果不一致。然而，显示这些曲线的模型在类似数据集上具有良好的泛化能力；事实上，尽管它们是在不同的年份收集的，旨在应对不同的挑战，但ISIC 2018和ISIC 2019数据集都包含皮肤镜图像。研究组成两个数据集的图像的采集或预处理中可能存在的差异超出了本文的范围，这可能是平衡训练数据集的一个很好的理由，不仅从类别的角度（黑色素瘤和痣一样多），而且从图像来源的角度（ISIC 2018图像和ISIC 2019图像一样多）。
第7节报告并讨论了将所提出的模型与用于皮肤损伤分类的最广泛使用的预训练模型（VGG16、Res Net50、Mobile Net、Dense Net121、Dense Net 169和Dense Net201）进行比较所获得的结果。此外，将所提出的网络在ISIC 2016数据集和Derm IS数据库上的性能与文献中其他最先进的方法进行了比较。

7.讨论
这项工作的目的是深入研究皮肤镜图像的分析和分类。事实上，我们想了解预处理皮肤病变图像的艰苦工作——旨在消除毛发、标记物、气泡等——是否真的对黑色素瘤和痣的分类至关重要，以及是否不仅可以从检查中的病变中，还可以从其周围的皮肤区域中提取有用的信息。事实上，想象病变周围的皮肤区域也发生了一些肉眼还看不到的变化，如果不考虑这一点，就会错过用于分类/诊断的重要且潜在有用的信息。因此，所提出的方法旨在检查这些方面，并涉及使用未经过任何预处理的图像来训练自定义CNN，以改善其外观，并添加与整个图像（病变+周围皮肤）相关的纹理信息。该方法与皮肤科领域最广泛使用的预训练网络以及其他使用ISIC 2016作为测试集的最先进方法进行了比较。
7.1.与普通预训练网络的比较
尽管公共皮肤科数据集足够大，可以成功训练甚至复杂的自定义神经网络，但预训练网络的使用——通常在ImageNet数据集上——是广泛的。在皮肤科领域，使用最广泛的有：VGG16、Res Net50、Mobile NEt、Dense Net121、Dense Net169和Dense Net201。将所提出的模型与所有这些网络进行比较，看看它是否是当前任务的最佳模型。所提出的网络与测试的预训练模型之间的比较结果如表8所示。
表8。黑色素瘤与痣分类的拟议工作与普通预训练网络的比较。性能值以百分比表示。

预训练模型有数百万个预训练参数，只有一小部分可训练参数，而在自定义CNN中，由于没有先验知识，所有参数都是可训练的。从预先训练的网络中学习到的信息在对新数据进行分类时可能非常有用，但它并不总是最佳解决方案，尤其是当预先训练和新训练的数据不具有相似特征时。从结果中可以看出，与其他网络相比，所提出的模型除了能够更好地区分黑色素瘤和痣外，由于其架构的简单性，每个训练周期所花费的时间要少得多。考虑到训练阶段计划了许多时期，这是一个不小的细节。
7.2与文献的比较
下文报告了[19]中描述的关于黑色素瘤与痣分类任务和使用ISIC 2016作为测试数据集的不同现有工作，并最终与所提出的模型进行了比较。在[73]中，作者提出了使用VGG16网络的三种不同场景。首先，他们从头开始训练网络，获得最不准确的结果。然后，他们应用TL方法，结果证明该方法比第一种方法更好，但存在过拟合现象。最后，他们进行微调，获得最佳结果。[30]的作者提出了一个框架，该框架使用由三个特征提取块组成的混合CNN执行图像预处理和分类任务，这些特征提取块的结果被合并以提供最终输出。在[74]中，提出了一种方法，其中从先前分割的皮肤损伤图像中提取形状、颜色和纹理特征，然后连接到从自定义CNN自动提取的特征。
表9总结了所提出的模型与文献中报道的工作之间的性能比较。
表9。黑色素瘤与痣分类的拟议工作与ISBI 2016数据集的现有工作的比较。所有值均以百分比表示。符号“-”表示缺少信息。

在2016年ISIC数据集上，该模型的性能非常高，反映了第6节所示的准确性和损失曲线（图6）。无论是在准确性方面，还是在敏感性、特异性和AUC评分方面，所提出的模型都优于文献中报道的模型。这一结果是否是由于与[30]相反，图像没有经过预处理；或者，与[74]相反，纹理特征是从整个图像中提取的，而不仅仅是从分割的病变中提取的；或者两者都可能对结果有贡献，目前还不确定。
为了显示拟议工作的稳健性，使用在线公共数据库皮肤病学信息系统（Derm IS）进行了外部验证[75]。该数据集包含1000张皮肤镜图像，其中500张为良性图像，500张为恶性图像，是仅次于ISIC档案的最大公共数据集。Derm IS数据集包含有限数量的数据，与其他公共或私人数据集集成，并且在全球范围内报告分类结果，但不报告拆分数据集的分类结果，因此无法与文献进行比较。一篇论文报告了Derm IS数据集的分类结果，该数据集未与其他数据集相结合，其与所提出的方法的比较如表10所示。
表10。黑色素瘤与痣分类的拟议工作与Derm IS数据库现有工作的比较。所有值均以百分比表示。符号“-”表示缺少信息。

尽管[76]中提出的模型的灵敏度高于本工作中获得的模型，但特异性要低得多。这导致了对黑色素瘤进行正确分类的良好能力，但假阳性率很高，尽管没有假阴性严重，但会增加患者的成本，他们将不得不接受不必要的额外就诊和诊断测试。与文献相比，所提出的模型再次显示出良好的结果。
7.3.拟议模式的可解释性和局限性分析
有了神经网络的可解释性分析，就有可能对所谓的“黑匣子”所做的决定有一个直观的解释。为了进行这种分析，本工作中使用了梯度CAM算法。该算法使用流入CNN最后一个卷积层的梯度信息（全局平均值）为每个神经元分配重要值（权重），用于感兴趣的特定决策[77]。卷积层自然地保留在完全连接层中丢失的空间信息；因此，可以预期最后的卷积层在高级语义和详细的空间信息之间具有最佳的折衷。这些层中的神经元在图像中搜索类别特定的语义信息（例如，对象的部分）。应用该算法得到的图像热图突出了图像的特征。Grad-CAM算法应用于所提出的自定义CNN的最后一个卷积层，即在注入纹理特征之前。获得的一些结果如图7所示。

图7。可解释性分析。（a） 原始图像。（b） 渐变CAM热图。
可以看出，网络主要关注皮肤病变的像素；从这里可以看出，添加纹理特征的贡献不仅从病变中提取，而且从病变周围提取，这不是神经网络自动考虑的，这可能有助于病变的正确分类。然而，将从没有经过任何预处理的图像中提取的附加特征注入到网络中，这些图像裁剪出与诊断无关的部分，这可能导致网络将与病理学完全无关的特定特征归因于两类中的一类。这些都是虚假的相关性，在目前的情况下，由于图像采集过程，这些相关性涉及暗图像轮廓，并与黑色素瘤类别相关（图8）。

这样的图像被正确地分类，但可解释性分析表明，为了得到正确的结果，即使在特征注入之前，网络也会关注图像中在诊断上不重要的区域。如果网络已经将这些细节视为用于将N或M标签分配给图像的可能的重要特征，则附加特征向量可能会通过强调虚假相关性而在同一方向上做出贡献。然后需要在适当地裁剪图像之后对分类结果进行分析，以便消除黑边干扰，同时保留尽可能多的周围组织。
另一个需要考虑的重要方面是，所提出的模型是可以对单个皮肤损伤的图像进行分类但不能对全身图像进行分类的方法之一。单一病变方法允许应用一些皮肤科规则，如ABCDE规则，但不允许考虑患者皮肤病变的全局情况（与进行宏观筛查的皮肤科检查相反）。事实上，使用这种方法，不可能评估所谓“丑小鸭”的存在：即与受试者的其他痣不同的痣，因此是可疑的[78]。基本概念是，大多数正常病变彼此相似，而黑色素瘤在大小、形状和颜色上不同，就像它们是丑小鸭一样（异常检测中的异常数据）。全身摄影（TBP）技术允许采集全身或身体部分的照片（宽视野方法），允许绘制病变图并监测患者的整个皮肤表面[79]。该技术与使用2D[80，81，82]和3D[83]图像的DL技术相结合，显示出优异的分类性能。在计算机辅助诊断系统中使用这项技术的优点涉及对患者皮肤病变进行概览的可能性，由于没有特定的采集仪器，但可以使用传统相机拍摄图像，因此可以实施远程皮肤病学，最后，在随访期间评估新的皮肤损伤出现的可能性。然而，与单一病变方法相比，全身方法的局限性在于图像质量降低（即使使用高分辨率相机，皮肤病变的图像质量也低于皮镜检查），此外，由于缺乏公共数据库，无法与文献进行比较。
8.结论和未来工作
在本工作中，皮肤黑色素瘤的识别旨在作为一个异常检测问题，为此提出了一种简单的自定义CNN，其中包括来自皮肤损伤的皮肤镜图像的额外纹理信息，以帮助其提高黑色素瘤与痣任务的分类性能。除了创建一个在黑色素瘤检测（异常检测）中准确的网络外，我们的目标是测试这样一个在未处理的图像上训练的网络是否能够实现高性能，从该图像中完全提取特征。事实上，尽管病变分割允许应用皮肤科医生通常用于检查皮肤病变的ABCD规则，但病变周围组织的特征不一定包含临床诊断中忽略的重要信息。进行了几个实验以（1）证明简单的ML模型不适合本工作的目的；（2） 展示了如何不需要对提取的特征进行降维操作，这是非常重要的；（3） 证明皮肤镜图像的预处理不是严格必要的；和（4）在目前的情况下，数据增强技术并没有提高分类性能，甚至会恶化分类性能。所提出的网络在ISIC 2018和ISIC 2019数据集上训练，显示出比皮肤科最常用的预训练网络更好的结果，尤其是在计算成本方面。此外，在ISIC 2016数据集上，所提出的模型实现了非常高的性能，高于文献中报道的性能。在Derm IS数据库上，所提出的模型也表现良好。这可能意味着图像预处理不是那么必要，而且从中提取附加信息的图像分割往往会忽略图像的不一定与病变相关的重要方面。然后进行了可解释性分析，该分析表明，与未分割的整个图像相关的额外纹理信息可能会添加到网络分类中，而网络分类则集中在皮肤损伤上，但这些特征也可能导致虚假相关性增加。因此，部分消除任何干扰（如黑色图像轮廓）的初步步骤可能会改善分类结果。未来的工作将朝着这个方向发展。

作者贡献
概念化、F.G.、M.T.、F.B.、P.S.和F.M。；方法论，F.G。；软件，F.G。；验证，F.G。；形式分析，F.G。；调查，F.G.、M.T.、F.B.、P.S.和F.M。；资源，F.G.、M.T.、F.B.、P.S.、F.M.和L.P。；数据管理，F.G。；书写——原始草稿准备，F.G。；写作——审查和编辑，F.G.、M.T.、F.B.、P.S.、F.M.、G.D.、L.P.、C.C.、N.M.和C.R。；可视化，F.G。；监督、L.P.、C.R.和F.F.所有作者都已阅读并同意手稿的出版版本。
基金
这项研究没有得到外部资助。
机构审查委员会声明
不适用。
知情同意书
不适用。
数据可用性声明
不适用。
鸣谢
不适用。
利益冲突
提交人声明没有利益冲突。https://www.mdpi.com/1999-4893/16/10/466