机器智能技术个人页面-阿里云开发者社区

告别 AI 模型黑盒：可解释机器学习研究报告

--------点击屏幕右侧或者屏幕底部“+订阅”，关注我，随时分享机器智能最新行业动态及技术干货---------- 1 可解释机器学习的重要性 1.1 金融行业中的机器学习现状在当今的大数据时代，人工智能技术的应用正全面渗透到金融行业当中。金融科技（FinTech）通过利用大数据与人工智能的结合，为传统金融、银行业带来了创新的产品和服务，提供高效率、低成本的运营策略，基于大数据的机器学习模型在金融、银行业中已得到不少应用：在信用风险方面，利用机器学习模型构造评分卡、压力测试；在资本市场，利用强化学习模型为金融衍生品定价、计算风险价值；在金融犯罪方面，通过深度学习等复杂模型识别欺诈与反洗钱 [1]。与传统的统计模型相比，机器学习模型有更好的预测表现能力。然而，随着需要处理的数据规模越来越大，机器学习模型的内部结构也变得越来越复杂，如从简单的决策树发展到随机森林，再到现在工业界经常使用的 XGBoost 模型，复杂模型输入到输出之间的函数关系很难被理解，模型存在“黑盒”属性。在一些高风险的决策中，如反洗钱、反欺诈等应用领域，模型的“黑盒”属性可能会让模型存在不可预知的风险或做出带有偏见的决策，且模型遭到攻击时并不是很容易被察觉。针对这些潜在风险，各地区已制定了与 AI 应用相关的法律法规 [2]，如欧盟的法规《GDPR》，美国对于模型风险管理提出的监督指引《SR Letter 11-7》，而我国央行于 2019 年 8 月印发了《金融科技 (FinTech) 发展规划 (2019-2021 年)》，该《规划》第三章的第 4 节、第 5 节分别着重讲了风控技术和监管技术，提出了相应的重点工作任务，要求金融科技技术必须符合“安全可控原则”[3]。目前，在行业监管的要求下，我们需要可解释的机器学习模型：我们可以清楚了解模型的运作原理，对模型的预测结果能够提供合理的解释，满足合规需求，避免决策风险。 1.2 可解释机器学习为了解决模型的“黑盒”问题，科学家们提出了可解释机器学习。所谓模型的可解释性，即预测过程可以转化成具备逻辑关系的规则 [4] 。除了高精度预测表现之外，可解释性也是机器学习模型是否值得信赖的重要考核标准。可解释机器学习（Intepretable Machine Learning，缩写为 IML）的核心思想在于选择模型时，同时考虑模型的预测精度和可解释性，并尽量找到二者之间的最佳平衡，它不像传统机器学习仅考虑预测精度单一指标（如低 MSE 或高 AUC）；它不仅能给出模型的预测值，还能给出得到该预测值的理由，进而实现模型的安全、透明、公平。可解释机器学习的研究路径主要有两大方向，一是内在可解释机器学习（Intrinsic Interpretability），二是事后解析方法 (Post-hoc Interpretability)[5]。从图 1.1 可以看到，横轴表示模型的可解释性，纵轴表示模型的精度，一般来说，蓝色框的机器学习模型（如随机森林、支持向量机等）通常精度比较高，红色框的传统统计学模型（如决策树、逻辑回归等）通常可解释性比较高。内在可解释机器学习：对于可解释性高的模型，我们希望模型往纵轴方向走，即通过改良模型结构，在保证内在可解释属性的前提下，通过增强模型灵活表征能力，提高他们的精度，如我们在后续介绍的 GAMxNN、GAMINET、EBM 模型，都属于内在可解释机器学习模型；事后解析方法：对于预测精度较高的模型，我们希望使用事后解析的方法去提升他们的可解释性，让模型往横轴方向走，事后解析方法就是对类似黑盒的复杂机器学习算法，在模型训练完成后，通过事后解析方法来提升可解释性，利用事后辅助的归因解析及可视化工具来获得模型的可解释性，如 LIME、SHAP 等方法都属于事后解析方法。图 1.1 可解释机器学习：预测精度和模型可解释性（图片来源：香港大学张爱军教授） 1.3 本文研究目的在银行业中，可解释机器学习的概念尚未普及。业内使用较多的还是传统的统计学模型，其预测表现与机器学习模型相比不太理想，而如果使用复杂的机器学习模型，又会担心由不可解释性引发的风险，所以机器学习模型在银行业内没有得到广泛使用。索信达数据技术有限公司金融 AI 实验室结合自身的技术背景与银行的业务场景，在可解释机器学习领域进行了一定的探索，写作本报告的目的是希望能将可解释机器学习领域的研究所得分享给大家，让更多数据从业者了解可解释机器学习的基本概念，领域概貌，同时结合银行信用风险评分场景，展示了可解释机器学习的一些创新算法与具体实施效果, 冀希推动可解释机器学习在银行业更多场景的应用落地。 2 可解释机器学习模型与方法本章我们将详细介绍以下内在可解释模型和模型的事后解析方法。表 2.1 可解释机器学习模型与方法总结 2.1 内在可解释机器学习模型内在可解释机器学习模型是一类模型本身具有可解释性的机器学习模型。内在可解释机器学习模型可以直接输出解释结果，使用者可以直观的看到模型输入与输出之间的关系，同时他们的预测精度与复杂的机器学习模型相当。本节我们将介绍 GAMxNN、GAMINET、EBM 三个模型的原理。 2.1.1 GAMxNN 模型 GAMxNN 模型全称为广义加性可解释神经网络模型（Explainable Neural Network based on Generalized Additive Model），由 Joel Vaughan[6] 在 2018 年 6 月的论文中提出，该模型属于内在可解释机器学习模型。本文提到的 GAMxNN[7] 模型是经过索信达 AI 实验室和香港大学张爱军教授研究团队对底层算法进行一定改良后的模型，并在银行的业务场景中成功实践。针对金融数据信噪比中等或偏低的实际情况，GAMxNN 模型能够提供清晰明了的整体解释和局部解释性，并能通过数据可视化方法呈现出来，从而帮助业务人员提高决策的可靠性。在数学上，GAMxNN 模型可表示为：其中 fi(xi) 为岭函数（任意光滑的函数）， g(.) 表示关联函数， β0 表示截距项。相比于线性模型，广义加性模型由于引入非线性函数从而增强了模型的表征能力，使得对 Y 预测的更加准确。而因为其加性效应，线性模型的假设检验的方法仍然可以使用。 GAMxNN 模型结构如图 2.1 所示。GAMxNN 将原始 d 维特征分别输入一个子神经网络进行训练，将每个子神经网络的输出结果在最后一层线性相加，从而得到模型最后结果的输出。 GAMxNN 模型最终能够输出模型的全局解释，包括特征重要性及得分趋势图、特征取值分布图；同时 GAMxNN 也能够输出局部解释图，显示出每一个样本在不同特征上的得分情况。全局解释与局部解释相结合，极大地提升了模型的解释性，能够帮助业务人员去判断模型结果的正确性。图 2.1 GAMxNN 可解释神经网络模型结构 2.1.2 GAMINET 模型 GAMINET 模型由香港大学张爱军教授研究团队在 2020 年 3 月发布的论文中提出 [8]，它在 GAMxNN 模型基础上，增加了特征交互项的探索，对 GAMxNN 模型做了进一步优化和改良。在可解释性方面，模型考虑了三种可解释约束，包括：（1）稀疏性约束（Sparsity）：只保留最重要的特征与交互项，使得模型更简约；（2）遗传性约束（Heredity）：模型衍生出来的交互项是基于模型保留的特征，不会“无中生有”，使得模型结构性可解释；（3）边际清晰度约束（Marginal Clarity）：更易区分主效应的影响与交互效应的影响。GAMINET 模型在保持高精度的同时，能够得到更好的可解释性。该模型还有助于业务人员开展单变量分析与交叉分析，为决策提供更优的支持。 GAMINET 模型的数学表达式为：其中， μ 表示截距项， S1 为主效应的集合， S2 为交互效应的集合。表达式右边第二项为单个特征拟合岭函数的加总，右边第三项为交互特征拟合函数的加总。模型在训练时首先拟合主效应（即单个特征），拟合完之后对现有残差拟合交互效应（即交互特征），直至训练结束。图 2.2 显示的是 GAMINET 模型结构图。其中，左侧网络图表示对主效应进行训练——将每一个特征输入一个子神经网络进行训练，主效应训练完成后，将残差（residual）放到右侧作为响应变量继续开展子神经网络的训练。模型训练时，需要满足上述提到的三个约束。最后，将左右两部分模型训练结果加总，得到 GAMINET 模型的完整形式。图 2.2 GAMINET 模型结构图 2.1.3 EBM 模型 EBM 模型由 Rich Caruana[9] 于 2015 年提出并在卫生领域进行了测试和应用，全称为 Explainable Boosting Machine，是由 Boosting Machine 改良而来，精度可与随机森林、提升树模型相媲美。EBM 是一个可解释性高的加性模型，也会自动搜索特征的交互项，因此能直接从模型中反映出单个特征与交互特征对模型结果的影响。与 GAMINET 模型的不同之处是，EBM 模型在抓取特征的函数关系时，用的是提升方法（boosting），而 GAMINET 用的是神经网络。 EBM 模型的数学表达式为：其中 g(.) 表示连接函数， fj (xj) 表示基函数， fj (xj) 表示交互项。EBM 的每一个基函数由单个特征训练而成，交互项函数由双特征训练而成。与 GAMINET 类似，模型先拟合单一特征，找出最优的 fj (xj)fij(xi,xj) ，从中挑选出最好的 k 个交互项（k 由通过交叉验证得到）。对于回归问题，EBM 使用回归样条（Regression Splines）作为基函数，其表达式为在基函数拟合过程中，通过使用正则化的最小二乘方法来确定模型相关参数，其表达式如下：其中 Xi=[b1(xi1),b2(xi2),…,bk(xik),λ] 为平滑参数，防止出现模型过拟合的问题。当 λ 越大时，拟合出的函数越光滑，反之，拟合出的函数越粗糙。对分类问题，EBM 使用二叉树或集成二叉树作基函数。针对集成二叉树，以 Bagging 或 Backfitting 作为集成方法，对若干梯度提升树进行集成，从而得到基函数。 2.2 复杂模型的事后解析方法事后解析方法是一种与训练的模型无关的解释方法。无论用什么算法训练模型，我们都能用事后解析方法对模型的预测结果进行解释。即使预测结果是通过“黑盒”模型得到的，利用事后辅助的归因解析及可视化工具也能获得模型的可解释性。本节我们将介绍 LIME 和 SHAP 两种事后解析方法，其他事后解析方法，如 PDP、ICE、ALE 由于篇幅的原因，在此就不作过多的介绍。 2.2.1 LIME LIME 全称 Local Interpretable Model-Agnostic Explanations，由 Marco Ribeiro, Sameer Singh 和 Carlos Guestrin 三个人在 2016 年《“Why Should I Trust You?” Explaining the Predictions of Any Classififier》[10] 这一文中提出来的，是一种事后解析方法，即在建立模型之后所做的解释。如图 2.3，LIME 在训练完模型后给出模型的解释，解释结果可以用于判断模型是否出错。如果出错，我们将结果反馈到模型当中，重新训练模型；如果无误，则将结果用于落地实施。LIME 的名称很好的反映了它的特点： Local: 基于想要解释的预测值及其附近的样本，构建局部的线性模型或其他代理模型； Interpretable: LIME 做出的解释易被人类理解。利用局部可解释的模型对黑盒模型的预测结果进行解释，构造局部样本特征和预测结果之间的关系； Model-Agnostic: LIME 解释的算法与模型无关，无论是用 Random Forest、SVM 还是 XGBoost 等各种复杂的模型，得到的预测结果都能使用 LIME 方法来解释； Explanations: LIME 是一种事后解析方法图 2.3 LIME 应用流程 LIME 可处理不同类型的输入数据，如表格数据 (Tabular Data)、图像数据（Image Data）或文本数据 (Text Data)。对于表格数据，如银行理财产品潜在购买客户的识别，一个复杂模型被训练完成后，可以用 LIME 方法找出对模型结果影响最重要的特征变量是哪些；图像数据，如识别图片中的动物是否为猫，训练完复杂模型后可以用 LIME 得到图片中的动物被识别为猫是因为哪一个或几个像素块；文本数据，如识别短信是否为垃圾短信，训练完复杂模型后可以用 LIME 得到一条信息被判断为垃圾短信是因为哪一个或几个关键词。 LIME 的算法需要输入想要解释的预测样本和已经训练好的复杂模型，基于表格数据，算法步骤如下： 1) 预测样本附近随机采样：对于连续型 (continuous) 特征，LIME 在预测样本点附近用一个标准正态分布 N(0,1) 来产生指定个数的样本；而对于类别型 (categorical) 特征，则根据训练集的分布进行采样，当新生成样本的类别型特征与预测样本相同时，该类别型特征取值为 1，否则取值为 0；假设，想要解释的预测点为 x∗=(x1,x2,…,xp) ，有 p 个特征, 其中第 i 个特征为连续型特征，取值为 xi， σi 为该特征在训练集中的标准差；生成的 N 个样本为 zk=(zk1,zk2,…,zkp),k=1,2,…,N ，通过标准正态分布 N(0,1) 对应生成一个随机数 aki （对应第 k 个新生成样本的第 i 个特征），则新生成的第 k 个样本的第 i 个特征的取值为 zki=aki∗σi+xi ； 2) 对新生成的样本打标签：将新生成的样本放入已经训练好的复杂模型中训练，得到对应的预测结果；设训练好的复杂模型为 f(.) ，则新生成的的样本预测结果为 f(z1),f(z2),…,f(zN) ； 3) 计算新生成的样本与想要解释的预测点的距离并得到权重：新生成的样本距离想要解释的预测点越近，我们认为这些样本能够更好的解释预测点，因此需要赋予更高的权重。我们用指数核函数（exponential kernel）去定义新生成样本的权重，设为此处 D(x∗,z) 为某个新生成的样本到的 x∗ 距离函数， σ 则为超参数。从公式中可以看到，距离越近， πx∗ 的值越大。 4) 筛选用来解释的特征，拟合线性模型：设想要用来解释的特征有 p′ 个，则用来解释的特征为此处 z(1) 与 z1 不一定相等，只是用来表示从 p 个特征中选取 p′ 个作为解释；设用来解释的线性模型为为了求出线性模型的系数，我们用一个加权平方损失构造损失函数：找出使得损失最小的 ωg ，而 ωg.z′ 即为我们用来解释的特征的线性组合；而对于 p′ 个特征的选择，代码中提供 forward selection、highest weights、lasso 等方法。 2.2.2 SHAP SHAP 全称是 SHapley Additive exPlanation, 是另一种模型事后解析方法 [11]，可以对每一个样本中的每一个特征变量，计算出其重要性值，达到解释的效果。 SHapley: 代表对每个样本中的每一个特征变量，都计算出它的 Shapley Value。 Additive: 代表对每一个样本而言，特征变量对应的 shapley value 是可加的。 exPlanation：代表对单个样本的解释，即每个特征变量是如何影响模型的预测值。特征的重要性值在 SHAP 中称为 Shapley Value，它是 SHAP 方法的核心所在，理解好该值背后的含义将大大有助于我们理解 SHAP 的思想。Shapley Value 最早由加州大学洛杉矶分校 (UCLA) 的教授 Lloyd Shapley 提出, 主要是用来解决合作博弈论中的分配均衡问题。Lloyd Shapley 是 2012 年的诺贝尔经济学奖获得者，也是博弈论领域的无冕之王。数据集中通常会包含很多特征变量，从博弈论的角度，可以把每一个特征变量当成一个玩家。用数据集的特征去训练模型得到的预测结果，可以看成完成众多玩家合作完成一个项目的收益。Shapley Value 通过考虑各个玩家做出的贡献，来公平地分配合作的收益。在进行局部解释时，SHAP 的核心是计算其中每个特征变量的 Shapley Value。当我们进行模型的 SHAP 事后解释时，我们需要明确标记。已知数据集（设有 M 个特征变量，n 个样本），原始模型 f ，以及原始模型 f 在数据集上的所有预测值。 g 是 SHAP 中用来解释 f 的模型。先用 f 对数据集进行预测，得到模型预测值的平均值 ϕ0 。单个样本表示为 x=(x1,x2…xM)， f(x) 为在原始模型下的预测值。 g(x) 是事后解释模型的预测值，满足其中 ϕi 代表第 i 个特征变量的 Shapley Value，是 SHAP 中的核心要计算的值，需要满足唯一性。同时上述模型 g 需要满足如下局部保真性，缺失性和连续性。可以理论证明求出唯一的 ϕi，即对应的模型 g 也是独一无二的。具体证明可参考 Shapley’s paper (1953).。 ϕi 的表达式为：其中 N={1,2…M} 代表数据集中特征变量下标，1 代表第一个特征变量，以此类推，i 表示第 i 个特征变量，M 是特征变量的总个数。S 是集合 {1,2…i−1,i,…M} 的子集，有 2(M−1) 种可能。 |S| 是 S 中的元素的总个数。 fx(S∪i) 代表当样本中只有 S∪i 中的特征变量值时，模型的预测值。 fx(S) 代表当样本中只有 S 中的特征变量值时，模型的预测值。二者相减，可当成第 i 个特征变量在子集 S 下的边际贡献。是权重，根据排列组合的公式得到，代表有相同元素个数的 S 存在的概率。 3 可解释机器学习应用案例由于近年来银行加强零售业务，并降低持卡人的标准来抢占市场份额，使得各银行信用卡的发行量大幅增加。与此同时，信用卡违约率的上升也是不可避免的，因此本章以信用卡违约风险数据集为例，来演示不同可解释机器学习模型的应用，向大家介绍不同模型的原理和其可解释性，告别模型黑盒属性。 3.1 案例背景——信用卡违约预测近期安永发布的《中国上市银行 2019 年回顾及展望》[12] 显示，2019 年中国 51 家上市银行中，大型商业银行和全国性股份制银行不良贷款率和逾期率均有所下降，城商行、农商行不良贷款额和不良贷款率却出现升，资产质量压力较大。特别是近年来随着银行零售业务的不断发展，信用卡用户激增，银行所面临的潜在信用违约风险也不断上升。因此，信用卡违约情况的预测对银行进行风险管理与决策显得尤为重要。本案例将基于银行信用卡相关数据开展违约风险的预测和解释。本次案例数据来源于 UCI credit card 数据集，是德意志银行在台湾客户的信用卡数据，共有 3 万个样本，有 23 个特征变量。数据内容包括用户信息和 2005 年 4 月到 9 月的信用卡使用情况，预测的目标是信用卡用户在 2005 年 10 月是否违约。在 2005 年末，台湾发生了信用卡危机，其原因是银行的过度竞争，因此该数据对于其他种类的信用卡来说是相似的，可用作其他信用卡风险控制的参考。 3.2 数据集探索数据集主要涉及用户的基本信息、还款状态、贷款情况、还款金额等特征。其中，性别、教育水平、婚姻情况、还款情况为离散型变量，剩余特征为连续型特征。具体含义如下表 3.1：表 3.1 信用卡数据含义再对数据作简单的分析，查看具体每个特征的分布情况，包括每个特征的取值个数，平均值，标准差，最小值，25% 分位数，中位数，75% 分位数，最大值以及极值，具体如表 3.2。通过数据可视化探究用户的可透支金额，文化程度，婚姻状况，性别，年龄，还款时间，账单金额和还款金额等单变量对用户逾期行为的影响，总结出一些比较明显的导致逾期行为发生的特征变量和规则，为后续的建模流程做参考。表 3.2 数据集基本描述对于离散特征，我们会通过卡方检验计算每个特征的 p 值，p 值小于 0.05，代表该特征与响应变量不独立，存在相关关系；反之，则不存在相关关系。由表 3.3 可以看出，除婚姻以外，其他离散特征的 p 值均小于 0.05，说明这些特征与响应变量存在相关关系。表 3.3 卡方检验结果对于连续特征，我们根据响应变量的两种取值 0 和 1，将其分为两组，对其做 t 检验，若 p 值小于 0.05，代表响应变量在不同取值下，该特征的分布有明显差异，即该特征与响应变量存在一定的相关性。由表 3.4 可以看出，除了 BILL_AMT6 之外，其他特征的 p 值都比较小的，说明这些特征与响应变量有一定的关系。表 3.4 t 检验结果同时，我们还对特征进行了相关性分析，计算皮尔森相关系数矩阵。从图 3.1 可以看到，以 BILL_AMT 为首的 6 个之间有非常强的相关性，相关系数全都达到 0.8 以上。其次以 PAY 开头的 6 个特征也有相对较强的相关性，相关系数在 0.5 到 0.8 之间。余下的变量之间的相关性则没有那么强。图 3.1 皮尔森相关系数矩阵 3.3 数据预处理数据预处理是进行数据分析的第一步。由于原始数据普遍会存在一些问题，必须进行处理才能加以利用与分析。数据预处理一方面能够提升数据的质量，另一方面能够更好地适应后续模型的搭建要求。数据预处理有多种形式，包括数据完备性检查、缺失值及异常值探索、数据融合等多种方式。在进行数据预处理时，应根据数据的实际情况选择合适的处理方法。本案例使用的数据集完整性较好，不存在缺失值，但是在教育水平、婚姻状况和还款情况这些字段上存在异常值，如出现负数等不合理的数字。因此，针对这一部分异常值进行了处理：针对“教育水平”这个特征，数据字典中定义的取值范围为 1-4，但数据中出现了 0、5、6 的取值，其含义不明，因此将其统一替换成 4，即归入“其他”这一类。针对“婚姻状况”这一特征，数据字典中定义的取值范围是 1、2、3。但数据集中出现了 0 这一取值，统一替换为 3，即“其他”这一类。针对涉及还款状态的 6 个特征，均存在取 -2、-1、0 的异常取值，根据数据字典的相关规则可以推测，取上述三个值代表不存在逾期还款的情况，因此统一替换归类为 0。 3.4 特征工程特征工程能够最大限度地从数据中提取有用特征以供算法和模型使用。特征工程能够决定机器学习模型的上限，而模型和算法只能逼近这个上限。因此，特征工程在实际数据分析中占有举足轻重的地位。常用特征工程方法包括采样、单一特征归一化标准化处理、多特征降维、特征衍生和选择等等。应根据每次项目目标的不同，选择不同的处理方法。针对本案例中已完成预处理的数据集，首先对分类特征如性别（SEX）、学历（EDUCATION）等做独热编码处理。其次检查所有连续型特征的分布情况，绘制其概率分布函数。针对长尾分布的特征，如可透支金额、账单金额等特征，取对数削弱长尾影响。最后对连续特征做标准化处理，以减少特征值域对模型的影响。 3.5 内在可解释机器学习模型应用我们将分别使用 GAMxNN、GAMINET、EBM 模型对信用卡违约数据集进行预测，展示模型结果和结果的解释。 3.5.1 GAMxNN 模型应用本案例建模目标是预测银行信用卡客户是否会发生违约行为，从而区分高风险客户，进一步降低违约风险并提升银行收益。在对信用卡违约风险数据集进行预处理后，按 8：2 比例进行训练集和测试集的划分。将训练集输入 GAMxNN 模型中训练，测试集结果显示，模型精度 AUC 达到 0.7691，同时输出模型的全局解释图——特征重要性及得分趋势图、特征取值分布图，以便于业务人员对模型结果进行解释和分析。图 3.2 所示为 GAMxNN 全局解释图，所有特征按特征重要性降序排列。该图能够显示出每个特征与输出值之间的非线性关系，从而极大地提高了模型的精度和解释性。每幅曲线图反应的是单个特征的得分趋势，即 fi(xi) ，该图上方括号内显示的是每个特征的重要程度。每幅曲线图下方对应的是该特征的取值分布直方图。图 3.2 GAMxNN 全局解释图以第一幅图客户 2005 年 9 月还款情况（PAY_0）为例，当逾期在 0-3 个月时，随着逾期月份数增长，该特征得分呈现一个显著上升趋势；当逾期超过 3 个月时，得分呈现略微下降的趋势，趋于水平，但得分都很高，主要原因是逾期超过 3 个月的客户违约概率较高，但由于样本量较少，拟合的关系存在一定误差。特征得分趋势图下方为该特征的取值分布直方图，从中可看出该特征取 0 的频数最大，取其他正整数的频数逐渐降低。除了获取模型特征整体表现情况，对每位客户提供个性化的解释同样重要。GAMxNN 模型能够为每位客户绘制个性化的特征得分图，清晰反映出该客户的每一项数据在模型的预测中起到的作用。对于单一客户，如果其某个特征值的得分大于零，说明该特征值会增加个体的得分；反之，如果特征值的得分小于零，则会减小个体的得分。如图 3.3 所示为某一特定客户的特征得分图。从图中可看出尽管在婚姻（MARRIAGE）这个特征上得分为负，但该客户在 8 月、9 月还款情况（PAY_0、PAY_2）较差，这两个特征对违约概率有较大的正向影响，使得最终预测该客户违约概率达到 0.8979。若以 0.5 为概率阈值区分是否会发生违约行为，则可预测该客户会违约，而现实情况与预测相符——该客户确实发生了违约行为。图 3.3 GAMxNN 局部解释图针对本案例，将 GAMxNN 模型与传统逻辑回归、复杂机器学习模型效果进行对比。结果显示，与具有高透明性的逻辑回归模型相比，GAMxNN 模型精度略高于逻辑回归的模型精度 0.7623，而在可解释方面，GAMxNN 的解释性能够与逻辑回归相媲美。与目前机器学习领域高精度的模型 XGBoost 相比，GAMxNN 的精度略低于 XGBoost 的 0.7894。然而，XGBoost 等复杂的机器学习模型是完全的黑箱模型，人们无法知道其内部决策的任何原因和规则，而 GAMxNN 模型解释性非常强。因此，GAMxNN 在传统的逻辑回归和复杂机器学习模型之间找到了最优平衡点，能够将预测精度和可解释性两者相统一。综上，GAMxNN 模型能够捕捉单一变量对模型结果的影响，从全局和局部两方面对模型结果进行解释。在精度方面，GAMxNN 精度超过逻辑回归精度，略低于 XGBoost 精度。 3.5.2 GAMINET 模型应用为了较好地预测客户未来是否会发生违约行为，在对信用卡违约风险数据集进行预处理后，按 8：2 比例进行训练集和测试集的划分。将训练集输入 GAMINET 模型中训练，测试集结果显示，模型精度 AUC 达到 0.7761，比 GAMxNN 模型略高一些。和 GAMxNN 模型类似，我们也可以得到模型的全局解释图和局部解释图。图 3.4 显示的是 GAMINET 模型的全局解释结果。按照特征变量重要性排序得到单个特征与输出值之间的关系图，下方是特征分布直方图，交互项的热力图在单个特征结果之后。单个特征的解释方法与 GAMxNN 一致，对比图 3.2 与 3.4，其结果也与 GAMxNN 相似。最后一排的热力图是 GAMINET 所特有的抓取交互项的结果。以第一张热力图为例，该图显示的是客户 5 月账单金额和 6 月账单金额对模型结果的共同影响，从图中可以看出，当其中一个月突然出现了很高的账单金额，而另一个月账单金额较小时，模型会给出较高的违约概率，这种情况涉及到客户异常行为，因此违约可能性较高。最后一幅图显示的是客户 7 月还款情况和 5 月账单金额对模型结果的共同影响。从图中可看出，两者对结果呈现正向影响，即当 5 月账单金额较高且 7 月还款情况较差（取值较大）时，客户的违约概率很高，此结果与业务逻辑相符。图 3.4 GAMINET 模型全局解释图图 3.5 显示的是 GAMINET 模型对某一客户得分情况的解释图。从图中可以看出单个特征以及交互特征对客户最终得分的贡献程度。模型显示该客户在 4 月客户还款情况（PAY_6）、年龄（AGE）和客户 5 月×6 月账单金额（BILL_AMT4×BILL_AMT5）三个特征得分为负，即对客户违约概率是负向影响，然而在 9 月客户还款情况（PAY_0）、教育程度（EDUCATION）、可透支金额（LIMIT_BAL）、以及 7 月还款情况×客户 5 月账单金额交互影响（PAY_3×BILL_AMT5）得到较高的分数，导致客户违约概率变高，最终预测概率为 0.8101，超过 0.5 的阈值，预测该客户会违约，与实际情况相符。图 3.5 GAMINET 模型局部解释图综上，GAMINET 模型能够实现对模型的全局和局部解释，并且达到一个较高的模型精度。相较于前述 GAMxNN 模型，增加了探索交互项对模型结果影响的步骤，从而能够抓取更多数据信息，因此 GAMINET 模型精度与 GAMxNN 模型精度相当。但对前期数据处理有一定限制和要求，因此可以根据实际情况决定是否选择 GAMINET 模型。 3.5.3 EBM 模型应用 EBM 模型曾被应用于医学领域 [13]，得到良好的效果，目前我们将这模型使用到银行业当中。将梳理后的信用卡违约数据放入 EBM 模型中训练。测试集结果显示模型精度 AUC 达到 0.7804，模型精度较 GAMxNN 模型、GAMINET 模型有进一步的上升。 EBM 的全局解释图主要包括两个方面，一方面能够显示出不同特征变量对模型结果的贡献程度，即特征重要性。图 3.6 显示的是特征重要性，此处使用绝对平均数来作为特征重要性的刻画。从图中可知 PAY_0，即 2005 年 9 月客户还款情况对模型结果的影响最大，最为重要。这个解释的合理性在于，相比其他月份，2005 年 9 月的数据最新，最能反映客户当前情况，因此对预测后一个月客户是否会违约有很大影响。其次是变量 PAY_2 和 LIMIT_BAL, 即 2005 年 8 月还款状态和可透支金额。近期还款状态以及可透支金额往往是客户征信情况的总体反应，因此其对判断客户后一个月是否会违约也起到较为重要的作用。图 3.6 EBM 全局解释图通过对比 GAMxNN、GAMINET 以及 EBM 三个模型的结果，会发现三个模型的特征重要性有所不同，这主要是因为不同模型的特征重要性计算方法不同。此时可加入专家意见或进行进一步深入分析，结合业务选择最适合的模型及其解释与结果。另一方面，EBM 的全局解释也体现在能够反映每个特征与模型结果之间的输入输出关系。以 2005 年 9 月客户还款情况（PAY_0）为例，如图 3.7 所示。从图中可看出当逾期时长小于等于零时（即不发生逾期时），模型评分维持在 0 左右。随着逾期时间的增加，特别在逾期两个月之后，模型评分会有一个较大的上升，说明超过两个月的逾期会导致客户发生违约的概率显著上升。折线图下方显示的时该特征的取值分布情况。图 3.7 EBM 模型单个特征解释 EBM 模型的局部解释主要体现在对具体某一个体预测结果的解释方面。随机选取一名客户，预测其违约的概率。图 3.8 反映的是该客户在每一个特征上的评分，将其加总并进行 logit 变换即可得到该客户违约的预测概率。从图中可看出，由于该客户曾在 2005 年 9 月发生过两个月的逾期（PAY_0），且其在 2005 年 8 月、2005 年 4 月均发生过两个月逾期（PAY_2=2，PAY_6=2），导致模型对其评分较大，最终预测其为违约风险高的客户。综上，基于树模型的 EBM 同样能够给出模型的全局和局部解释。相较于 GAMxNN、GAMINET 模型，EBM 在本案例中实现了更高的精度，但是在解释性方面，只能给出分段函数，不能给出平滑曲线，从而对一些截断点（跳跃点）缺少解释，解释性有所下降。图 3.8 EBM 局部解释图 3.6 复杂模型的事后解析方法应用我们首先使用 XGBoost 模型对信用卡违约数据集进行预测，再用 LIME 和 SHAP 两种事后解析方法对预测结果进行解释。 3.6.1 LIME 方法应用以信用卡违约风险数据集为例，对数据做完预处理之后，按 8：2 比例进行训练集和测试集的划分，使用 XGBoost 模型进行训练，再用 LIME 做事后解析。测试集结果显示模型精度 AUC 为 0.7744，与之前内在可解释模型精度相当。接下来我们用 LIME 对某一样本进行解释。首先指定哪些变量是类别型变量，然后构造一个 LIME 解释器，根据图 3.9 中的代码，我们需要输入的参数包括模型的训练集，特征名称，类别型变量，响应变量的名称，模型的类型（回归还是分类），特征选择的方法等等。图 3.9 LIME 解释器任意挑选一个样本，此处设置用 5 个特征来进行解释。根据 LIME 的解释，我们可以从图 3.10 看到，该客户判断为不会违约的概率是 93%，会违约的概率是 7%，而得到这个结果的主要原因是：1、9 月份按时还款（PAY_0=0），；2、额度（LIMIT_BAL=31000）；3、8 月份还款金额（PAY_AMT2=6000）;4、上个月的账单金额（BILL_AMT1=172772）；5、9 月份还款金额（PAY_AMT1=8295）。我们可以分析出，该客户在 10 月份不会违约是因为他 9 月份按时还款了，并且额度和 8 月、9 月的还款金额都足够高，虽然 9 月份的账单金额较高，有可能导致该客户违约，但总体来说该客户不违约的概率较大。图 3.10 LIME 结果同时，我们也可以通过 LIME 中的次模挑选方法（submodular pick），选出对模型的整体影响最大的特征，看看这些特征在整个样本集中，是怎么影响预测结果的。图 3.11 展示的是解释的结果。结果表示，客户判断为 10 月份不违约的最重要原因是他们 9 月按时还款了（PAY_0=0），其次重要的原因是 8 月份按时还款（PAY_2=0），额度（LIMIT-BAL）则是第三重要的原因，是一个正向的影响，即额度越高，10 月份不违约的可能性越大，而 9 月份的账单金额（BILL_AMT1）是负向的影响，金额越大，10 月份不违约的可能性越小。综上，我们看到 LIME 可以实现模型局部解释和整体解释的目的，通过事后解释，我们对模型的预测结果进行分析，而这些解释也是符合银行业务逻辑的。如果结果的解释不正确，还可以对模型进行调优，调整特征，从而提高精度，避免安全风险。图 3.11 submodular pick 结果 3.6.2 SHAP 方法应用在信用卡违约风险数据集上用 Tree SHAP 来解释复杂树模型 XGBoost。Tree Explainer 是专门解释树模型的 SHAP 解释器 [14]。用 XGBoost 训练完模型后，选用任意一个样本来进行解释，计算出它的 Shapley Value，画出 force plot。对于整个数据集，计算每一个样本的 shapley value, 求平均值可得到 SHAP 的全局解释，画出 summary plot。以图 3.12 为例，该样本在 XGBoost 中判定为不会违约，因此在 SHAP 中其 output value 会低于 base value。红色部分为正向影响，即特征取值使得违约概率变高，蓝色部分为负向影响，即特征取值使得违约率变低。我们可以看到，9 月份还款金额（PAY_1=23080）、额度（LIMIT_BAL=300000）是该客户判定为不违约的最重要的两个原因，虽然该客户在 9 月份的还款逾期了一个月（PAY_0=1），4 月份还款金额为 0（PAY_AMT6=0）, 但这两个因素的正向影响不足以让模型判断他会违约，从图中也可以看出，负向影响是大于正向影响的，从而导致该样本的 output value 会低于 base value，因此总体来说该客户违约的可能性较小。图 3.12 SHAP 单个样本解释图图 3.13 是 SHAP 的 summary plot，展示的是模型中的特征重要性，属于全局解释。根据 SHAP Value 的绝对值从大到小排序，可以看到 9 月份客户还款情况（PAY_0）最重要，额度次之（LIMIT_BAL）。 SHAP 方法的理论基础完备，算法多种多样，解释结果直观。既能从局部解释，也可以提供全局解释。同时对于不同种类的模型有特定的提升算法，如 TreeSHAP（如只对树模型解释）, DeepSHAP（对神经网络模型解释）等，定制化的 SHAP 解释更准确更高效。不足之处在于 SHAP value 的计算比较复杂，可能会导致计算速度较慢，同时 SHAP 的解释运用了所有的特征，可能会导致结果的解释不容易被理解。图 3.13 SHAP 全局解释图 4 总结与未来展望本文先从可解释机器学习背景出发，针对机器学习模型的黑盒属性，提出模型可解释性的必要性，进而从两方面介绍可解释机器学习：内在可解释机器学习模型与事后解析方法。结合信用卡违约风险数据集案例，对不同的内在可解释机器学习模型与事后解析方法进行了详细的介绍，并给出相应的可解释结果，使读者对可解释机器学习有了初步的认识。人与人之间能很好的合作是因为他们能互相理解对方的工作，人与机器学习模型能有效的合作也需要人们理解模型的工作原理，可解释机器学习便是人与模型沟通的桥梁，合理的解释是有效合作的核心。随着科技的发展，深度学习等更多复杂的模型将不断应用到银行金融业中，对深度学习的可解释性是一大挑战，研究者也提出了更多新的解释算法，旨在提高解释的质量和准确度。索信达金融 AI 实验室将继续在可解释机器学习领域做探究，结合业务经验，学习、优化和研发不同的算法，推动银行业技术的创新发展。文章来源：https://www.infoq.cn/article/k2UYsled2yEE0xUOaXQk 附录参考文献[1] Jie Chen, Wells Fargo.Deep insights into interpretability of machine learning algorithms and applications to risk management, Mar 27, 2019. [2] Lael Brainard (2018). What are we learning about artificial intelligence in financial services?https://www.federalreserve.gov/newsevents/speech/brainard20181113a.htm . [3] 《金融科技（FinTech）发展规划（2019-2021 年）》 [4] Finale Doshi-Velez and Been Kim(2017). Towards A Rigorous Science of Interpretable Machine Learning. [5] Christoph Molnar. Interpretable Machine Learning[M]. February 28, 2020. [6] Joel Vaughan and Agus Sudjianto and Erind Brahimi and Jie Chen and Vijayan N. Nair(2018). Explainable Neural Networks based on Additive Index Models [7] Zebin Yang, Aijun Zhang, Agus Sudjianto(2019). Enhancing Explainability of Neural Networks through Architecture Constraints. [8] Zebin Yang, Aijun Zhang, Agus Sudjianto(2020). GAMI-Net: An Explainable Neural Network based on Generalized Additive Models with Structured Interactions. [9] Yin Lou,Rich Caruana,Johannes Gehrke(2012). Intelligible Models for Classification and Regression. [10] Ribeiro, Marco Tulio, Sameer Singh, and Carlos Guestrin. “Why Should I Trust You?: Explaining the predictions of any classifier.” Proceedings of the 22nd ACM SIGKDD International Conference on Knowledge Discovery and Data Mining. ACM, 2016. [11] Scott M. Lundberg, Su-in Lee. A Unified Approach to Interpreting Model Predictions, 2016. [12] EY 安永 (2019)，《中国上市银行 2019 年回顾及未来展望》 [13] R. Caruana, Y. Lou, J. Gehrke, P. Koch, M. Sturm, and N. Elhadad (2015). Intelligible Models for HealthCare: Predicting Pneumonia Risk and Hospital 30-day Readmission [14] Scott M. Lundberg, Su-in Lee. From local explanations to global understanding with explainable AI for trees.2020.

视觉目标跟踪漫谈：从原理到应用

--------点击屏幕右侧或者屏幕底部“+订阅”，关注我，随时分享机器智能最新行业动态及技术干货---------- 一什么是视觉目标跟踪视觉目标跟踪的定义在计算机视觉领域中并没有对视觉目标跟踪（简称跟踪，下同）的唯一定义。通常来说，跟踪的目标是视频帧或图像中的某个区域或物体，不需要其语义信息（类别等），此概念被形象地描述为“万物跟踪”。同时，也存在一些特例，通常被应用在一些特定场景中对已知类型物体的跟踪，例如工厂流水线监控中对某些特定产品的跟踪（如零部件等）。很多学者对跟踪有着不同的阐释，包括：“跟踪是视频序列中识别感兴趣区域 (region of interest) 的过程”[1]，或者“给定目标在视频中某一帧的状态（位置、尺寸等），跟踪是估计 (estimate) 该目标在后续帧中的状态”[2]等。这些定义看似大相径庭，但其实有很多共同点。通过提取这些共同点，我们将跟踪问题定义为：跟踪是在一个视频的后续帧中找到在当前帧中定义的感兴趣物体 (object of interest) 的过程。可以发现，上述定义主要关注跟踪的三方面问题，即“找到”、“感兴趣物体”、和“后续帧”。注意，这里的当前帧可以是视频中的任意一帧。通常来说，跟踪是从视频的第二帧开始的，第一帧用来标记目标的初始位置 (ground truth)。下面，我们利用博尔特参加男子百米短跑的例子来解释这三方面问题。图1. 博尔特参加男子百米短跑的视频截图[3] 视觉目标跟踪的基本原理 “找到”：如何 locate 博尔特？假设在视频上一帧我们找到了博尔特所在的位置，我们要做的是在当前帧中继续找到博尔特所在的位置。如前所述，视觉是跟踪问题（视觉目标跟踪）的限定条件，其带来了可以利用的性质。在这里，我们可以利用的de facto rules 是：在同一段视频中，相同的物体在前后两帧中的尺寸和空间位置不会发生巨大的变化[4]。比如我们可以做出如下判断：博尔特在当前帧中的空间位置大概率会在跑道中，而几乎不可能在旁边的草坪内。也就是说，如果我们想知道博尔特在当前帧中的空间位置，我们只需要在跑道中生成一些候选位置，然后在其中进行寻找即可。上述过程引出了跟踪中一个重要的子问题，即 candidate generation，通常被表述为候选框生成。 “感兴趣物体”：如何 shape 博尔特？博尔特就是图像中个子最高，并且穿着黄色和绿色比赛服的人。但是，我们忽略了一个问题，就是我们对于博尔特的“定义”其实已经包含了很多高度抽象的信息，例如个子最高，还有黄色和绿色的比赛服。在计算机视觉领域中，我们通常将这些高度抽象的信息称之为特征。对于计算机而言，如果没有特征，博尔特和草坪、跑道、或者图像中其他对于人类有意义的物体没有任何区别。因此，想让计算机对博尔特进行跟踪，特征表达/提取 (feature representation/extraction) 是非常重要的一环，也是跟踪中第二个重要的子问题。 “后续帧”：如何distinguish博尔特 (from others) ？在这里，我们将“后续帧”关注的问题定义为如何利用前一帧中的信息在当前帧中鉴别 (distinguish) 目标。我们不仅需要在“后续帧”中的每一帧都能完成对目标的跟踪，还强调连续帧之间的上下文关系对于跟踪的意义。直观理解，该问题的答案非常简单：在当前帧中找到最像上一帧中的跟踪结果的物体即可。这就引出了跟踪中第三个重要的子问题：决策 (decision making)。决策是跟踪中最重要的一个子问题，也是绝大多数研究人员最为关注的问题。通常来说，决策主要解决匹配问题，即将当前帧中可能是目标的物体和上一帧的跟踪结果进行匹配，然后选择相似度最大的物体作为当前帧的跟踪结果。联系在上述三个小节中我们分别介绍了跟踪基本原理中的三个子问题：候选框生成、特征表达/提取、及决策。需要注意的是，这三个子问题并非彼此独立。有时候，决策问题的解决方案会包含更为精确的候选框生成和/或更为抽象的特征提取，利用端到端 (end-to-end) 的思想解决跟踪问题，来提高跟踪系统和算法的性能。这在近几年流行的基于深度学习的跟踪算法中非常常见[1]。视觉目标跟踪的应用从某种意义来说，在回答“视觉目标跟踪有哪些应用”的问题之前，我们应该先讨论学术研究方法论中“为什么”的问题，即“为什么要做视觉目标跟踪”。跟踪在计算机视觉科学的经典应用领域，包括安防领域（车辆跟踪、车牌识别等）、监控领域（人脸识别、步态识别等）、巡检领域（无人机追踪、机器人导航等）、以及新兴的智慧生活（人机交互、VR/AR等）、智慧城市（流量监测等）、以及智慧工业（远程医疗等）等。跟踪问题的主要应用可以总结为：跟踪主要应用于对视频或连续有语义关联的图像中任意目标的空间位置、形状和尺寸的获知。作为检测算法的补充，其可以在视频或连续有语义关联的图像中提供目标的空间位置，降低整个系统的复杂度（例如检测仅应用于视频第一帧识别出目标，以及后续帧中的某些帧来确定目标位置，然后在其余帧中应用跟踪确定目标位置）。二如何进行视觉目标跟踪视觉目标跟踪的系统架构候选框生成、特征表达/提取、和决策构成了一条完整的逻辑链路。具体来说，对于视频中的每一帧（通常不包括第一帧），跟踪的系统流程可以用图3中的架构来表示：图3. 视觉跟踪系统架构[4, 有改动] 如图所示，在跟踪系统中，上一帧（含跟踪结果，如图中input frame）和当前帧会被作为系统输入，然后分别经过运动模型 (motion model)、特征模型 (feature model)、和观测模型 (observation model)，最终作为当前帧对目标位置的预测 (final prediction) 输出。其中，候选框生成、特征表达/提取、和决策三个子问题分别在上述三个模型中被解决，其输入与输出的对应关系如表1。表1. 视觉跟踪系统架构中各模型的输入与输出注意，图3中的跟踪系统架构应用了假设检验 (hypothesis testing) 模型。该模型是统计推断中的常用方法，其基本原理是先对系统的特征做出某种假设，然后通过研究抽样的统计分布，判断应该接受还是拒绝此假设。该模型能够很好地应用于跟踪问题，即假设当前帧的某个候选框是预测目标，然后通过特征表达/提取和决策，来判断该候选框是否可以作为当前帧目标位置的合理预测。运动模型 — where? 1）目标表达形式目标在当前帧中的大概位置是运动模型中主要被解决的问题，即候选框生成 (where)。在讨论如何生成的问题之前，我们首先需要明确的是什么是候选框。候选框是对于目标包围盒 (bounding box) 的假设 (hypothesis)。此处的表达与特征模型中的特征表达有所区别，其关注的主要是如何在视频帧或图像中“描绘”目标。常见的表达形式如图4所示。图 4. 视觉跟踪目标常用表达方式[5] 如图所示，目标可以被矩形框 (4c)、骨架 (4f)、或轮廓 (4h) 等不同形式所表达。其中，广泛被计算机视觉研究中所采用的是如4(c)中的矩形框（即bounding box，一译包围盒）表达。这种表达形式的优点包括易生成（如最小外接矩形）、易表达（如左上角+右下角坐标，或中心点坐标+宽高）、易评估（如IOU (intersection over union)，一译交并比）等。详细的信息见[5]。 2）De facto rules：尺寸变化小，位置移动慢在确定好目标的表达形式（候选框）后，接下来我们需要关注如何生成候选框。在很多学术文章中，深度学习训练过程中的正负样本生成有时也被称作候选框生成。这种候选框生成和我们在该小节中讨论的候选框生成是两个概念。下面介绍两种候选框生成分别是什么，以及如何区分，避免混淆。推理过程：即图3中的系统流程，用于预测当前帧的目标位置，任何跟踪算法都需要。在该过程中，运动模型生成候选框，然后经过特征模型进行特征表达/提取，将含有特征的候选框输入观测模型进行决策（对目标位置的预测）。如视觉目标跟踪的定义一节所述，de facto rules 是在同一段视频中，相同的目标在前后两帧中的尺寸和空间位置不会发生巨大的变化。基于此，我们可以大大减少候选框的数量和种类，即我们只需要在上一帧预测的目标位置附近生成和其尺寸近似的候选框，从而提高整个跟踪系统的效率。训练过程：通常在基于判别式方法的跟踪算法中需要，属于跟踪系统学习如何区分目标和非目标的过程，将在视觉目标跟踪的算法分类一节中详述。在该过程中，所谓的候选框生成应该被称作“正负样本生成”。在这里，正样本可以近似地理解为目标，负样本可以近似地理解为非目标的干扰项，例如背景或其他像目标但不是目标的物体。为了提高该类算法的跟踪系统对于正负样本的判别能力，在生成负样本时通常会在整个图像中寻找，而不仅限于上一帧预测的目标位置附近。总结来说，候选框生成被应用在推理过程，用来生成当前帧目标的潜在位置；正负样本生成被应用在基于判别式方法的跟踪算法的训练过程，用来生成正负样本训练跟踪系统，使得系统习得区分目标与分目标的能力。 3）运动模型系统架构与分类图5示出了运动模型的系统架构以及如何得到候选框的方法分类。如图所示，前一帧（第n帧）中预测目标的位置被输入模型中，输出当前帧（第n+1帧）的候选框。这些候选框可能有位置变化、尺度变化、和旋转等，如图中绿色和橙色虚线框所示。图 5. 运动模型系统架构与分类在运动模型中，主要的候选框生成方法有如下三种： a) 概率采样 (probabilistic sampling) 通过仿射变换生成候选框。具体来说，假设输入的上一帧预测目标的位置矩形框坐标为 x、仿射变换的参数矩阵为 A、以及输出的（一个）候选框的坐标为 y，则 y=Ax 其中，A 中的参数包括候选框位置变换、尺度变换、旋转变换、和长宽比变换等信息，仿射变换的示例如图5所示。这里，概率体现在上述参数都是符合某种概率分布（通常是高斯分布）的随机变量，而采样则体现在生成不同数量的候选框。 b) 滑窗 (sliding window) 如图6所示，以某个形状和大小的结构元素（形象地被称之为窗）在当前帧中按一定的空间间隔移动，每次移动后覆盖的图像中的相应像素即为生成的候选框。通常来说，通过此种方法生成的候选框和前一帧的矩形框相比仅有位置变换，其他变化（如旋转变换）需要进行额外的处理。图 6. 划窗生成候选框示例 c) 循环移位 (circulant shift) 如图7所示，如果我们将上一帧预测的目标位置的矩形框中的像素按照某种排列变成图中base sample所示，那么每次右移一个像素，即可生成一个候选框的对应排列。通过生成该排列的反变换，即可得到一个候选框。通常来说，通过此种方法生成的候选框和前一帧的矩形框相比仅有位置变换（如旋转变换），其他变化需要进行额外的处理。值得强调的是，循环移位是滑窗的一个特例，但是其在基于相关滤波的跟踪算法中与快速傅里叶变换 (fast Fourier transformation) 结合能够极大地提高算法效率，使其无需再使用传统的滑窗操作生成候选框，因此在此被单列出来。图 7. 循环移位生成候选框示例[6] 特征模型 — how look like? 1）什么是图像特征对于人类来说，图像特征是对于图像的直观感受。对于计算机来说，图像特征是图像内的一些区域/整个图像和其他区域/其他图像的差异。常用的图像特征包括颜色特征、形状特征、空间特征、纹理特征、以及在深度学习中通过卷积神经网络得到的深度特征等。博尔特的黄色和绿色的比赛服即属于颜色特征，而个子高则结合了空间特征和纹理特征。通常来说，特征越“深”（抽象且不直观的的特征，如深度特征），对目标的判别能力越好；反之，特征越“浅”（具体且直观的特征，如颜色等），对目标的空间位置信息保留越好。因此，特征表达/提取通常需要在两者之间做权衡，才能达到更好的跟踪效果。 2）什么是图像特征表达了解什么是图像特征之后，特征表达/提取要解决的问题是如何来描述这些特征，即用计算机能够理解的语言来描述这些特征的数学特性的一个或多个维度。常用的特征表达/提取方法包括朴素方法（naive，如像素值）、统计方法（statistics，如直方图）、和变换（transformation，如像素值的梯度）等。特征和特征表达被统称为特征模型。特征模型可以对从运动模型中得到的候选框进行分析，得到相应的候选框特征表达/提取，如图8所示。图 8. 特征模型 = 特征 + 表达/提取 3）特征模型的分类图9示出了如何得到对特征进行表达/提取的方法分类。可以看到的是，在应用卷积神经网络 (CNN) 得到深度特征 (deep) 之前，手工的 (hand-crafted) 特征表达/提取方法是跟踪问题中对于图像特征进行处理的主流方法，其包括上述提到的各种特征和表达方式。在诸多特征和表达方式中，应用最多的是颜色特征和梯度直方图。颜色特征比较容易理解，其不仅符合人类对于图像的直观理解，同时也是最简单的计算机表征图像的方法，即像素值。梯度直方图是关于梯度的直方图，其中梯度是图像像素值在某个特定空间方向上的变化，例如水平相邻像素之间的像素值差；而直方图是一种常用的数据分布的图像表示，可以直观地表示出一组数据在其取值范围内的数量变化。请各位同学参考[7]获取更多关于图像特征的信息。目前，基于深度学习的方法逐渐成为跟踪问题研究的主流，其通过卷积神经网络 (CNN) 得到的深度特征 (deep) 极大地提高了跟踪算法对目标的判别能力，所达到的性能也超过应用手工特征的跟踪算法。 **图 9. 特征与特征表达/提取方法的分类** 观测模型 — which? 1）如何做决策在观测模型中，如何在诸多候选框中选出一个作为我们对目标位置在当前帧的预测是在观测模型需要解决的主要问题，即做决策（“哪一个”）。直观理解，我们只需要在当前帧的候选框中找出最“像”前一帧的预测目标的候选框就可以，然而最“像”并不是仅有一种定义。通常来说，在计算机视觉领域中解决最“像”问题可以被归类为匹配问题，即在候选框中找到和前一帧目标最为匹配的那个。匹配问题是整个跟踪问题的核心，也是绝大多数跟踪算法解决的主要的问题，其解决方案的效果直接影响整个跟踪算法的性能。有时候，即使在候选框生成和特征表达/提取方面做得不够好，例如候选框的形状和尺寸与实际有出入，或提取的特征的判别程度不高，优秀的匹配算法也可以在一定程度上弥补前两个模型中存在的不足，维持跟踪算法的整体性能。 2）如何做匹配前述中提到的最“像”或匹配问题在本质上是一个相似度度量 (similarity measurement) 问题。在解决相似度问题的时候，我们需要一个衡量机制，来计算两个相比较的个体的相似度。在跟踪问题中，被比较的个体通常是候选框和前一帧的预测结果（或者是ground truth），而衡量机制可以被抽象成距离 (distance)。这里的距离不仅仅是空间距离，即框与框之间在图像中相隔多少个像素，还包括两个概率分布的距离。由于空间距离相对好理解，我们在这里仅对概率分布距离稍作解释：每一帧的跟踪结果是一个预测值，即每一个候选框是目标的概率。如果综合所有候选框，就可以构成一个概率分布。从概率分布的角度理解匹配问题，跟踪问题就转换成在当前帧寻找和上一帧的候选框概率分布“最接近”的一组候选框分布，该“最接近”即是概率分布距离。常用的空间距离有Minkowski distance（Manhattan distance和Euclidean distance是其特殊情况），常用的概率分布距离有Kullback–Leibler (KL) 散度、Bhattacharyya distance、交叉熵、以及Wasserstein distance等。参考[8]。 3）观测模型系统架构与分类图10示出了观测模型的系统架构。如图所示，前一帧（第n帧）中预测的目标位置、当前帧（第n+1帧）的候选框、和候选框的特征被输入模型，输出当前帧（第n+1帧）的预测结果（目标位置）。这些候选框可能有位置变化、尺度变化、和旋转等，如图中绿色和橙色虚线框所示。图 10. 观测模型系统架构图11示出了观测模型的模块拆解和分类。如图所示，观测模型的核心模块是匹配 (match)。对于匹配方法的分类，业界的主流观点是：生成式方法 (generative) 和判别式方法 (discriminative)[1, 2, 4, 9]。这两种方法的主要区别在于是否有背景信息的引入。具体来说，生成式方法使用数学工具拟合目标的图像域特征，并在当前帧寻找拟合结果最佳（通常是拟合后重建误差最小的）的候选框。而判别式方法则是不同的思路，其将目标视为前景，将不包含目标的区域视为背景，从而将匹配问题转换成了将目标从背景中分离的问题。对比起来，判别式方法具有更好的判别能力，即将目标和其他干扰项区分开的能力，这也是这一类匹配方法得名的由来。作为上述观点的论据支撑，应用判别式方法的跟踪算法的性能已经大幅度超越应用生成式方法的跟踪算法，成为学术界研究的主流方向[9]。总结来说，生成式方法把跟踪问题建模成拟合或多分类问题，而判别式方法把跟踪问题定义为二分类问题。图 11. 观测模型的模块拆解和分类此外，在图11中我们注意到还有两个虚线框示出的模块，分别代表特征表达/提取 (feature representation/extraction) 和更新 (update)。在这里，虚线表示这两个步骤不是必须被执行的。对于有的算法而言，通过特征模型得到的特征会被进一步抽象，来获取目标更深层次的特征信息，然后再被送进匹配模块执行匹配算法。同时，更新的步骤也非必须的，其存在的意义是获得更为准确的预测结果。具体来说，匹配算法得到了一系列的参数，应用这些参数即可对当前帧的目标位置进行预测。如果在后续所有帧的预测过程中都应用这些参数，可能会出现的结果是预测趋向不准确，最终导致跟踪的失败。其可能的原因包括累积误差、外因（如遮挡、光照变化）、以及内因（如目标外观变化、快速运动）等。如果引入更新模块，在每若干帧之后根据之前的预测结果更新匹配算法的参数，则可以减小误差，提高跟踪的准确性。视觉目标跟踪的算法分类跟踪算法根据其观测模型被分为两大类：生成式方法 (generative) 和判别式方法 (discriminative)。值得注意的是，在这里我们强调分类的依据是观测模型，是为了将整个跟踪系统架构中的不同模型解耦合。具体来说，即使两个算法分别应用了生成式方法和判别式方法作为相似度匹配的解决方案，其可能都应用了相同的特征，例如颜色直方图。如果我们将应用在跟踪算法中的特征作为分类的依据，这两个算法应该被归为一类。很显然，这是另一种算法分类的角度，但是却存在将两个大相径庭的算法归为一类的可能性。在这里，我们并非否认按照特征分类的合理性，而是将关注的重点放在算法本质上的区别，即其观测模型。然而，大多数跟踪算法的综述文章都直接将跟踪算法简单的分为生成式和判别式，并没有强调这仅仅是其观测模型，让人产生为什么应用了相同特征的算法会被归为不同的类别的疑问。这种不明确对于刚开始接触跟踪领域的同学是不友好的。在明确了我们分类的前提之后，图12示出了我们对于跟踪算法的分类以及各分类下的一些经典算法。值得注意的是，在这里我们仅将分类细化到第二层，即将生成式和判别式做进一步分类。根据不同算法的具体细节，图中的分类可以继续深化，但是这有别于此文的宗旨，即对跟踪问题的系统性的概括。图 12. 跟踪算法根据观测模型的分类和举例关于生成式方法，其核心思想即衡量前一帧的预测目标与当前帧候选框的相似度，然后选择最为相似的候选框作为当前帧的跟踪结果（即预测目标在当前帧的位置）。生成式方法被进一步分成下述三类： 1）空间距离 (spatial distance) 即用空间距离衡量相似度的解决方案，通常利用最优化理论将跟踪问题转换成空间距离最小化问题。利用此方法的经典算法包括IVT (Incremental learning Visual Tracking) [10] 和ASLA(Adaptive Structural Local sparse Appearance model tracking) [11]。其算法的核心思想是：计算当前帧候选框的像素灰度值与上一帧预测目标的像素灰度值之间的Euclidean distance，然后取距离最小的候选框作为当前帧的预测目标。在特征提取时应用了奇异值分解等技术来减小计算复杂度。 2）概率分布距离 (probabilistic distribution distance) 即用概率分布距离衡量相似度的解决方案，通常利用最优化理论将跟踪问题转换成概率分布距离最小化问题。利用此方法的经典算法包括CBP (Color-Based Probabilistic) [12]和FRAG (robust FRAGments-based) [13]。其算法的核心思想是：计算当前帧候选框的颜色直方图分布与上一帧预测目标的颜色直方图分布之间的Bhattacharyya distance，然后取距离最小的候选框作为当前帧的预测目标。 3）综合 (combinatorial) 这部分解决方案以MeanShift[14]和CamShift算法为代表，其模糊了对于相似度匹配的距离衡量，甚至没有显式地候选框生成过程，而是借鉴了机器学习中meanshift聚类算法的思想，在每一帧中利用上一帧预测目标的颜色直方图分布，计算该帧中相应位置的像素的颜色直方图分布，然后进行聚类得到其分布的均值，其对应的像素位置是该帧中预测目标的中心位置，然后加上候选框宽高等信息即可得到当前帧预测目标的空间位置。在MeanShift算法中，宽高信息是固定的，因此其无法应对目标尺度和旋转变化，而CamShift通过将图像矩引入相似度匹配[7]，得到目标尺度和旋转信息，进一步提高了算法的性能。如前所述，判别式方法侧重于将目标视作前景，然后将其从其它被视作背景的内容中分离出来。从某种程度上来说，判别式方法应用了分类算法的思想，将跟踪问题转换成二分类问题。众所周知，基于经典机器学习（即不包含深度学习的机器学习）和深度学习的算法对于分类问题有着非常出色的表现，因此，这些算法的思想被引入跟踪问题的解决方案是非常自然的事情。此外，判别式方法的本质仍然是解决匹配问题，而一种解决匹配问题非常有效的方法就是相关 (correlation)，即用一个模板与输入进行相关操作，通过得到的响应（输出）来判断该输入与模板的相似程度，即相关性。因此，基于相关操作的算法也同样被引入跟踪问题的解决方案。判别式方法被进一步分成下述三类： 1）经典机器学习方法 (machine learning) 应用机器学习算法的思想将目标作为前景从背景中提取出来的方法。利用此方法的经典算法包括STRUCK (STRUCtured output tracking with Kernels) [15]和Tracking-Learning-Detection (TLD) [16]。STRUCK和 TLD算法分别采用经典机器学习算法中的支持向量机 (support vector machine) 和集成学习 (ensemble learning) 进行分类，并采取了一系列优化方法来提高算法的性能。 2）相关滤波方法 (correlation filter) 应用相关操作计算候选框与预测目标匹配度的方法。 3）深度学习方法 (deep learning) 上述提到的应用深度学习算法的思想将目标作为前景从背景中提取出来的方法。更多优秀的跟踪算法参见[1, 2, 4, 5, 9, 23]。我们将上述提到的算法总结在表2中，包括了被应用在这些算法中的运动模型、特征模型、和观测模型。表2体现了我们对整个跟踪系统架构中的不同模型的解耦合。通过表2我们可以清晰地了解每个算法在不同模型中应用了哪些方法，这有助于我们从不同的角度对算法进行分类，提炼同类算法中的共同点，以及对不同类算法进行有效地区分和对比。表2. 跟踪算法总结下图展示了[17]对于跟踪算法的总结：图 13. 跟踪算法总结[24] 三如何评估视觉目标跟踪性能评估指标在前面两章讨论的内容中，我们已经在不经意间用到了一些评估跟踪算法性能的指标，例如精度，速度等。在计算机视觉领域中，最常用的衡量指标是精确率 (precision) 、召回率 (recall)、以及F值 (F-score)、帧率 (FPS) 等。在此，我们简单对前两个指标进行介绍：这两个指标源自于统计学，关注的是对正负样本分类的情况。简单来说，精确率被定义为所有被预测成正样本的样本中真实的正样本比率，而召回率被定义为所有真实的正样本中被预测成正样本的样本比率。在跟踪问题中，也有类似的定义。跟踪系统和算法广泛应用矩形框 (bounding box) 的原因之一就是易评估，其评估的核心就是交并比，即IOU (intersection over union)。IOU有如下定义：较大的IOU值从一定程度上反应了两个进行比较的矩形框贴合程度较高。如果我们用预测目标的矩形框和ground truth的矩形框计算IOU，我们就可以知道跟踪算法的效果：IOU越大，表示跟踪的效果越好。 VOT (visual object tracking) 竞赛中从2013年开始举办，目前已经发展成评估跟踪算法的主流标准，VOT中比较重要的两个指标是accuracy和robustness。实际上，竞赛中采用的第一指标是EAO，即expected accuracy overlap，是对accuracy的一种加权求和，其本质仍然是accuracy。Accuracy有如下定义：即计算每一帧预测目标的矩形框与ground truth的矩形框之间的IOU，然后对所有帧求和再做平均。其中N是总帧数，可以是一段视频的总帧数，也可以是多段视频，或者多段视频重复测试多次。Robustness有如下定义：即跟踪失败的帧数与总帧数的比值，其中跟踪失败定义为当前帧预测目标的矩形框与ground truth的矩形框的IOU为0。上述两个指标从两个方面体现了跟踪算法的性能：accuracy体现了当跟踪成功时，算法的精确度有多高，即找准目标的位置的概率，侧重算法的精确性；robustness则体现了算法找到目标位置的概率，侧重算法的鲁棒性。有了这两个指标，不同的算法就可以在同一套衡量标准下进行比较。评估数据集除了评估指标以外，另一个对于跟踪算法评估非常重要的部分就是数据集。VOT竞赛不仅提供了评估指标，其本身的数据集也是评估跟踪算法的一个权威的数据集。除此之外，常用的评估数据集还包括OTB [2]、UAV123 [18]、以及GOT-10K [19] 等。不同的数据集对于评估指标有着不同的定义，但是其思想都和评估指标一节中提到的accuracy和robustness有着一定的共同点：即全面考虑算法的精确性和鲁棒性。除了不同的评估指标，不同的数据集之间通常也有共同点，同时也是衡量一个数据集是否适合作为评估数据集的标准：视频数量充足、目标类别丰富、以及标注信息准确。如果没有充足的视频和足够丰富的目标类别，算法的性能很容易发生过拟合，即在少量的视频和/或类别中表现很好，但是在其他视频和/或类别中表现欠佳，因此无法准确地衡量出算法的真实性能。标注信息的准确性则不言而喻，它直接影响到评估的正确性。对于其他类型的数据集，例如作为训练算法使用的数据集，包括ImageNet [20]、COCO [21]等，如果能够满足上述条件，也可以拓展成为评估数据集。评估示例我们以最新的2019年VOT 竞赛 (VOT challenge 2019) 作为跟踪算法评估的示例。表3展示了竞赛的节选结果 [9]。通用的竞赛流程是：竞赛组委会开放报名通道，参赛者可以通过该通道提交算法代码，然后组委会统一收集代码，再评估数据集上进行测试，最后将竞赛结果以报告或白皮书的形式公布。表 3. VOT challenge 2019结果节选表 3中的体现了参赛算法在该年的评估数据集上取得的结果，包括了 EAO、accuracy、和 robustness 等指标。通常，竞赛结果是依据 EAO进行排名的，不过结果中也会标注各单项指标的前三名，如表3中用圆圈标记的数字。四结语目前，基于深度学习的算法逐渐成为视觉目标跟踪研究的主流。除了文中介绍的算法之外，无监督学习、元学习 (meta learning)、和其他人工智能领域的前沿算法也被引入视觉目标跟踪的学术研究。此外，基于深度学习的视觉目标跟踪算法也逐渐被应用在工业界，通过包括模型压缩在内的优化方法有效地降低其算法复杂度，从而达到并超越目前适合于实际计算机视觉应用的跟踪算法的性能。参考 [1] Fiaz, Mustansar, et al. "Handcrafted and deep trackers: Recent visual object tracking approaches and trends." ACM Computing Surveys (CSUR) 52.2 (2019): 1-44. [2] Wu, Yi, Jongwoo Lim, and Ming-Hsuan Yang. "Object tracking benchmark." IEEE Transactions on Pattern Analysis and Machine Intelligence 37.9 (2015): 1834-1848. [3] VOT2018 dataset, http://www.votchallenge.net/vot2018/dataset.html. [4] Wang, Naiyan, et al. "Understanding and diagnosing visual tracking systems." Proceedings of the IEEE international conference on computer vision. 2015. [5] Yilmaz, Alper, Omar Javed, and Mubarak Shah. "Object tracking: A survey." ACM computing surveys (CSUR) 38.4 (2006): 13-es. [6] Henriques, João F., et al. "High-speed tracking with kernelized correlation filters." IEEE transactions on pattern analysis and machine intelligence 37.3 (2014): 583-596. [7] Gonzalez, Rafael C., Richard E. Woods, and Steven L. Eddins. Digital image processing using MATLAB. Pearson Education India, 2004. [8] Goodfellow, Ian, Yoshua Bengio, and Aaron Courville. Deep learning. MIT Press, 2016. [9] Li, Xi, et al. "A survey of appearance models in visual object tracking." ACM transactions on Intelligent Systems and Technology (TIST) 4.4 (2013): 1-48. [10] Ross, David A., et al. "Incremental learning for robust visual tracking." International journal of computer vision 77.1-3 (2008): 125-141. [11] Jia, Xu, Huchuan Lu, and Ming-Hsuan Yang. "Visual tracking via adaptive structural local sparse appearance model." 2012 IEEE Conference on computer vision and pattern recognition. IEEE, 2012. [12] Pérez, Patrick, et al. "Color-based probabilistic tracking." European Conference on Computer Vision. Springer, Berlin, Heidelberg, 2002. [13] Adam, Amit, Ehud Rivlin, and Ilan Shimshoni. "Robust fragments-based tracking using the integral histogram." 2006 IEEE Computer society conference on computer vision and pattern recognition (CVPR'06). Vol. 1. IEEE, 2006. [14] Comaniciu, Dorin, Visvanathan Ramesh, and Peter Meer. "Kernel-based object tracking." IEEE Transactions on pattern analysis and machine intelligence 25.5 (2003): 564-577. [15] Hare, Sam, et al. "Struck: Structured output tracking with kernels." IEEE transactions on pattern analysis and machine intelligence 38.10 (2015): 2096-2109. [16] Kalal, Zdenek, Krystian Mikolajczyk, and Jiri Matas. "Tracking-learning-detection." IEEE transactions on pattern analysis and machine intelligence 34.7 (2011): 1409-1422. [17] https://github.com/foolwood/benchmark_results. [18] Mueller, Matthias, Neil Smith, and Bernard Ghanem. "A benchmark and simulator for uav tracking." European conference on computer vision. Springer, Cham, 2016. [19] Huang, Lianghua, Xin Zhao, and Kaiqi Huang. "Got-10k: A large high-diversity benchmark for generic object tracking in the wild." IEEE Transactions on Pattern Analysis and Machine Intelligence (2019). [20] Russakovsky, Olga, et al. "Imagenet large scale visual recognition challenge." International journal of computer vision 115.3 (2015): 211-252. [21] Lin, Tsung-Yi, et al. "Microsoft coco: Common objects in context." European conference on computer vision. Springer, Cham, 2014. 电子书下载 15分钟开发AI视觉应用

机器智能技术个人页面-阿里云开发者社区

个人介绍

擅长的技术

告别 AI 模型黑盒：可解释机器学习研究报告

人类如何面对AI挑战

视觉目标跟踪漫谈：从原理到应用

可视化解释11种基本神经网络架构

阿里达摩院：1 秒替换直播背景，像素级视频分割如何实现？

马云、马斯克同台谈AI：人工智能拯救世界？

主动学习方法实践：让模型变“主动”

告别 AI 模型黑盒：可解释机器学习研究报告

神马搜索如何提升搜索的时效性？

人类如何面对AI挑战

视觉目标跟踪漫谈：从原理到应用

可视化解释11种基本神经网络架构

人工智能如何改变教育技术领域 超越传统教学

阿里达摩院：1 秒替换直播背景，像素级视频分割如何实现？

计算机视觉如何改善我们的日常生活

新AI算法拯救渣画质马赛克秒变高清

来听听达摩院技术专家是怎么讲智能外呼机器人技术

三个可能会被计算机视觉技术改变的行业

达摩院探访，机器视觉之发丝级抠图技能解析？

未来3到5年内，哪个方向机器学习人才最稀缺？

阿里云为新冠AI辅助诊断系统加速

机器学习效率正在超越摩尔定律

3个因素看透 AI 技术架构方案的可行性

训练AI吞食垃圾 瀚蓝环境探索破解垃圾围城难题

马云、马斯克同台谈AI：人工智能拯救世界？

主动学习方法实践：让模型变“主动”

告别 AI 模型黑盒：可解释机器学习研究报告

神马搜索如何提升搜索的时效性？

人类如何面对AI挑战

视觉目标跟踪漫谈：从原理到应用

可视化解释11种基本神经网络架构

人工智能如何改变教育技术领域 超越传统教学

阿里达摩院：1 秒替换直播背景，像素级视频分割如何实现？

计算机视觉如何改善我们的日常生活

新AI算法拯救渣画质马赛克秒变高清

来听听达摩院技术专家是怎么讲智能外呼机器人技术

三个可能会被计算机视觉技术改变的行业

达摩院探访，机器视觉之发丝级抠图技能解析？

未来3到5年内，哪个方向机器学习人才最稀缺？

阿里云为新冠AI辅助诊断系统加速

机器学习效率正在超越摩尔定律

3个因素看透 AI 技术架构方案的可行性

训练AI吞食垃圾 瀚蓝环境探索破解垃圾围城难题

AI现状 人才短缺成为障碍

想要了解工业视觉的解决方案

人工智能如何改变教育技术领域超越传统教学

训练AI吞食垃圾瀚蓝环境探索破解垃圾围城难题

人工智能如何改变教育技术领域超越传统教学

训练AI吞食垃圾瀚蓝环境探索破解垃圾围城难题

AI现状人才短缺成为障碍