通常使用常规传感器来测量某个物理量往往困难或昂贵。许多传感器在石油和天然气行业常见的恶劣环境中容易受损。如果能够通过计算而非测量来获得所需数值，就可以完全节省长期安装和维护传感器的成本，无论是财务成本还是人力成本。这种计算被称为软传感器，可以基于已知的公式或机器学习模型。在这个案例中，我们研究了在油田中的一座热电联产厂中创建氮氧化物（NOx）和二氧化硫（SOx）排放的软传感器。我们发现，这种计算与物理测量一样准确，始终可用，并且可以在多个位置部署而无需额外费用。
软传感简介
传感器是一种物理设备，它通过对设备环境变化的物理反应来测量某个量。例如，温度传感器通常由一种称为热敏电阻的材料组成，该材料在响应温度变化时改变其电阻。使用欧姆表来测量电阻。在校准阶段，研究人员会建立一个转换公式，将欧姆表读数转换为温度读数。这个公式通常是一个简单的关系，但值得注意的是，即使是简单而常规的传感器也需要一个模型来将物理效应（这里是电阻）转换为被测量的效应（这里是温度）。
软传感器是一种公式，它将来自简单传感器的各种输入进行组合，以模拟更复杂传感器的输出。在本章中，我们将讨论一个用于热电联产电厂氮氧化物（NOx）排放的传感器。直接测量NOx是可能的，但传感器昂贵且易损坏。如果可以用一组更便宜且更可靠的传感器（如温度、压力、流量等）的公式替代它，那么我们将从中获得几个好处：
- 软传感器的值在电厂的整个寿命周期内，由于无需购买或维护设备，因此更加经济实惠。
- 软传感器始终可用，因为它不会发生故障或需要进行重新校准而被移除。
- 软传感器实时可用，因为它只是一个计算过程，我们不需要等待某种物理反应发生。
- 软传感器可以在多个设备或位置上进行扩展，无需投资或面临困难。
用软传感器替代昂贵且易损坏的传感器是有意义的。许多工厂必须依赖实验室进行某些在生产线上难以进行的测量。这需要进行采样，通常由一个人来完成。采样被送往实验室进行测量。通常情况下，这些值需要手动输入到电子表格中，几个小时后才能得到。因此，我们每天最多可以获得一两个值。这个过程既昂贵、缓慢，又容易出错。软传感器可以消除这个过程的繁琐性，并为工厂提供连续的值。反过来，这个值可以在先进的过程控制应用中使用，从而改善工厂的运行。因此，软传感器可以通过实现以前不可能的控制策略，直接对工厂的经济效益做出贡献。
测量诸如NOx和SOx污染物、在化学应用中的气相色谱，或者在上游油气应用中的多相流是一些成功实现工业化的例子。
软传感器的理念与热敏电阻温度传感器的理念相同。我们测量一些简单的量，例如电阻，然后通过计算将其转换为我们真正想要知道的量，例如温度。唯一的两个区别是，我们现在有多个简单的量流入计算，并且通常存在这些量之间非线性的关系，以得到最终的输出。这构成了我们的双重挑战。
首先，我们必须尽可能收集关于系统的领域知识，以确定一个基本问题：为了能够计算所需的量，我们需要哪些简单的测量值？如果我们遗漏了重要的内容，模型的质量可能会很差。如果我们包含了与输出无关的内容，那么可能会干扰计算过程。
这个想法很微妙，让我们看一个日常例子来说明。冰淇淋销量与游泳池溺水人数有相关性。虽然这是事实，但显然这种关系并非因果关系。实际上，是较高的环境温度导致冰淇淋销量增加，游泳池的访问量增加，从而导致溺水事故增多。更好的预测方式是使用温度而不是溺水人数来预测冰淇淋销量。对于了解情况的人类（即领域专家），这一点是显而易见的，但对于仅关注相关性的自动化计算机分析方法来说，这一点却不明显。
其次，我们必须建立所有变量之间的非线性关系，以得到最佳的公式来计算我们所需的输出。这是机器学习的领域。
氮氧化物和硫氧化物排放
NOx是一个涵盖几种不同氮氧化物的总称。其中最显著的是一氧化氮（NO）和二氧化氮（NO2）。这些气体会导致雾霾、酸雨，并对健康产生各种有害影响。这个术语还包括一氧化二氮（N2O），它是一种重要的温室气体。
SOx是一个涵盖几种不同的硫氧化物的总称。其中最显著的是二氧化硫（SO2），它是一种有毒气体，以及三氧化硫（SO3），它是酸雨的主要组成部分。NO2与SOx的结合将形成硫酸，这是有害的。
VOC是挥发性有机化合物的总称，它涵盖了多种化学物质，对健康有害。
化石燃料的燃烧产生了所有这些气体。它们必须通过所谓的洗涤器进行去除，洗涤器会将反应物喷洒到含有气体的室内，与不需要的化学物质发生反应，并将其转化为无害且可捕获的化学物质。例如，石灰石可以将SO2转化为石膏，石膏是建筑和农业行业使用的材料。虽然大部分产生的污染物被捕获，但仍有一部分释放到大气中，引起了一些不希望的效应，如温室效应。每种气体释放了多少，这是我们关注的问题。
意识到这些气体的有害性已经促使政府制定了限制其释放量的法规。在另一种温室气体二氧化碳（CO2）的情况下，这甚至导致了碳排放权经济的产生，即对释放该气体的许可在金融市场上进行交易。公众、政府和监管机构都非常关注将释放的气体最小化。这些气体在燃烧一定量的化石燃料时产生的数量取决于燃料本身，尽管根据化石燃料的采掘地点而有很大变化，但在这一努力中至关重要的因素是洗涤器系统。准确了解实时释放的气体量可以实现先进的过程控制，以便正确运行洗涤器系统，从而最大限度地减少排放的气体。
监管机构要求伴随相关文件来确定排放量，以确保符合许可限制。这样做的标准方法是使用传感器阵列测量这些气体，并将数值记录在数据存储系统中。
如果能够通过过程测量计算释放的数量，而不是直接测量，那么这将解决上述所有问题。计算是廉价、稳健的，并且不会出现故障
由于所有这些因素，排放的软测量直接与排放的最小化和遵守法规密切相关。
热电联产 (CHP)
在我们的应用中，我们考虑了联合生产热电（CHP）发电站的工艺，也被称为余热发电。这种类型的发电厂使用热机，如燃气轮机，同时产生电力和热能。化石燃料的燃烧产生高温气体，驱动涡轮机发电，而低温废热则作为热能输出，通常以蒸汽的形式提供。
在需要同时使用电力和热能的应用中，联合生产热电比分别发电和供热效率高得多（约90%与55%）。因此，这是一种更环保的发电方式。请参阅下图，了解联合生产热电设置的概述。初始阶段，空气与天然气混合后在燃气轮机中燃烧。热气体使得涡轮旋转，从而带动发电机发电。废气在热回收蒸汽发生器（HRSG）中进行处理。该设备利用热气体加热水，生成高压高温蒸汽。蒸汽通过与第二发电机相连的蒸汽涡轮，产生进一步的电力。如果我们没有回收蒸汽，这部分电力本来会损失。此时剩余的蒸汽可以被提取出来用于供热应用。其余部分经过冷却后可以在蒸汽循环中再次使用。
作为最后一步，在烟囱之前，烟气会在洗涤器中进行洗涤，详见下图。烟气从底部进入，洗涤液（例如水中的粉状石灰石）从顶部进入，并通过各个层级向下流动。各个层级提供了烟气与液体反应的多个机会，直至其从顶部排出。此类洗涤器通常可以去除烟气中约95%的污染物。为了更高纯度，可以添加第二个洗涤器。
软传感和机器学习
软传感器是一种从已测量的数量中计算出所需数量（称为y）的公式，因此无需测量所需数量本身。这个公式可以采用任何形式。在许多情况下，我们可以从物理学或化学中得知一个明确的公式。然而，在某些情况下，我们没有已知的公式，因此必须根据可用数据经验性地确定公式。
从数据中确定公式是机器学习的目的（Goodfellow, Bengio, & Courville, 2016）。通常，函数采用几种标准形式之一，例如线性回归（Hastie, Tibshirani, & Friedman, 2016），前馈神经网络（Hagan, Demuth, & Beale, 2002），循环神经网络（Yu, Si, Hu, & Zhang, 2019），随机森林（Parmar, Katariya, & Patel, 2018）等等（Bangert, 2012）。公式的形式选择由数据科学家确定，机器学习确定使所选形式最适合数据的参数。获得最佳参数后，我们可以在一些其他经验性数据上尝试公式，以评估其性能。如果公式在新数据上的准确性优于所需阈值，则软传感器完成。从这个意义上讲，使用机器学习进行软传感器的过程类似于校准物理传感器。
由于物理传感器是标准，我们必须根据与物理传感器被视为适合其目的的相同原则来比较任何软传感器。这就是校准。根据国际计量局（BIPM）的定义，校准是“在指定条件下，在第一步中，建立测量标准提供的具有测量不确定度的量值与校准仪器或次级标准的指示及相关测量不确定度之间的关系，并在第二步中使用此信息建立从指示获得测量结果的关系。”（JCGM，2008）
从这个意义上讲，校准是将所讨论的传感器的输出与某个标准进行比较的过程。如果两者之间的偏差小于一定量级，那么校准就是成功的。偏差必须始终与所讨论的传感器以及进行比较的标准的测量不确定度相对应。机器学习的常规评估，如均方根误差和残差分布，正是这种评估的一种形式。
全球各地存在许多要求传感器在规定间隔内进行校准和重新校准的标准。例如，ISO-9001、ISO 17025、ANSI/NCSL Z540和MIL-STD-45662A。然而，这些标准并没有定义传感器必须满足的精确要求，以被视为校准。
通常，传感器是否经过校准是根据其与标准之间的最大偏差与传感器的测量不确定度进行比较来决定的。如果偏差始终小于测量不确定度的四分之一，那么传感器被视为已校准。这个四分之一的比率当然是一个历史上产生的相对任意的选择，源于美国军方的实践（Jabloński和Březina, 2012; 国防部, 1984）。由于这是一种新兴的实践，并非法律规定的要求，因此通常由监管机构来定义这个比率，它可能更大，比如一半。另一个变量是测量不确定度。如果所讨论的传感器具有适当大的不确定度，它将始终满足这些标准。因此，问题不是传感器是否经过校准，而是传感器以何种比率和何种不确定度进行校准。
总而言之，如果我们有一个在机器学习意义上好的模型，那么它就是自动校准的模型。将这个评估和文件提供给监管机构将使他们可以接受软传感器作为替代物，而不是物理传感器，并符合相同的标准。
设置软传感器
首先，领域专家会对所有可用的经验数据进行检查，提取出那些具有最相关信息内容以生成NOx或SOx的传感器。重要的是呈现我们拥有的所有信息，而不呈现可能只会分散模型注意力的干扰数据。机器学习从根本上无法区分相关性和因果关系，这使得传感器的初始选择对于成功至关重要，而这最好由经验丰富的专家进行（Guyon和Elisseeff，2003）。
现在，完整的数据集被分成用于创建模型的训练数据集和用于评估模型拟合度的测试数据集。通常会随机选择75%的数据用于训练，剩余的用于测试。
机器学习存在两个基本问题，即欠拟合和过拟合（Bishop，2006）。欠拟合是由于参数太少，模型无法准确表示现象所导致的。过拟合是由于参数太多，模型可以记忆数据而无需学习基本动态特征所导致的。显然，这两种可能性都会导致模型表现不佳，即新的数据点将获得不令人满意的计算结果。为了避免这两种情况，我们必须找到适度数量的参数，这通常取决于具体问题。一个非常粗略的经验法则是，在模型中每个参数至少获得10个数据点。这是一个粗略的规则，因为信息内容与数据集中的数据点数量并不成比例；例如，如果重复了一个数据点，那么增加了一个数据点，但没有增加新的信息。通常在机器学习教材中推荐的解决方案——获取更多数据——在实际中往往不可行，特别是在数据采集涉及金钱和时间成本的工业环境中。因此，可用数据对模型的可能复杂性设定了先验限制。
为了在保持数据集信息内容不变的同时减少模型中必要的参数数量，通常会采用降维方法。这种方法将数据集投影到一个维数较少的空间中，而不仅仅是删除任何维度。有许多这样的方法，但最流行的是主成分分析（Guyon和Elisseeff，2003）。
对于我们在这里处理的热电联产厂，以下变量被选为软传感器的合适输入：
- 热回收蒸汽发生器（HRSG）
a. 燃烧器：温度、燃料压力、火焰强度
b. 进水温度升高（FWTR）：温度、压力、流量
c. 控制阀：开度
d. 氨：泄漏检测器
e. 通用：进口温度、管壁温度、蒸汽压力、流量、汽轮机排气热功率、位置反馈、热功率、选择性催化还原（SCR）器上的压差、热回收、水流量、燃料流量、质量修正系数、耗热水量 - 燃气涡轮机
a. 通用：燃料压力、燃料流量、燃料热功率、氨质量喷射
b. 发动机：热电偶、变频驱动器频率、补偿器温度 - 天气
a. 通用：风向、降雨量、气压、湿度
由于其中某些变量可重复出现，我们有31个可用的变量作为向量。它们每10分钟采样一次。通过传感器阵列测量的NOx和SOx输出也提供，我们将使用这些已知的y值来训练我们的机器学习软传感器。我们进行主成分分析将维度从31降低到26。这保留了原始数据集99%的方差。我们使用一年的数据对深度前馈神经网络进行训练。
为了展示模型对多样性的能力，我们选择模拟每百万份中的NOx浓度和每小时磅数的SOx流量。
评估模型
在训练模型时，我们将数据分为三部分。训练数据用于调整模型参数，使得模型尽可能接近这些训练数据。测试数据用于评估训练是否已经没有显著进展，可以认为训练已经完成。验证数据完全不用于训练。完成的模型在验证数据上执行，以便我们可以评估模型在从未见过的数据上的表现。这是评估模型性能的真正测试。这将成为提供给监管机构的任何校准文档的基础。
因此，我们使用所有三个数据集将模型的计算结果与测量结果y进行比较。对于每个数据点，我们计算残差。如果残差非常接近零，表示模型表现良好；如果离零很远，表示模型表现不佳。为了研究多个数据点，绘制残差的概率分布图是有帮助的，参见下图
这三个分布都是以零为中心的钟形曲线，这正是我们期望看到的。
这个分布是通过对大型数据集中特定残差的出现次数进行计数得到的。然后我们在水平轴上绘制残差，垂直轴上绘制出现频率。曲线最高的地方是最常出现的残差。
我们期望这个分布是以零为中心的钟形曲线，关于零对称，两侧呈指数衰减，宽度较小。宽度“小”取决于使用情况。有些应用需要比其他应用更精确的模型，这是模型最重要的成功标准。通常情况下，预期这个分布是正态分布是不现实的，因为正态分布在其尾部的衰减速度通常比实际中遇到的分布更快。这是由于多种因素造成的，其中一些是经验数据分析的人为因素，例如数据点数量有限。其他因素是由于测量过程本身，即存在着无法测量和包含在数据集中的因果因素（Tsai、Cai和Wu，1998）。
简而言之，残差分布的标准差是我们对模型的期望准确度，也是校准的最终结论。
在我们的情况下，训练、测试和验证的残差分布符合这些原则。我们看到测试和验证的残差比训练的残差更大。这种行为是可以预期的，因为模型通常在用于构建模型的数据上表现更好。这可能也是由于系统随着时间的推移略微改变其行为，即老化。在工业应用中，老化过程有两个因素。首先，系统中各种物理组件会随着时间的推移逐渐发生真实的机械退化。其次，传感器漂移会改变记录在任何传感器上的数值。正因为传感器漂移的原因，传感器有时需要重新校准。
除了检查残差图之外，我们还可以直接绘制测量值与模型值的图，参见下图。在这里，我们可以看到数据点密集地分布在理想的直线周围，即计算值等于测量值的地方。
理想情况下，这些数据将形成一条直线，以黑色显示作为参考。
最后，我们可以绘制测量值和计算值随时间变化的时间线，参见下图。这是操作员将看到的输出，用于评估真实值随时间的变化情况。
在评估这些图表时，我们必须记住，没有传感器的测量是精确的。每个测量都存在一定程度的不确定性和固有的不确定度。固有的不确定度最好通过变量的标准差进行评估。在我们的情况下，NOx的固有不确定度为2.43 ppmc，SOx的固有不确定度为0.02 lb/h。将其与物理测量结果中的NOx的0.75 ppmc和SOx的0.01 lb/h的标准差进行比较，我们可以得出结论，软传感器的精确度大致与物理传感器阵列相当。
结论
我们发现NOx和SOx的模型在准确性上与物理测量相当。这使得这些模型适用于实际的综合热电厂，可以取代物理传感器阵列的使用。这种使用方式在传感器的采购和维护成本方面能够节省大量开支，同时还能减少与传感器故障和失效相关的罚款。
由于这些模型是基于经验数据使用机器学习创建的，它们并不需要太多的人力时间和精力。然而，它们从人类专业知识中获益良多，主要是由于对输入数据的精心选择。由于这些模型包含了重要的人类专业知识，并且它们经过了对测量数据的仔细检查，我们可以得出结论，模型的输出是可靠的。
