一、概述
任何物联网体系中都有两个关键组成部分就是是设备和数据。物联网设备通过物联网生成和传输大量数据。无论是在企业级还是在平台级，都需要一个有效的治理机制，确保这些数据被预期的利益相关者有效地使用，而不是被其他人滥用。
物联网中的数据治理与企业中的数据治理具有相同的特征，如数据收集、数据质量、数据存储、数据处理和数据消费。然而，物联网数据治理中需要解决数据生命周期中的一些其他方面：
1、 通过传感器或设备收集的数据是否正确；
2、 通过网络将数据发送到云，然后将其存储到云平台；
3、 分析数据以预测或优化结果；
4、 将数据分发给消费者或其他应用程序；
5、 在整个生命周期中管理数据的隐私和安全性；
6、 在定义物联网数据管理实践时，必须考虑物联网环境或用例，例如管理大型基础设施（智能城市）、管理公用设施基础设施（能源网格）或管理生产线或制造线。
二、在整个物联网数据生命周期中管理物联网数据
物联网架构的每一层都必须在其整个生命周期中管理物联网数据。物联网数据生命周期从采集数据的物理层（设备和网关）开始，经过数据传输的通信层，再经过数据存储和数据处理的平台服务层，最后到数据可视化或数据报表的应用层。
物联网数据管理不仅涉及传感器，还涉及执行器和边缘网关。例如，可视门锁可以具有照相机来拍摄访客的照片，可以根据边缘网关上的一组预先批准的来处理照片以自动识别访客，并启动门锁以打开门。因此，您必须管理收集的传感器数据，管理用于处理或过滤传感器数据的参考数据，最后管理发送到执行器的控制数据。
为了处理数据（实时数据或历史数据），来自传感器的数据必须存储在适当的存储器中。根据数据格式、数据频率和处理需要，需要确定适当的存储，并将数据安全地传输到存储平台。端到端物联网数据管理需要解决数据的安全传输、存储和消费问题。
1、数据收集
物联网数据收集从成百上千的传感器开始。这些传感器可以集成在静态设备（如烟雾报警器）或移动设备（如导航设备）中。这些传感器可能由各种各样的制造商制造，因此，在数据格式和协议方面可能有各种各样的标准。它们可能需要定期校准。根据传感器标准，数据可能需要在发送到服务器之前进行聚合或过滤。
我们还要根据物联网方案的具体需求对这些不同来源的数据进行建模，使其统一，并且必须确保数据满足所需的质量要求，以便将数据从“原始”数据转换为“可用”数据。这一阶段通常被视为未知、不可见或无组织物联网数据世界与下一个生命周期阶段的结构化、有意义或可用输入之间的第一个网关。
2、数据建模
数据建模需要从物联网方案上下文的标准元数据开始，也可以从定义要实施的数据结构的组织的企业上下文开始。虽然某个工厂或该工厂某一部分的传感器元数据标准可能是该方案所独有的，但我们更希望为企业整个供应链建立企业级元数据标准。
由于设备和业务解决方案的不同性质，要有一个合适的元数据标准，制定详细级别的标准是相当困难的。最重要的是不要采取“一刀切”的做法。根据业务上下文或解决方案上下文，选择可跨设备和制造商工作但允许您强制实施治理策略的粒度。
这是非常重要的，要确保传感器是良好的校准，特别是在苛刻的工业环境或高度敏感的仪器。需要以足够的粒度和足够的频率收集数据，以便确定或至少推断传感器校准是否关闭。如果无法确定是否关闭了校准，则可能需要为常规手动验证设置策略，这可能代价更高。
企业构建的物联网平台要支持定义逻辑设备模式，以抽象出复杂性，并将物联网应用程序与特定于供应商的设备详细信息隔离开来。在设备架构中，可以为来自设备的不同数据（尤其是来自不同供应商的设备）使用有意义的属性名称。一旦定义了模式，就可以使用该模式基于逻辑设备模式创建数据规则和相应的操作。
3、数据质量
除了数据建模之外，还必须考虑数据质量，包括一致性、完整性、及时性和可靠性。
一致性：数据一致性是指同一传感器在短时间内报告的一系列数据点之间的相关性。例如，温度传感器预计不会在几秒钟内报告非常不同的温度读数或温度的剧烈波动。或者，地理位置传感器不希望在几秒钟内报告相距许多公里的位置。如果发生这种情况，很可能是传感器有故障。如果校准关闭，传感器可能会报告一致但不正确的读数。在关键的用例中，您可以包含多个传感器，然后统计相关的读数，以确定哪些读数不一致。定期报告与其他传感器读数不一致的数据的传感器可能会自动报告进行健康检查。
（1） 完整性：数据的完整性是指所有支持数据点是否可用；例如，支持预测事件的原始数据或不存在间隙的时间序列数据。质量数据是指可以在特定时间点追溯到特定传感器的进一步详细数据点。在相关的情况下，完整性可以指组合和关联来自多个传感器甚至来自其他信息系统的数据的能力。
（2） 及时性：由于如此多的物联网数据是实时数据还是近实时数据，因此确定传感器数据还是派生数据是否准时到达网络中所需的点变得至关重要。我们希望能够及时处理数据以防止或抢占事件。当关联多个传感器的读数很重要时，及时性可能包括同步这些传感器的数据的能力。
（3） 可靠性：可靠性当然是最重要的，特别是对于任务关键型应用。为了确保可靠性，传感器的测量必须在给定的传感器使用寿命内准确且可重复。读数精度是指传感器必须达到的测量精度要求。重复性是指传感器在相同的情况下是否能产生相同的测量精度。例如，如果将地理位置传感器带回同一个街角，则传感器需要产生所需精度的相同位置读数。
4、数据传输
物联网原始数据来自不同的离散源，具有不同的格式、结构和重要性。通过网络实时传输大量原始数据并存储这些原始数据非常昂贵。数据通常通过有线或无线协议从一个步骤发送到下一个步骤。在设计物联网系统时，必须根据数据和物联网设备的性质仔细选择适当的传输方式。有许多传输协议，包括标准协议HTTP和MQTT，但也有许多专有协议。
5、数据存储
当我们开始讨论存储物联网数据时，必须在物联网管理中解决以下两个问题：
（1） 物联网数据存储在哪里？物联网数据应该如何存储？云始终是存储数据的正确位置吗？那也不一定是。考虑来自移动汽车的图像示例或收集水下图像的潜艇示例。即使是非常高速的互联网连接也不足以在云中实时传输和保存数据。在这种情况下，需要本地中间存储，然后定期将过滤后的数据（通过对其进行预处理、聚合或融合）发送到中央数据库，供进一步分析使用。在物联网系统中，使用中间数据库是一种常见的策略。此外，该技术可以根据物联网数据的大小、类型和速度而变化。当我们选择物联网数据库时，不要从任何关于该数据库的先入为主的概念开始。有很多选项，如SQL、NoSQL、Object/Document DB、文件存储等等。可以根据存储和访问要求选择一种或多种数据库技术。尽管存储成本日益降低，但由于物联网数据量巨大，成本仍然是一个重要因素。
（2） 应该存储多少物联网数据？大多数物联网系统的目标当然不包括存储精确和预定义的数据集。有时数据在存储之前并不为人所知，它被输入到无监督的机器学习算法中，来发现任何有意义的模式。可以允许一定数量的冗余，但就磁盘空间需求而言，应该是可管理的。
6、数据处理和分析
设备和传感器生成大量原始数据，需要对这些数据进行处理，以提取有意义的信息，供用户和应用程序使用。在对来自不同设备（不同供应商）的不同格式的数据应用高级分析之前，需要做以下操作：
（1） 转换和标准化所有数据，并以应用程序理解的统一格式存储；
（2） 过滤不需要的重复数据以提高分析的准确性；
（3） 通过集成来自其他来源的其他结构化或非结构化数据（如企业信息系统数据、天气数据或交通数据）来丰富数据。
处理物联网体系中的数据还需要我们处理：
（1） 能够管理大量需要实时存储和分析的数据；
（2） 提供对数据的快速访问，因为延迟会使数据过时或不可用于做出适当的策略（例如，考虑人们驾驶联网汽车的场景）；
（3） 处理错误和漏读；
（4） 计划并确保数据标准化和互操作性，需要处理协议和数据格式问题，包括组合多种数据格式和聚合来自不同设备和格式的数据；
（5） 根据用例为所需的分析处理类型设计物联网解决方案，例如实时、机器学习、认知或边缘分析。例如，机器学习模型对于基于过去数据和故障模型的资产管理解决方案检测可能的设备故障非常有用。
因此，物联网治理团队必须通过以下物联网数据治理策略来集中计算能力：
（1） 数据收集策略，用于确定如何收集和发送数据以进行进一步处理。数据可以作为原始数据发送，也可以在初始处理后发送，这取决于业务需求和设备功能。这些策略还建立了安全协议，以确保接收到的数据是有效的数据。
（2） 数据过滤策略，定义收集数据后如何对其进行管理。并非每个数据点都需要一直发送到数据中心。传感器数据通常在发送到网络中的下一个点之前进行聚合处理。由于大多数物联网设备都是指低功耗设备，因此通常有一个网关或聚合点分配给某个区域，该区域管理和收集来自该区域内传感器的数据。例如，电梯中的高度传感器可能会收集每100毫秒收集的原始数据并将其发送到控制器网关，控制器网关可能会确定电梯是否在楼层之间移动或卡住，然后网关可能会将数据发送到另一个聚合器，该聚合器报告跨多个电梯的故障事件。
（3） 数据上传策略，定义数据对于进一步处理和长期存储的意义。在物联网设备生成的海量数据中，只有数据点支持的关注的事件需要上传到云端进行处理和长期存储。因此，通常只上传经过处理的过滤数据。原始数据点很少被发送用于长期存储。但是，网络中的每个点都可能存储一些相关数据，以便进行详细的审核、缺陷标识或运行状况检查。在上面的电梯示例中，控制器网关可以存储过去24小时的原始高度数据，以便在检测到故障事件时可用于进一步诊断。
7、数据消耗
数据使用阶段主要是数据选择、充实、清理、报告、可视化和其他内务管理活动。在一个很高的层次上，这一阶段有两种策略：
（1） 处理已知数据——系统已经熟悉数据，并且已经定义了过滤、预处理、分析、后处理等处理步骤。报告的要求也很明确，系统的设计和实现是以一个明确的目标，即如何处理数据。
（2） 未知数据的处理——在这种情况下，“如何处理数据”部分在开始时没有很好的定义，而是在对数据进行初步分析后的后期派生出来的。在这种情况下，数据消耗量也更大。但是，报告要求较少，因为生成的报告在现阶段可能没有意义或用处。
要从物联网解决方案中获取价值，需要以安全的方式向外部用户和其他应用程序提供原始或处理过的数据（由物联网应用程序提供）。这一阶段的主要目标和相关治理策略如下：
（1） 数据推/拉策略，定义是连续轮询设备以获取数据，还是设计设备将数据发送到服务器而无提示。过滤策略，有助于优化数据吞吐量并定义传感器设备必须如何将过滤条件应用于数据更新事件，以便仅在需要时才引发这些事件。
（2） 数据共享策略，指定谁可以查看或使用物联网数据以及访问机制。通过使用策略，用于确定数据是通过使用专用通道还是公共通道使用。
（3） 使用-消费QoS策略，用于标识和定义物联网数据的QoS参数，例如性能、吞吐量、可靠性和数据的可用性。使用情况跟踪策略，定义如何使用物联网数据。数据收集过程和过滤标准可以相应地进行微调。货币化政策，定义物联网数据和模式、分析和决定是否具有货币价值。货币化是指利用物联网数据实现财务效益。保留策略，定义可以维护多少数据。即使是大数据最终也会变得太大，维护成本太高。
8、物联网数据隐私和安全管理
由不同物联网设备、服务和系统收集和存储的数据正越来越多地受到监管机构和政府的审查。围绕保护敏感和个人数据，正在出台更严格的法律法规。对于开发人员和设计人员来说，更重要的是要确切地知道存储了哪些数据以及为什么要存储这些数据。此外，可能会有专门针对国家或地区的法律或法规，使物联网数据的物理位置成为一个重要的考虑因素。在美国，有健康保险可携带性和责任法案（HIPPA）。在欧盟，通用数据保护条例（GDPR）于2016年4月通过，并于2018年5月生效。而且，如果物联网方案涉及无人机的使用，那么还有无人机的网络法律，比如以色列。
在设计物联网解决方案时，需要牢记以下物联网数据隐私和安全指南：
（1） 基于灵敏度的数据分类。数据定义需要根据个人识别信息（PII）、敏感个人信息（SPI）、安全信息和公开信息对数据进行明确分类。考虑这些例子：个人的健康监测数据可能被认为是SPI，任何可追踪到个人的数据都可能被认为是PII，公共场所的闭路电视录像可能需要安全，这样黑客就不会用假剪报代替事实。
（2） 控制和验证上传的数据。数据上传后，必须保护数据，防止未经授权的访问和操作。必须对每一类数据建立必要的控制。
（3） 数据隐私设计。物联网方案必须从头设计，以确保数据隐私。该解决方案必须对数据应用诸如数据分区、假名化、匿名化或加密等技术，以降低意外泄露的风险，并使消费者能够关联数据以获得敏感信息。
（4） 访问控制。物联网管理团队应通过利用数据定义的粒度，对数据的每个部分建立基于角色的细粒度访问控制。访问控制必须防止通过通用登录进行访问，并且必须强制每个用户对所有访问使用单独的凭据。
（5） 多租户环境下的保护。鉴于几乎所有的物联网数据都存储在云中并进行管理，多租户安全变得至关重要。负责数据处理的人员必须实施隐私设计和控制，以便为每个处理数据的人员分隔一个数据工作区，以防止任何数据交叉，包括在备份和还原物联网数据时。
三、物联网数据管理策略
物联网的数据治理需要有完善的文件政策和制度，以确保物联网方案生成和使用的数据符合所有要求和标准。数据治理需要高度关注安全策略，以允许有效地使用数据。
数据策略参考模型（见下图）可以帮助组织理解和创建一套完整的数据治理策略。模型包括：
（1） 策略生命周期管理，它管理策略的制定、修改、实施和监视。
（2） 数据策略层，这是策略分类的垂直维度，为策略（包括业务、体系结构和操作）提供了一个抽象级别。
（3） 数据策略域，它是策略分类的水平维度，并标识策略层中的每个策略层必须解决或至少考虑的策略域。这包括业务、流程、服务、信息和非功能性需求。
（4） 数据策略管理，协助正确管理策略生命周期，包括策略审核和日志记录，提供可跟踪性、分发和转换以及监视和报告。
（5） 数据生命周期管理，包括与数据收集、传输、存储和处理相关的策略。
物联网数据管理的指示性政策包括以下政策：
（1） 商业政策：
1） 隐私和安全策略，当客户信息是动态数据或静止数据时，必须对其进行加密。任何人都不能查看任何患者数据，但只能由治疗患者的医生查看；
2） 行业监管政策，如果交易额超过10000元，则交易记录将发送至政府税务机关。
（2） 架构策略：
1） 业务规则可用于提供所有权决策，作为维护流程的一部分，根据业务类 型或条件判断到单独的流程路径；
2） 达到适当阈值时启动的预警；
3） 对于数据传输，“如果底层网络不支持安全传输，则使用支持自定义加密的设备。”或者，对于数据存储，“必须将所有15天以上的数据移动到备份存储。”
（3） 运营政策：
1） 访问控制策略，谁可以在运行时访问哪些数据。例如任何人都可以查看来自公共传感器的传感器数据，但测量私有资产状态的传感器数据只能由授权人员查看；
2）消息保护策略，如果传输层不安全，确保在传输消息数据之前对其进行加密；
3）数据完整性策略，数据可以被信任或使用多长时间。
