前言
随着基础设施的逐步完善,物联网逐步在影响生活的方方面面,而其中数据的应用扮演关键的作用。物联网场景中大量数据由设备端不断进行上报的数据,比如端上传感器采集的数据、设备的监控数据、设备的轨迹数据等。这类数据具有数据规模大,一般仅新增数据,很少更新,具备非常强的时效性同时也具有长期分析价值。这类数据一般称为物联网中的时序数据。而对于这些数据的应用往往需要如下的产品能力
- 支持时序数据模型
- 支持时间线的元数据检索
- 支持数据的聚合计算
- 支持对接可视化组件
在存储这类数据时,常见开源产品可以选择OpenTSDB或者开源HBase等。但面临海量数据规模,还是会有高昂的存储成本与运维代价,同时还需要数据接入,各类适配等大量工作。
如何简单高效低成本完成数据存储,释放人力,投入到数据价值挖掘是表格存储 物联网时序模型帮助大家解决的问题。
物联网时序模型
表格存储的时序模型是针对时间序列数据的特点进行设计,适用于物联网设备监控、设备采集数据、机器监控数据等场景。自21年9月公测,经过长时间打磨,功能已经正式商业化
功能核心优势如下:
- 灵活易用的数据模型:时序数据建模方式,用户无须预定义表结构。支持单值与多值数据模型灵活选择
- 丰富的查询能力:支持SQL与API方式查询,灵活简单。同时支持丰富的时间序列统计聚合查询,满足不同场景的应用需求
- 便捷的元数据查询与检索:支持自动构建元数据索引,可以支持多条件组合检索,能够快速高效的查询相关元数据
- Serverless低成本:服务能力自动水平扩展、支持高并发写入,无需额外的运维投入。同时存储支持更高的压缩比,更低成本存储长期海量数据
物联网时序数据建模
首先将数据分为时间线元数据和数据点两部分。
数据类型 | 描述 |
---|---|
时间线元数据 | 时间线元数据也称为时间序列元数据,表示一条时间线的标识和属性信息。时间线标识用来唯一确定一条时间线,属性信息支持修改,可用于时间线检索。 |
数据点 | 数据点由产生数据的时间和数据值两部分组成,在一个时间点上可以设置多个数据值,每个值可看作数据库中的一列,包括列名和列值。列值支持多种数据类型,包括布尔、整型、浮点数、字符串和二进制。 |
时间线元数据建模
数据线元数据包含以下5个字段。
字段 | 描述 | 举例 |
---|---|---|
度量名称 | 描述所度量的数据类别的名称 | 按照数据类别命名:车辆轨迹、物流轨迹等 按照度量物理量命名:温度、湿度、电量等 |
数据源 | 描述产生数据的数据源或者设备 | 车辆的ID、设备ID、传感器ID等 |
标签 | 一个或多个自定义标签,作为一条时间线的主键的一部分,不可变 | 设备相关的不可变属性,比如设备型号、设备所属用户等 |
属性 | 时间线的可变属性,类似于标签,但可通过UpdateTimeseriesMeta接口进行修改 | 设备的可变属性,比如设备状态等 |
更新时间 | 时间线的更新时间,在更新属性时会同步更新。同时服务端对于持续有数据上报的时间线,也会定期修改更新时间,可用于判断一条时间线是否活跃 | 系统设置的一个时间线戳 |
对于某个业务场景,可根据上述字段的描述,定义出这个场景的度量名称字段、数据源字段、一个或多个标签字段,这三部分作为一条时间线的唯一标识(TimeseriesKey)。
在写入数据时必须提供TimeseriesKey和一些数据点,服务端会自动判断该时间线是否之前写入过,会自动创建时间线元数据索引。而时间线的可变属性,可以通过UpdateTimeseriesMeta接口进行写入和更新。
IoTstore的时序模型支持以API或SQL的方式单独对时间线元数据进行多条件的检索查询,支持上述5个字段的任意组合条件查询。
数据示例:
数据点建模
数据点部分,是由一个时间字段和多个数据值字段组成。
字段 | 描述 | 示例 |
---|---|---|
时间 | 表示产生数据点的时间,为一个微秒级别的时间戳。服务端会根据这个时间进行数据的生命周期管理,包括数据自动过期以及数据冷热分层等 | 1638171163000000 |
数据点 | 数据点部分支持一行写入多列数据值,每列包含一个列名和列值,支持多种数据类型,且无须预先定义数据值的表结构 | 比如车辆行驶数据,记录当前车辆的里程、速度、温度、发动机状态参数等 |
IoTstore的数据点部分无须预定义表结构,而是在每次写入时指定列名和类型,因此使用上面非常方便,可以灵活的添加新的数据列。对于这种灵活的表结构,下面也会介绍如何通过SQL语句进行数据查询。
数据示例:
数据检索和分析
通过SQL进行查询,支持通过控制台、SDK、或者JDBC的方式调用。SQL提供了强大的表达能力,可以一次查询多条时间线的数据,也可以对时间线数据进行聚合统计等操作。
IoTstore的时序模型支持三种SQL查询模式,分别是仅查询元数据、以单值模型查询数据和以多值模型查询数据。这三种模式是通过不同的SQL映射关系来实现的。
映射关系类型 | 描述 | 创建方式 | 在SQL中的表名 |
---|---|---|---|
时间线元数据映射关系 | 查询时间线元数据。 | 创建时序表后,系统自动建立SQL映射关系。 | 在时序表名称后拼接::meta,即时序表名::meta |
单值模型映射关系 | 以单值模型查询时序数据。 | 创建时序表后,系统自动建立SQL映射关系。 | 与时序表名相同 |
多值模型映射关系 | 以多值模型查询时序数据。 | 创建时序表后,由用户手动建立SQL映射关系。 | 在时序表名后拼接::后缀,即时序表名::后缀,其中后缀由用户在创建时自定义 |
时间线元数据SQL查询:将时序表中的时间线单独作为一个SQL表进行查询,可以很方便的进行时间线的管理。
单值模型SQL查询:以单值模型查询SQL数据,会将一行中的多列数据点映射为多行、每行一个数据点的模式。这种查询模式不需要手动建立SQL映射关系,可以查询表中任意一列的数据,比较灵活。比较适合本身是以单值模型建模或者每次仅查询某个数据列的场景。
多值模型SQL查询:以多值模型查询SQL数据,需要在查询前创建多值模型的SQL映射关系。创建SQL映射关系时需要提供要加入SQL映射关系的数据列的列名和类型。因为时序模型在写入前无须预定义表结构,因此是一种半结构化的模型,创建多值模型SQL映射关系相当于是给半结构化的数据模型创建一个结构化的映射,不影响数据写入和存储,且映射关系可动态修改。多值模型比较符合数据写入时的数据模型,可以方便的对多列数据进行查询、筛选和聚合操作等。
总结
本文简单介绍了表格存储物联网时序模型的特点与基础概念,详细可以参考文档中心-时序模型。同时这里也有更多的场景实践文章:
希望本次分享能够对您的业务带来帮助,如果希望继续交流,可以加入我们的开发者技术交流群,可搜索群号『11789671』或『23307953』,亦可直接扫码加入。