前言
随着基础设施的逐步完善，物联网逐步在影响生活的方方面面，而其中数据的应用扮演关键的作用。物联网场景中大量数据由设备端不断进行上报的数据，比如端上传感器采集的数据、设备的监控数据、设备的轨迹数据等。这类数据具有数据规模大，一般仅新增数据，很少更新，具备非常强的时效性同时也具有长期分析价值。这类数据一般称为物联网中的时序数据。而对于这些数据的应用往往需要如下的产品能力
- 支持时序数据模型
- 支持时间线的元数据检索
- 支持数据的聚合计算
- 支持对接可视化组件
在存储这类数据时，常见开源产品可以选择OpenTSDB或者开源HBase等。但面临海量数据规模，还是会有高昂的存储成本与运维代价，同时还需要数据接入，各类适配等大量工作。
如何简单高效低成本完成数据存储，释放人力，投入到数据价值挖掘是表格存储 物联网时序模型帮助大家解决的问题。
物联网时序模型
表格存储的时序模型是针对时间序列数据的特点进行设计，适用于物联网设备监控、设备采集数据、机器监控数据等场景。自21年9月公测，经过长时间打磨，功能已经正式商业化
功能核心优势如下：
- 灵活易用的数据模型：时序数据建模方式，用户无须预定义表结构。支持单值与多值数据模型灵活选择
- 丰富的查询能力：支持SQL与API方式查询，灵活简单。同时支持丰富的时间序列统计聚合查询，满足不同场景的应用需求
- 便捷的元数据查询与检索：支持自动构建元数据索引，可以支持多条件组合检索，能够快速高效的查询相关元数据
- Serverless低成本：服务能力自动水平扩展、支持高并发写入，无需额外的运维投入。同时存储支持更高的压缩比，更低成本存储长期海量数据
物联网时序数据建模
首先将数据分为时间线元数据和数据点两部分。
| 数据类型 | 描述 |
|---|---|
| 时间线元数据 | 时间线元数据也称为时间序列元数据，表示一条时间线的标识和属性信息。时间线标识用来唯一确定一条时间线，属性信息支持修改，可用于时间线检索。 |
| 数据点 | 数据点由产生数据的时间和数据值两部分组成，在一个时间点上可以设置多个数据值，每个值可看作数据库中的一列，包括列名和列值。列值支持多种数据类型，包括布尔、整型、浮点数、字符串和二进制。 |
时间线元数据建模
数据线元数据包含以下5个字段。
| 字段 | 描述 | 举例 |
|---|---|---|
| 度量名称 | 描述所度量的数据类别的名称 | 按照数据类别命名：车辆轨迹、物流轨迹等 按照度量物理量命名：温度、湿度、电量等 |
| 数据源 | 描述产生数据的数据源或者设备 | 车辆的ID、设备ID、传感器ID等 |
| 标签 | 一个或多个自定义标签，作为一条时间线的主键的一部分，不可变 | 设备相关的不可变属性，比如设备型号、设备所属用户等 |
| 属性 | 时间线的可变属性，类似于标签，但可通过UpdateTimeseriesMeta接口进行修改 | 设备的可变属性，比如设备状态等 |
| 更新时间 | 时间线的更新时间，在更新属性时会同步更新。同时服务端对于持续有数据上报的时间线，也会定期修改更新时间，可用于判断一条时间线是否活跃 | 系统设置的一个时间线戳 |
对于某个业务场景，可根据上述字段的描述，定义出这个场景的度量名称字段、数据源字段、一个或多个标签字段，这三部分作为一条时间线的唯一标识(TimeseriesKey)。
在写入数据时必须提供TimeseriesKey和一些数据点，服务端会自动判断该时间线是否之前写入过，会自动创建时间线元数据索引。而时间线的可变属性，可以通过UpdateTimeseriesMeta接口进行写入和更新。
IoTstore的时序模型支持以API或SQL的方式单独对时间线元数据进行多条件的检索查询，支持上述5个字段的任意组合条件查询。
数据示例：
数据点建模
数据点部分，是由一个时间字段和多个数据值字段组成。
| 字段 | 描述 | 示例 |
|---|---|---|
| 时间 | 表示产生数据点的时间，为一个微秒级别的时间戳。服务端会根据这个时间进行数据的生命周期管理，包括数据自动过期以及数据冷热分层等 | 1638171163000000 |
| 数据点 | 数据点部分支持一行写入多列数据值，每列包含一个列名和列值，支持多种数据类型，且无须预先定义数据值的表结构 | 比如车辆行驶数据，记录当前车辆的里程、速度、温度、发动机状态参数等 |
IoTstore的数据点部分无须预定义表结构，而是在每次写入时指定列名和类型，因此使用上面非常方便，可以灵活的添加新的数据列。对于这种灵活的表结构，下面也会介绍如何通过SQL语句进行数据查询。
数据示例：
数据检索和分析
通过SQL进行查询，支持通过控制台、SDK、或者JDBC的方式调用。SQL提供了强大的表达能力，可以一次查询多条时间线的数据，也可以对时间线数据进行聚合统计等操作。
IoTstore的时序模型支持三种SQL查询模式，分别是仅查询元数据、以单值模型查询数据和以多值模型查询数据。这三种模式是通过不同的SQL映射关系来实现的。
| 映射关系类型 | 描述 | 创建方式 | 在SQL中的表名 |
|---|---|---|---|
| 时间线元数据映射关系 | 查询时间线元数据。 | 创建时序表后，系统自动建立SQL映射关系。 | 在时序表名称后拼接::meta，即时序表名::meta |
| 单值模型映射关系 | 以单值模型查询时序数据。 | 创建时序表后，系统自动建立SQL映射关系。 | 与时序表名相同 |
| 多值模型映射关系 | 以多值模型查询时序数据。 | 创建时序表后，由用户手动建立SQL映射关系。 | 在时序表名后拼接::后缀，即时序表名::后缀，其中后缀由用户在创建时自定义 |
时间线元数据SQL查询：将时序表中的时间线单独作为一个SQL表进行查询，可以很方便的进行时间线的管理。
单值模型SQL查询：以单值模型查询SQL数据，会将一行中的多列数据点映射为多行、每行一个数据点的模式。这种查询模式不需要手动建立SQL映射关系，可以查询表中任意一列的数据，比较灵活。比较适合本身是以单值模型建模或者每次仅查询某个数据列的场景。
多值模型SQL查询：以多值模型查询SQL数据，需要在查询前创建多值模型的SQL映射关系。创建SQL映射关系时需要提供要加入SQL映射关系的数据列的列名和类型。因为时序模型在写入前无须预定义表结构，因此是一种半结构化的模型，创建多值模型SQL映射关系相当于是给半结构化的数据模型创建一个结构化的映射，不影响数据写入和存储，且映射关系可动态修改。多值模型比较符合数据写入时的数据模型，可以方便的对多列数据进行查询、筛选和聚合操作等。
总结
本文简单介绍了表格存储物联网时序模型的特点与基础概念，详细可以参考文档中心-时序模型。同时这里也有更多的场景实践文章：
希望本次分享能够对您的业务带来帮助，如果希望继续交流，可以加入我们的开发者技术交流群，可搜索群号『11789671』或『23307953』，亦可直接扫码加入。
