表格存储物联网时序模型介绍

简介: 表格存储的时序模型是针对时间序列数据的特点进行设计,适用于物联网设备监控、设备采集数据、机器监控数据等场景。自21年9月公测,经过长时间打磨,功能已经正式商业化。本文简单介绍表格存储时序模型优势、特点以及数据建模建议。

前言

随着基础设施的逐步完善,物联网逐步在影响生活的方方面面,而其中数据的应用扮演关键的作用。物联网场景中大量数据由设备端不断进行上报的数据,比如端上传感器采集的数据、设备的监控数据、设备的轨迹数据等。这类数据具有数据规模大,一般仅新增数据,很少更新,具备非常强的时效性同时也具有长期分析价值。这类数据一般称为物联网中的时序数据。而对于这些数据的应用往往需要如下的产品能力

  • 支持时序数据模型
  • 支持时间线的元数据检索
  • 支持数据的聚合计算
  • 支持对接可视化组件

在存储这类数据时,常见开源产品可以选择OpenTSDB或者开源HBase等。但面临海量数据规模,还是会有高昂的存储成本与运维代价,同时还需要数据接入,各类适配等大量工作。
如何简单高效低成本完成数据存储,释放人力,投入到数据价值挖掘是表格存储 物联网时序模型帮助大家解决的问题。

物联网时序模型

表格存储的时序模型是针对时间序列数据的特点进行设计,适用于物联网设备监控、设备采集数据、机器监控数据等场景。自21年9月公测,经过长时间打磨,功能已经正式商业化
20220512232927.jpg
功能核心优势如下:

  • 灵活易用的数据模型:时序数据建模方式,用户无须预定义表结构。支持单值与多值数据模型灵活选择
  • 丰富的查询能力:支持SQL与API方式查询,灵活简单。同时支持丰富的时间序列统计聚合查询,满足不同场景的应用需求
  • 便捷的元数据查询与检索:支持自动构建元数据索引,可以支持多条件组合检索,能够快速高效的查询相关元数据
  • Serverless低成本:服务能力自动水平扩展、支持高并发写入,无需额外的运维投入。同时存储支持更高的压缩比,更低成本存储长期海量数据

物联网时序数据建模

首先将数据分为时间线元数据和数据点两部分。

数据类型 描述
时间线元数据 时间线元数据也称为时间序列元数据,表示一条时间线的标识和属性信息。时间线标识用来唯一确定一条时间线,属性信息支持修改,可用于时间线检索。
数据点 数据点由产生数据的时间和数据值两部分组成,在一个时间点上可以设置多个数据值,每个值可看作数据库中的一列,包括列名和列值。列值支持多种数据类型,包括布尔、整型、浮点数、字符串和二进制。

时间线元数据建模

数据线元数据包含以下5个字段。

字段 描述 举例
度量名称 描述所度量的数据类别的名称 按照数据类别命名:车辆轨迹、物流轨迹等
按照度量物理量命名:温度、湿度、电量等
数据源 描述产生数据的数据源或者设备 车辆的ID、设备ID、传感器ID等
标签 一个或多个自定义标签,作为一条时间线的主键的一部分,不可变 设备相关的不可变属性,比如设备型号、设备所属用户等
属性 时间线的可变属性,类似于标签,但可通过UpdateTimeseriesMeta接口进行修改 设备的可变属性,比如设备状态等
更新时间 时间线的更新时间,在更新属性时会同步更新。同时服务端对于持续有数据上报的时间线,也会定期修改更新时间,可用于判断一条时间线是否活跃 系统设置的一个时间线戳

对于某个业务场景,可根据上述字段的描述,定义出这个场景的度量名称字段、数据源字段、一个或多个标签字段,这三部分作为一条时间线的唯一标识(TimeseriesKey)。

在写入数据时必须提供TimeseriesKey和一些数据点,服务端会自动判断该时间线是否之前写入过,会自动创建时间线元数据索引。而时间线的可变属性,可以通过UpdateTimeseriesMeta接口进行写入和更新。

IoTstore的时序模型支持以API或SQL的方式单独对时间线元数据进行多条件的检索查询,支持上述5个字段的任意组合条件查询。

数据示例:
1650598119416-de119411-d513-4d42-8cc8-9b30c240d813.png

数据点建模

数据点部分,是由一个时间字段和多个数据值字段组成。

字段 描述 示例
时间 表示产生数据点的时间,为一个微秒级别的时间戳。服务端会根据这个时间进行数据的生命周期管理,包括数据自动过期以及数据冷热分层等 1638171163000000
数据点 数据点部分支持一行写入多列数据值,每列包含一个列名和列值,支持多种数据类型,且无须预先定义数据值的表结构 比如车辆行驶数据,记录当前车辆的里程、速度、温度、发动机状态参数等

IoTstore的数据点部分无须预定义表结构,而是在每次写入时指定列名和类型,因此使用上面非常方便,可以灵活的添加新的数据列。对于这种灵活的表结构,下面也会介绍如何通过SQL语句进行数据查询。

数据示例:
1650598083364-fac21860-15bc-43dc-9546-642d956ba684.png

数据检索和分析

通过SQL进行查询,支持通过控制台、SDK、或者JDBC的方式调用。SQL提供了强大的表达能力,可以一次查询多条时间线的数据,也可以对时间线数据进行聚合统计等操作。
IoTstore的时序模型支持三种SQL查询模式,分别是仅查询元数据、以单值模型查询数据和以多值模型查询数据。这三种模式是通过不同的SQL映射关系来实现的。

映射关系类型 描述 创建方式 在SQL中的表名
时间线元数据映射关系 查询时间线元数据。 创建时序表后,系统自动建立SQL映射关系。 在时序表名称后拼接::meta,即时序表名::meta
单值模型映射关系 以单值模型查询时序数据。 创建时序表后,系统自动建立SQL映射关系。 与时序表名相同
多值模型映射关系 以多值模型查询时序数据。 创建时序表后,由用户手动建立SQL映射关系。 在时序表名后拼接::后缀,即时序表名::后缀,其中后缀由用户在创建时自定义

时间线元数据SQL查询:将时序表中的时间线单独作为一个SQL表进行查询,可以很方便的进行时间线的管理。

单值模型SQL查询:以单值模型查询SQL数据,会将一行中的多列数据点映射为多行、每行一个数据点的模式。这种查询模式不需要手动建立SQL映射关系,可以查询表中任意一列的数据,比较灵活。比较适合本身是以单值模型建模或者每次仅查询某个数据列的场景。

多值模型SQL查询:以多值模型查询SQL数据,需要在查询前创建多值模型的SQL映射关系。创建SQL映射关系时需要提供要加入SQL映射关系的数据列的列名和类型。因为时序模型在写入前无须预定义表结构,因此是一种半结构化的模型,创建多值模型SQL映射关系相当于是给半结构化的数据模型创建一个结构化的映射,不影响数据写入和存储,且映射关系可动态修改。多值模型比较符合数据写入时的数据模型,可以方便的对多列数据进行查询、筛选和聚合操作等。

总结

本文简单介绍了表格存储物联网时序模型的特点与基础概念,详细可以参考文档中心-时序模型。同时这里也有更多的场景实践文章:

希望本次分享能够对您的业务带来帮助,如果希望继续交流,可以加入我们的开发者技术交流群,可搜索群号『11789671』或『23307953』,亦可直接扫码加入。
image.png

相关实践学习
钉钉群中如何接收IoT温控器数据告警通知
本实验主要介绍如何将温控器设备以MQTT协议接入IoT物联网平台,通过云产品流转到函数计算FC,调用钉钉群机器人API,实时推送温湿度消息到钉钉群。
阿里云AIoT物联网开发实战
本课程将由物联网专家带你熟悉阿里云AIoT物联网领域全套云产品,7天轻松搭建基于Arduino的端到端物联网场景应用。 开始学习前,请先开通下方两个云产品,让学习更流畅: IoT物联网平台:https://iot.console.aliyun.com/ LinkWAN物联网络管理平台:https://linkwan.console.aliyun.com/service-open
目录
相关文章
|
关系型数据库 物联网 PostgreSQL
沉浸式学习PostgreSQL|PolarDB 11: 物联网(IoT)、监控系统、应用日志、用户行为记录等场景 - 时序数据高吞吐存取分析
物联网场景, 通常有大量的传感器(例如水质监控、气象监测、新能源汽车上的大量传感器)不断探测最新数据并上报到数据库. 监控系统, 通常也会有采集程序不断的读取被监控指标(例如CPU、网络数据包转发、磁盘的IOPS和BW占用情况、内存的使用率等等), 同时将监控数据上报到数据库. 应用日志、用户行为日志, 也就有同样的特征, 不断产生并上报到数据库. 以上数据具有时序特征, 对数据库的关键能力要求如下: 数据高速写入 高速按时间区间读取和分析, 目的是发现异常, 分析规律. 尽量节省存储空间
718 1
|
19天前
|
存储 安全 物联网
物联网中的通信模型
【8月更文挑战第23天】
24 0
|
数据可视化 物联网
Threejs物联网,养殖场3D可视化(三)模型展示,轨道控制器设置,模型沿着路线运动,模型添加边框,自定义样式显示标签,点击模型获取信息
Threejs物联网,养殖场3D可视化(三)模型展示,轨道控制器设置,模型沿着路线运动,模型添加边框,自定义样式显示标签,点击模型获取信息
871 0
Threejs物联网,养殖场3D可视化(三)模型展示,轨道控制器设置,模型沿着路线运动,模型添加边框,自定义样式显示标签,点击模型获取信息
|
SQL 消息中间件 JSON
从元年到壮年,物联网需要物模型完成进阶
阿里云IoT物模型接入价值与实践
1163 0
从元年到壮年,物联网需要物模型完成进阶
|
存储 搜索推荐 NoSQL
带你读《云存储应用白皮书》之37:3. 表格存储在推荐系统中的应用
带你读《云存储应用白皮书》之37:3. 表格存储在推荐系统中的应用
181 0
|
人工智能 自然语言处理 机器人
|
物联网 时序数据库 计算机视觉
《物联网数据运营之路-时序数据库物联网模型探究》电子版地址
物联网数据运营之路-时序数据库物联网模型探究
113 0
《物联网数据运营之路-时序数据库物联网模型探究》电子版地址
|
数据可视化 物联网
Threejs物联网,工厂3D可视化,加载模型,水流监测,标签动态数据展示
Threejs物联网,工厂3D可视化,加载模型,水流监测,标签动态数据展示
817 0
Threejs物联网,工厂3D可视化,加载模型,水流监测,标签动态数据展示
|
存储 传感器 运维
基于 Tablestore 时序模型构建车联网数据存储
背景最近几年,物联网得到了飞速的发展。在车联网、设备监控、网络监控、快递跟踪等物联网典型场景下,海量监控数据、轨迹数据、传感器数据被生产数来。这些数据产生频率高、数据量大、严重依赖采集时间,是典型的时序数据。传统的数据库是无法应对这种高写入的海量实时数据的,需要使用能够支持时序模型的时序数据库对这些数据进行储存和分析。表格存储时序模型是专门针对时序数据特点,为物联网、车联网等场景设计的。本文基于车
475 0
基于 Tablestore 时序模型构建车联网数据存储

相关产品

  • 物联网平台