背景说明
物联网数据往往来自于智能设备或者传感器设备,这些设备只要运行中,将持续不断产生设备数据。同时这些数据的使用价值根据场景千差万别,其中时效性对不同场景有很大影响,大致场景如下:
1)设备监控运维场景下,超过小时周期的数据参考价值就很小了,并且往往需要秒级处理要求;
2)在线业务场景下,应用系统需要使用一定周期的数据,比如7天,进行事务型应用场景,并且往往需要分钟级处理要求;
3)经营统计分析场景下,往往需要保持1~2年的数据周期,并且往往按小时或按天出计算结果;
4)基于人工智能的分析场景下,设备全周期的数据是AI模型的基础,并且处理要求跟业务场景各不相同。
客户面临的挑战
在不同的数据生命周期中,客户需要采用不同的技术方案去存储和计算这些数据,在面对着不同的业务场景,以下是较为典型的选型模式:
1)在设备监控运维场景下,数据存储在MQ等流数据存储产品中,并使用Flink等流计算框架进行计算;
2)在事务型在线业务场景下,数据存储在OTS、TSDB等在线数据库进行存储和计算;
3)在统计分析场景下,数据存储在MaxCompute、Hadoop等大数据仓库中,使用Spark或Python进行计算;
4)在人工智能的应用场景下,往往与大数据仓库组合使用,比如在dataworks上使用PAI,Hadoop上使用Spark ML等。
当客户在面对几种或全部这些存储计算场景时,需要采用不同的技术方案选择和使用,面临的主要挑战:
1)数据链路和架构过于复杂,技术方案选型眼花缭乱;
2)在不同产品间同步和存储数据,往往存在数据冗余和一致性风险;
3)不同生命周期的数据存储难以规划使用费用较优的存储方案。
我们的解决方案
针对这些共性的问题的抽象和思考,阿里云IoT平台逐步建设了一套物联网数据存储、计算的方案。
平台提供了IoT数据存储服务,包括数据分层存储,并且在数据存储上提供数据导出、变更通知订阅、及连接大数据产品的组件等必要的存储相关服务。同时也建设了计算组件供快捷处理IoT数据,主要包括实时数据处理、交互式分析及离线计算。
分层存储
简单算一笔账,现在平台某家摩托车厂商客户每天产生约20GB数据,按5年时间大概产生36TB数据。使用在线数据库产品大概年费用在30万~50万不等,采用IoT平台归档存储年费用不到2万元。
如果客户需要分析数据,可以从归档存储中取回数据,假设取回全部21TB数据年费用差不多8万元。当然更合理的方式是按照数据使用情况来规划备份生命周期和存储类型,同时切分一个归档存储和标准存储的时间范围,以达到成本较优存储方案,如下示意存储规划:
计算模式
实时计算
为了满足物联网实时计算场景,平台提供了实时数据解析模块,基本情况如下:
支持的详细功能项如下表:
官网地址:https://help.aliyun.com/document_detail/307080.html
交互查询
为了满足数据洞察分析,提供一个SQL工作台,可以直接在工作台上编写任意SQL脚本分析观察数据。
另外满足物联网场景,在工作台上开箱即用IoT数据,包括数据如下表:
官网地址:https://help.aliyun.com/document_detail/325548.html
离线统计分析
SQL工作台编写的脚步完成了数据分析洞察,可以配置小时、日调度,系统会定时产出SQL脚本的分析洞察结果。
官网地址:https://help.aliyun.com/document_detail/468676.html
人工智能分析
针对于特定场景,平台内置了人工智能算法模型,这些模型原生对接存储的数据,大限度降低算法的使用门槛。
官网地址:https://help.aliyun.com/document_detail/410542.html
数据获取
分析后数据如何被获取?平台提供了多种方式:
免费报表
为了临时看数,我们提供了免费的可视化报表,使用介绍如下:https://help.aliyun.com/document_detail/188673.html
云云对接
在业务系统使用这些数据,我们提供了data api,使用介绍如下:https://help.aliyun.com/document_detail/253890.html
数据集成
被企业数仓(Dataworks)集成走,我们提供了iot reader,使用介绍如下:
https://help.aliyun.com/document_detail/2244394.html
csv导出
另外我们提供数据本地导出功能,可以按照时间段导出成csv文件。使用介绍如下:https://help.aliyun.com/document_detail/464055.html
相关链接
产品免费使用(可以领取企业实力1个月):https://free.aliyun.com/?product=9602820&spm=5176.28055625.J_5831864660.8.6ee6154aqJejSH&scm=20140722.M_9553144.P_154.MO_1802-ID_9553144-MID_9553144-CID_20080-ST_7663-V_1