如何解决IoT数据的存储计算的实践案例

简介: 物联网数据往往来自于智能设备或者传感器设备,这些设备只要运行中,将持续不断产生设备数据。同时这些数据的使用价值根据场景千差万别,其中时效性对不同场景有很大影响,如何解决好存储和计算是物联网数字化场景的关键问题。

背景说明

物联网数据往往来自于智能设备或者传感器设备,这些设备只要运行中,将持续不断产生设备数据。同时这些数据的使用价值根据场景千差万别,其中时效性对不同场景有很大影响,大致场景如下:

1)设备监控运维场景下,超过小时周期的数据参考价值就很小了,并且往往需要秒级处理要求;

2)在线业务场景下,应用系统需要使用一定周期的数据,比如7天,进行事务型应用场景,并且往往需要分钟级处理要求;

3)经营统计分析场景下,往往需要保持1~2年的数据周期,并且往往按小时或按天出计算结果;

4)基于人工智能的分析场景下,设备全周期的数据是AI模型的基础,并且处理要求跟业务场景各不相同。

客户面临的挑战

在不同的数据生命周期中,客户需要采用不同的技术方案去存储和计算这些数据,在面对着不同的业务场景,以下是较为典型的选型模式:

1)在设备监控运维场景下,数据存储在MQ等流数据存储产品中,并使用Flink等流计算框架进行计算;

2)在事务型在线业务场景下,数据存储在OTS、TSDB等在线数据库进行存储和计算;

3)在统计分析场景下,数据存储在MaxCompute、Hadoop等大数据仓库中,使用Spark或Python进行计算;

4)在人工智能的应用场景下,往往与大数据仓库组合使用,比如在dataworks上使用PAI,Hadoop上使用Spark ML等。

当客户在面对几种或全部这些存储计算场景时,需要采用不同的技术方案选择和使用,面临的主要挑战:

1)数据链路和架构过于复杂,技术方案选型眼花缭乱;

2)在不同产品间同步和存储数据,往往存在数据冗余和一致性风险;

3)不同生命周期的数据存储难以规划使用费用较优的存储方案。

我们的解决方案

针对这些共性的问题的抽象和思考,阿里云IoT平台逐步建设了一套物联网数据存储、计算的方案。

平台提供了IoT数据存储服务,包括数据分层存储,并且在数据存储上提供数据导出、变更通知订阅、及连接大数据产品的组件等必要的存储相关服务。同时也建设了计算组件供快捷处理IoT数据,主要包括实时数据处理、交互式分析及离线计算。

分层存储

简单算一笔账,现在平台某家摩托车厂商客户每天产生约20GB数据,按5年时间大概产生36TB数据。使用在线数据库产品大概年费用在30万~50万不等,采用IoT平台归档存储年费用不到2万元。

如果客户需要分析数据,可以从归档存储中取回数据,假设取回全部21TB数据年费用差不多8万元。当然更合理的方式是按照数据使用情况来规划备份生命周期和存储类型,同时切分一个归档存储和标准存储的时间范围,以达到成本较优存储方案,如下示意存储规划:

image.png

计算模式

实时计算

为了满足物联网实时计算场景,平台提供了实时数据解析模块,基本情况如下:

image.png

支持的详细功能项如下表:

image.png

官网地址:https://help.aliyun.com/document_detail/307080.html

交互查询

为了满足数据洞察分析,提供一个SQL工作台,可以直接在工作台上编写任意SQL脚本分析观察数据。

image.png

另外满足物联网场景,在工作台上开箱即用IoT数据,包括数据如下表:

image.png

官网地址:https://help.aliyun.com/document_detail/325548.html

离线统计分析

SQL工作台编写的脚步完成了数据分析洞察,可以配置小时、日调度,系统会定时产出SQL脚本的分析洞察结果。

image.png

官网地址:https://help.aliyun.com/document_detail/468676.html

人工智能分析

针对于特定场景,平台内置了人工智能算法模型,这些模型原生对接存储的数据,大限度降低算法的使用门槛。

官网地址:https://help.aliyun.com/document_detail/410542.html

数据获取

分析后数据如何被获取?平台提供了多种方式:

免费报表

为了临时看数,我们提供了免费的可视化报表,使用介绍如下:https://help.aliyun.com/document_detail/188673.html

云云对接

在业务系统使用这些数据,我们提供了data api,使用介绍如下:https://help.aliyun.com/document_detail/253890.html

数据集成

被企业数仓(Dataworks)集成走,我们提供了iot reader,使用介绍如下:

https://help.aliyun.com/document_detail/2244394.html

csv导出

另外我们提供数据本地导出功能,可以按照时间段导出成csv文件。使用介绍如下:https://help.aliyun.com/document_detail/464055.html

image.png

相关链接

产品免费使用(可以领取企业实力1个月):https://free.aliyun.com/?product=9602820&spm=5176.28055625.J_5831864660.8.6ee6154aqJejSH&scm=20140722.M_9553144.P_154.MO_1802-ID_9553144-MID_9553144-CID_20080-ST_7663-V_1

相关实践学习
钉钉群中如何接收IoT温控器数据告警通知
本实验主要介绍如何将温控器设备以MQTT协议接入IoT物联网平台,通过云产品流转到函数计算FC,调用钉钉群机器人API,实时推送温湿度消息到钉钉群。
阿里云AIoT物联网开发实战
本课程将由物联网专家带你熟悉阿里云AIoT物联网领域全套云产品,7天轻松搭建基于Arduino的端到端物联网场景应用。 开始学习前,请先开通下方两个云产品,让学习更流畅: IoT物联网平台:https://iot.console.aliyun.com/ LinkWAN物联网络管理平台:https://linkwan.console.aliyun.com/service-open
相关文章
|
8天前
|
分布式计算 NoSQL 物联网
麻省理工IOT教授撰写的1058页Python程序设计人工智能实践手册!
Python是世界上最流行的语言之一,也是编程语言中使用人数增长最快的一种。 开发者经常会很快地发现自己喜欢Python。他们会欣赏Python的表达力、可读性、简洁性和交互性,也会喜欢开源软件开发环境,这个开源环境正在为广泛的应用领域提供快速增长的可重用软件基础。 几十年来,一些趋势已经强有力地显现出来。计算机硬件已经迅速变得更快、更便宜、更小;互联网带宽已经迅速变得越来越大,同时也越来越便宜;优质的计算机软件已经变得越来越丰富,并且通过“开源”方式免费或几乎免费;很快,“物联网”将连接数以百亿计的各种可想象的设备。这将导致以快速增长的速度和数量生成大量数据。 在今天的计算技术中,最新的创新
|
11天前
|
分布式计算 NoSQL 物联网
麻省理工IOT教授撰写的1058页Python程序设计人工智能实践手册!
Python是世界上最流行的语言之一,也是编程语言中使用人数增长最快的一种。 开发者经常会很快地发现自己喜欢Python。他们会欣赏Python的表达力、可读性、简洁性和交互性,也会喜欢开源软件开发环境,这个开源环境正在为广泛的应用领域提供快速增长的可重用软件基础。
|
29天前
|
存储 分布式计算 物联网
Apache IoTDB进行IoT相关开发实践
IoTDB是面向物联网的时序数据库,专注于时间序列数据管理,提供高效的数据处理、集成Hadoop和Spark生态、支持多目录存储策略。它还具有InfluxDB协议适配器,允许无缝迁移原本使用InfluxDB的业务。文章讨论了IoTDB的体系结构,包括数据文件、系统文件和预写日志文件的存储策略,并介绍了如何配置数据存储目录。此外,还提及了InfluxDB版本和查询语法的支持情况。IoTDB在物联网数据管理和分析中扮演关键角色,尤其适合处理大规模实时数据。
34 5
|
1月前
|
存储 分布式计算 物联网
Apache IoTDB进行IoT相关开发实践
物联网技术带来数据库管理挑战,特别是实时数据整合与安全性。IoTDB是一个专为时间序列数据设计的数据库,提供数据收集、存储和分析服务,适用于海量物联网数据。其架构包括数据文件、系统文件和预写日志文件的管理,并支持多目录存储策略。此外,IoTDB还开发了InfluxDB协议适配器,使得用户能无缝迁移原有InfluxDB业务。此适配器基于IoTDB的Java服务接口,转换InfluxDB的元数据格式,实现与IoTDB的数据交互。目前,适配器支持InfluxDB 1.x版本及部分查询语法。
65 5
|
1月前
|
机器学习/深度学习 传感器 算法
物联网(IoT)数据与机器学习的结合
【6月更文挑战第6天】物联网和机器学习加速融合,驱动数据收集与智能分析。通过机器学习算法处理 IoT 数据,实现智能家居、工业生产的智能化。示例代码展示如何用线性回归预测温度。结合带来的优势包括实时监测、预警、资源优化,但也面临数据质量、隐私安全、算法选择等挑战。未来需强化技术创新,应对挑战,推动社会智能化发展。
73 0
|
10月前
|
传感器 监控 数据可视化
手把手教你用IoT设备监控家庭环境数据
本实验带您体验如何通过六合一传感器(温度、湿度、二氧化碳、PM2.5、PM10、甲醛)实现家庭环境数据实时采集,并搭建可视化大屏实时监控。
397 0
|
10月前
|
监控 物联网 Java
|
10月前
|
监控 物联网 机器人
钉钉群中如何接收IoT温控器数据告警通知
本实验主要介绍如何将温控器设备以MQTT协议接入IoT物联网平台,通过云产品流转到函数计算FC,调用钉钉群机器人API,实时推送温湿度消息到钉钉群。
267 2
|
10月前
|
小程序 算法 物联网
10分钟体验IoT数据可信上链
模拟IoT设备采集的数据上链,通过配置数据处理规则、路由规则实现数据完整性和机密性,实现数据可信上链。
307 1
|
10月前
|
编解码 小程序 JavaScript
阿里云IoT小程序应用开发和组件实践
通过实验,了解阿里云IoT小程序的应用开发的方法,了解其内置的基础组件使用,以及基于Vue.js实现可复用的自定义组件的方法。
400 1