如何解决IoT数据入仓的客户实践

简介: 随着物联网应用场景的深入,企业开始进入挖掘设备上传的数据,用于客户端应用扩展后服务营收,同时也用于数字化运营、风控,帮助企业高效治理,和产品演进决策依据。但是物联网数据上云后涉及到的大数据链路开发治理,以及产生的成本都是企业需要面临的挑战,本文以一个真实客户案例整理出的实践案例,介绍如何基于阿里云物联网平台数据服务产品能力搭建企业物联网大数据应用架构。

背景

随着物联网应用场景的深入,企业开始进入挖掘设备上传的数据,用于客户端应用扩展后服务营收,同时也用于数字化运营、风控,帮助企业高效治理,和产品演进决策依据。

但是物联网数据上云后涉及到的大数据链路开发治理,以及产生的成本都是企业需要面临的挑战,本文以一个真实客户案例整理出的实践案例,介绍如何基于阿里云物联网平台数据服务产品能力搭建企业物联网大数据应用架构。

业务描述

案例企业有4个业务同时使用物联网数据:

① 企业信息部门需要分析 1年范围的设备时序数据,产出设备增长、活跃的企业经营指标;

② 业务部门需要查询近 3天左右,用于分析设备启停周期的业务应用;

③ 企业风控部门需要追踪设备近6个月的记录,用于事故追溯查询等。

④ 客户端客户设备中心,需要透出单设备统计指标,提供增值服务以增加客户使用粘性,和周边产品的运营销售。

老架构

基于以上业务场景,案例企业搭建的数据架构图如下:

1)为了满足①、②业务场景,从物联网配置云产品流转到OTS,并且向上兼容“信息部门”至少存储 1年时序数据。

2)为了满足③业务场景,增加一条云产品流转到Lindorm,用于服务风控业务。

3)统计指标在物联网平台调度生成后,通过Data API轮询同步到RDS,作为客户端查询使用。

image.png

存在的问题

主要面临3大挑战,

第一,整体数据架构复杂,数据链路多存在稳定性风险,增加管理和运维的难度和成本;

第二,JAVA应用轮询调用Data API,无法满足大规模数据同步的性能要求;

第三,产生不必要的中间存储成本,企业信息部门无需实时分析时序数据,但是为了兼容业务需要额外多存储了362天的数据。

新架构

物联网平台作为企业设备上云的基础设施,看到了这个共性场景。推出了IoTDataSource产品模块,目前已经发布了Dataworks版本(iot reader),企业可以在Dataworks配置集成任务直接从物联网平台集成数据到企业数仓。

IoTDataSource Flink版本正在规划开发

image.png

案例企业新架构如上图,在满足4个业务场景需求的同时,主要改变是

1)按需配置云产品流转OTS的数据存储周期(3天过期);

2)物联网数据直接配置Dataworks集成任务,一份时序数据用于“信息部分”分析使用,同时配置数据同步任务到Lindorm。

3)JAVA应用无需轮询调用物联网平台的Data API,直接集成入仓后同步到RDS指标库。

带来的好处

1)按需规划高性能存储时长,合理选择离线和实时业务所需存储,大大降低了整体数据存储成本。

存储成本计算公式:高性能存储空间(1年)*T1 元/TB/月 - (高性能存储空间(3天)*T1 元/TB/月 + 离线存储空间*T2 元/TB/月)

2)方便设备时序数据集成企业数仓,设备时序数据更容易融合业务维度分析,增加设备数值化的应用价值。

3)数据链路更简洁,合并4条数据链路为分析和事务两条链路,降低管理和运维的难度和成本。

后续规划

除了离线场景,实时更是物联网必须的场景应用。目前已经规划了IoTDataSource For Flink,大概6月底左右开放公测。

相关链接

数据集成:https://help.aliyun.com/document_detail/2244394.html

产品免费使用(可以领取企业实力1个月):https://free.aliyun.com/?product=9602820&spm=5176.28055625.J_5831864660.8.6ee6154aqJejSH&scm=20140722.M_9553144.P_154.MO_1802-ID_9553144-MID_9553144-CID_20080-ST_7663-V_1

相关实践学习
钉钉群中如何接收IoT温控器数据告警通知
本实验主要介绍如何将温控器设备以MQTT协议接入IoT物联网平台,通过云产品流转到函数计算FC,调用钉钉群机器人API,实时推送温湿度消息到钉钉群。
阿里云AIoT物联网开发实战
本课程将由物联网专家带你熟悉阿里云AIoT物联网领域全套云产品,7天轻松搭建基于Arduino的端到端物联网场景应用。 开始学习前,请先开通下方两个云产品,让学习更流畅: IoT物联网平台:https://iot.console.aliyun.com/ LinkWAN物联网络管理平台:https://linkwan.console.aliyun.com/service-open
相关文章
|
8月前
|
传感器 监控 数据可视化
手把手教你用IoT设备监控家庭环境数据
本实验带您体验如何通过六合一传感器(温度、湿度、二氧化碳、PM2.5、PM10、甲醛)实现家庭环境数据实时采集,并搭建可视化大屏实时监控。
306 0
|
8月前
|
小程序 算法 物联网
10分钟体验IoT数据可信上链
模拟IoT设备采集的数据上链,通过配置数据处理规则、路由规则实现数据完整性和机密性,实现数据可信上链。
280 1
|
8月前
|
监控 物联网 机器人
钉钉群中如何接收IoT温控器数据告警通知
本实验主要介绍如何将温控器设备以MQTT协议接入IoT物联网平台,通过云产品流转到函数计算FC,调用钉钉群机器人API,实时推送温湿度消息到钉钉群。
183 2
|
12月前
|
消息中间件 网络协议 物联网
「物联网架构」HiveMQ和Apache Kafka流式处理IoT数据和MQTT消息
「物联网架构」HiveMQ和Apache Kafka流式处理IoT数据和MQTT消息
|
12月前
|
存储 数据采集 传感器
【年终特辑】看见科技创新力量 洞见时代创业精神—数字农业—冲程科技:IoT与农业生产最佳实践相结合,将农事运营管理标准化
【年终特辑】看见科技创新力量 洞见时代创业精神—数字农业—冲程科技:IoT与农业生产最佳实践相结合,将农事运营管理标准化
157 0
|
存储 SQL 人工智能
如何解决IoT数据的存储计算的实践案例
物联网数据往往来自于智能设备或者传感器设备,这些设备只要运行中,将持续不断产生设备数据。同时这些数据的使用价值根据场景千差万别,其中时效性对不同场景有很大影响,如何解决好存储和计算是物联网数字化场景的关键问题。
EMQ
|
传感器 算法 网络协议
MQTT 客户端自动重连最佳实践|构建可靠 IoT 设备连接
本文介绍在MQTT客户端代码实现过程中,自动重连逻辑设计的重要性与示例,帮助读者设计更为合理的重连代码,构建更加稳定可靠的物联网设备连接。
EMQ
857 0
MQTT 客户端自动重连最佳实践|构建可靠 IoT 设备连接
|
传感器 数据采集 运维
当一座钢铁森林 变成IoT智能化数据
摒弃传统人力运维,首钢京唐为生产设备装上“智能听诊器”!
395 0
当一座钢铁森林 变成IoT智能化数据
|
数据采集 小程序 前端开发
IoT小程序在展示中央空调采集数据和实时运行状态上的应用
IoT小程序框架在跨系统平台(AliOS Things、Ubuntu、Linux、MacOS、Window等)方面提供了非常优秀的基础能力,应用的更新升级提供了多种方式,在实际业务开发过程中可以灵活选择。IoT小程序框架通过JSAPI提供了调用系统底层应用的能力,同时提供了自定义JSAPI扩展封装的方法,这样就足够业务开发通过自定义的方式满足特殊的业务需求。 IoT小程序在前端框架能力、应用框架能力、图形框架能力都进行了适配和优化。那么接下来,我们按照其官方步骤搭建开发环境,然后结合中央空调数据采集和状态显示的实际应用场景开发物联网小程序应用。
23684 6
IoT小程序在展示中央空调采集数据和实时运行状态上的应用