如何解决IoT数据入仓的客户实践

简介: 随着物联网应用场景的深入,企业开始进入挖掘设备上传的数据,用于客户端应用扩展后服务营收,同时也用于数字化运营、风控,帮助企业高效治理,和产品演进决策依据。但是物联网数据上云后涉及到的大数据链路开发治理,以及产生的成本都是企业需要面临的挑战,本文以一个真实客户案例整理出的实践案例,介绍如何基于阿里云物联网平台数据服务产品能力搭建企业物联网大数据应用架构。

背景

随着物联网应用场景的深入,企业开始进入挖掘设备上传的数据,用于客户端应用扩展后服务营收,同时也用于数字化运营、风控,帮助企业高效治理,和产品演进决策依据。

但是物联网数据上云后涉及到的大数据链路开发治理,以及产生的成本都是企业需要面临的挑战,本文以一个真实客户案例整理出的实践案例,介绍如何基于阿里云物联网平台数据服务产品能力搭建企业物联网大数据应用架构。

业务描述

案例企业有4个业务同时使用物联网数据:

① 企业信息部门需要分析 1年范围的设备时序数据,产出设备增长、活跃的企业经营指标;

② 业务部门需要查询近 3天左右,用于分析设备启停周期的业务应用;

③ 企业风控部门需要追踪设备近6个月的记录,用于事故追溯查询等。

④ 客户端客户设备中心,需要透出单设备统计指标,提供增值服务以增加客户使用粘性,和周边产品的运营销售。

老架构

基于以上业务场景,案例企业搭建的数据架构图如下:

1)为了满足①、②业务场景,从物联网配置云产品流转到OTS,并且向上兼容“信息部门”至少存储 1年时序数据。

2)为了满足③业务场景,增加一条云产品流转到Lindorm,用于服务风控业务。

3)统计指标在物联网平台调度生成后,通过Data API轮询同步到RDS,作为客户端查询使用。

image.png

存在的问题

主要面临3大挑战,

第一,整体数据架构复杂,数据链路多存在稳定性风险,增加管理和运维的难度和成本;

第二,JAVA应用轮询调用Data API,无法满足大规模数据同步的性能要求;

第三,产生不必要的中间存储成本,企业信息部门无需实时分析时序数据,但是为了兼容业务需要额外多存储了362天的数据。

新架构

物联网平台作为企业设备上云的基础设施,看到了这个共性场景。推出了IoTDataSource产品模块,目前已经发布了Dataworks版本(iot reader),企业可以在Dataworks配置集成任务直接从物联网平台集成数据到企业数仓。

IoTDataSource Flink版本正在规划开发

image.png

案例企业新架构如上图,在满足4个业务场景需求的同时,主要改变是

1)按需配置云产品流转OTS的数据存储周期(3天过期);

2)物联网数据直接配置Dataworks集成任务,一份时序数据用于“信息部分”分析使用,同时配置数据同步任务到Lindorm。

3)JAVA应用无需轮询调用物联网平台的Data API,直接集成入仓后同步到RDS指标库。

带来的好处

1)按需规划高性能存储时长,合理选择离线和实时业务所需存储,大大降低了整体数据存储成本。

存储成本计算公式:高性能存储空间(1年)*T1 元/TB/月 - (高性能存储空间(3天)*T1 元/TB/月 + 离线存储空间*T2 元/TB/月)

2)方便设备时序数据集成企业数仓,设备时序数据更容易融合业务维度分析,增加设备数值化的应用价值。

3)数据链路更简洁,合并4条数据链路为分析和事务两条链路,降低管理和运维的难度和成本。

后续规划

除了离线场景,实时更是物联网必须的场景应用。目前已经规划了IoTDataSource For Flink,大概6月底左右开放公测。

相关链接

数据集成:https://help.aliyun.com/document_detail/2244394.html

产品免费使用(可以领取企业实力1个月):https://free.aliyun.com/?product=9602820&spm=5176.28055625.J_5831864660.8.6ee6154aqJejSH&scm=20140722.M_9553144.P_154.MO_1802-ID_9553144-MID_9553144-CID_20080-ST_7663-V_1

相关实践学习
钉钉群中如何接收IoT温控器数据告警通知
本实验主要介绍如何将温控器设备以MQTT协议接入IoT物联网平台,通过云产品流转到函数计算FC,调用钉钉群机器人API,实时推送温湿度消息到钉钉群。
阿里云AIoT物联网开发实战
本课程将由物联网专家带你熟悉阿里云AIoT物联网领域全套云产品,7天轻松搭建基于Arduino的端到端物联网场景应用。 开始学习前,请先开通下方两个云产品,让学习更流畅: IoT物联网平台:https://iot.console.aliyun.com/ LinkWAN物联网络管理平台:https://linkwan.console.aliyun.com/service-open
相关文章
|
3月前
|
物联网 数据管理 Apache
拥抱IoT浪潮,Apache IoTDB如何成为你的智能数据守护者?解锁物联网新纪元的数据管理秘籍!
【8月更文挑战第22天】随着物联网技术的发展,数据量激增对数据库提出新挑战。Apache IoTDB凭借其面向时间序列数据的设计,在IoT领域脱颖而出。相较于传统数据库,IoTDB采用树形数据模型高效管理实时数据,具备轻量级结构与高并发能力,并集成Hadoop/Spark支持复杂分析。在智能城市等场景下,IoTDB能处理如交通流量等数据,为决策提供支持。IoTDB还提供InfluxDB协议适配器简化迁移过程,并支持细致的权限管理确保数据安全。综上所述,IoTDB在IoT数据管理中展现出巨大潜力与竞争力。
106 1
|
消息中间件 传感器 监控
IoT企业物联网平台,数据服务开发实战
IoT企业物联网平台开发实战
430 0
|
16天前
|
存储 JSON 运维
智能物联网平台:Azure IoT Hub在设备管理中的实践
【10月更文挑战第26天】随着物联网技术的发展,Azure IoT Hub成为企业管理和连接数百万台设备的强大平台。本文介绍Azure IoT Hub的设备管理功能,包括设备注册、设备孪生、直接方法和监控诊断,并通过示例代码展示其应用。
19 4
|
3月前
|
存储 分布式计算 物联网
Apache IoTDB进行IoT相关开发实践
当今社会,物联网技术的发展带来了许多繁琐的挑战,尤其是在数据库管理系统领域,比如实时整合海量数据、处理流中的事件以及处理数据的安全性。例如,应用于智能城市的基于物联网的交通传感器可以实时生成大量的交通数据。据估计,未来5年,物联网设备的数量将达数万亿。物联网产生大量的数据,包括流数据、时间序列数据、RFID数据、传感数据等。要有效地管理这些数据,就需要使用数据库。数据库在充分处理物联网数据方面扮演着非常重要的角色。因此,适当的数据库与适当的平台同等重要。由于物联网在世界上不同的环境中运行,选择合适的数据库变得非常重要。 原创文字,IoTDB 社区可进行使用与传播 一、什么是IoTDB 我
174 9
Apache IoTDB进行IoT相关开发实践
|
3月前
|
存储 传感器 监控
理解并利用物联网(IoT)数据的技术探索
【8月更文挑战第11天】物联网数据是数字化转型的重要资源。通过深入理解物联网数据的特性和价值,并采取有效的收集、处理和分析策略,我们可以更好地利用这些数据为企业决策提供支持、优化运营效率、创造新的商业模式并推动数字化转型的深入发展。
|
4月前
|
存储 分布式计算 物联网
Apache IoTDB进行IoT相关开发实践
IoTDB是专为物联网(IoT)设计的开源时间序列数据库,提供数据收集、存储、管理和分析。它支持高效的数据写入、查询,适用于处理大规模物联网数据,包括流数据、时间序列等。IoTDB采用轻量级架构,可与Hadoop和Spark集成,支持多种存储策略,确保数据安全和高可用性。此外,它还具有InfluxDB协议适配器,允许无缝迁移和兼容InfluxDB的API和查询语法,简化物联网项目的数据管理。随着物联网设备数量的快速增长,选择适合的数据库如IoTDB对于数据管理和分析至关重要。
246 12
|
4月前
|
存储 分布式计算 物联网
Apache IoTDB进行IoT相关开发实践
The article introduces IoTDB, an open-source time-series database designed for efficient management of IoT-generated data. It addresses challenges like real-time integration of massive datasets and security. IoTDB supports high-performance storage,
142 0
Apache IoTDB进行IoT相关开发实践
|
4月前
|
分布式计算 NoSQL 物联网
麻省理工IOT教授撰写的1058页Python程序设计人工智能实践手册!
Python是世界上最流行的语言之一,也是编程语言中使用人数增长最快的一种。 开发者经常会很快地发现自己喜欢Python。他们会欣赏Python的表达力、可读性、简洁性和交互性,也会喜欢开源软件开发环境,这个开源环境正在为广泛的应用领域提供快速增长的可重用软件基础。 几十年来,一些趋势已经强有力地显现出来。计算机硬件已经迅速变得更快、更便宜、更小;互联网带宽已经迅速变得越来越大,同时也越来越便宜;优质的计算机软件已经变得越来越丰富,并且通过“开源”方式免费或几乎免费;很快,“物联网”将连接数以百亿计的各种可想象的设备。这将导致以快速增长的速度和数量生成大量数据。 在今天的计算技术中,最新的创新
|
4月前
|
分布式计算 NoSQL 物联网
麻省理工IOT教授撰写的1058页Python程序设计人工智能实践手册!
Python是世界上最流行的语言之一,也是编程语言中使用人数增长最快的一种。 开发者经常会很快地发现自己喜欢Python。他们会欣赏Python的表达力、可读性、简洁性和交互性,也会喜欢开源软件开发环境,这个开源环境正在为广泛的应用领域提供快速增长的可重用软件基础。
|
5月前
|
存储 分布式计算 物联网
Apache IoTDB进行IoT相关开发实践
IoTDB是面向物联网的时序数据库,专注于时间序列数据管理,提供高效的数据处理、集成Hadoop和Spark生态、支持多目录存储策略。它还具有InfluxDB协议适配器,允许无缝迁移原本使用InfluxDB的业务。文章讨论了IoTDB的体系结构,包括数据文件、系统文件和预写日志文件的存储策略,并介绍了如何配置数据存储目录。此外,还提及了InfluxDB版本和查询语法的支持情况。IoTDB在物联网数据管理和分析中扮演关键角色,尤其适合处理大规模实时数据。