物联网数据通过规则引擎流转到OTS|学习笔记

简介: 快速学习物联网数据通过规则引擎流转到OTS

开发者学堂课程【物联网平台云上开发物联网数据通过规则引擎流转到OTS】学习笔记,与课程紧密联系,让用户快速学习知识。

课程地址:https://developer.aliyun.com/learning/course/563/detail/7708


物联网数据通过规则引擎流转到OTS

内容介绍:

一、规则引擎          

二、将数据流转到表格存储里


一、规则引擎

1、作用

规则引擎主要帮助把设备的数据转储到自己的数据库或消息队列或者是实时的流计算中去。

2、规则引擎的数据处理

数据处理:数据处理采用了一个circle的方式来处理,主要包含select,from,where的这样一条语句。

select的对象主要包括设备的上下文的数据,设备上传的payload的数据;from是用来过滤topic的;where里面可以对select的条件进行二次过滤。在payload部分,设备上报时会有topic和payload。

topic就是from语句过滤时会根据这个topic进行过滤。payload里面的一些东西可以在里面select过滤,同样temperature也可以出现在where条件语句里。当设备上报数据之后,在云平台是可以拿到设备的一些身份信息、设备的扩展信息,它不需要设备上报payload的时候包含这些信息。

设备处理的circle如图所示

image.png

数据处理的circle像这样,select、deviceName这样一个方法,这些方法是IoT平台提供的方法,和日常经常用到

my circle函数的方法类似。

payload里的数据可以直接用key获取到,加号是一个通配符,如此就可以过滤掉这个产品所有的设备上报的data的一个数据结构。通过circle执行之后,就可以获得一个以下{‘’deviceName’’:’’aliyunIot’’,’’date;’’:’’2018=03=29’’,’’tag’’:’’西溪园区1-4-156’’,’’iemi’’:’’XiXi230453433’’,’’temperature’’:23,’’humidity’’:64}样式的结构化的数据。

数据转发:以下这个截图是在控制台的规则引擎,详情的截图。

上半部分数据处理的circle语句就是刚刚提到的circle语法,下半部份则是一个转发的目的地。

将这个目的地转发到表格存储里,那就涉及到表格存储实例的名字、实例的数据表以及组件的映射方式。这样一条

句在IoT平台上运行之后,一旦有设备上报数据,满足这个条件,就会在表格存储的数据库里看到这样的一条数据。

那这时候就完成了设备的数据通过IoT平台存储到自身的数据库里。

自定义topic数据处理:

如果是自定义的topic,数据在IoT平台的流转如图

image.png

设备上报消息以后,通过IoT平台的一个网关直接匹配到规则引擎,规则引擎直接把数据转储到表格存储里。如果基

物模型的topic,那它的数据流转就是这样的。

设备上报数据,先到IoT的网关,然后网关会把数据流转到物模型里去,物模型会把原始数据解析成定义的物模型的

构体,然后再把数据流转到规则引擎模块,规则引擎模块根据配置的circle把数据进行处理然后转储到目的地。

原始的payload经过物模型处理之后,工作人员会把每个字段打上时间戳,那它的结构就发生了变化,工作人员是

于之后的变化之后的结构体来定义规则引擎。

当拿到这样一个处理结果后,规则引擎就会把数据转储到表格存储里。控制台的左面会有一个规则引擎的一个分类

右边可以创建规则引擎,可以启动和停止。点击规则引擎之后,会进入规则引擎的具体的详情页,这里会包含当前的规则引擎如何处理数据就是它的circle,还有它的转发的目的地。

规则引擎的目的地是可以同时转发多个目的地,就是一条数据既存储到时序数据库又转发到另外一个topic里。

当数据转发处理有错误的时候,会把数据信息进行一个二次转发,就是可以通过消息队列来接收这样一个错误。

image.png

这是circle编写的一个模块,这里会包含取那些字段,过滤那个topic,条件语句,例可以以湿度大于60作为条件去

图,这里是数据转发的目的地。如果将它转为实际数据库时,需要配置实际数据库的一些参数。一旦转发错误的

候,还可以把错误的事件推到DataHub、消息队列、函数计算。这里只有一个目的就是把一个错误配置到了MQ序

里面。

二、将数据流转到表格存储里

1、首先创建一个表格存储的实例运用到ots的表格存储里,接着创建一个数据库表

它的表名是iot_devices_data,它有两个主键,一个是ID一个是time。

现在的数据库是空的,接下来要做的就是创建规则引擎,下图便是创建的规则引擎。

image.png

因为此设备是一个高级版的设备,因此是有物模型的,因此circle语法就会看到想取到的具体的属性的值。

这里是配置到表格存储,在华东2创建了一个刚刚的实例,然后存储到了数据表,主键是device ID和time,如图。

将ciecle里取到的字段,就是device name映射到device ID上,将time映射到表格存储的time里,并授权IoT平台操

数据库,因而需要创建一个RAM角色。规则引擎如此配备完毕。在此可以启动规则引擎,启动后,它就会在云端运转。

这里一旦有数据上报符合规则引擎的逻辑,那么就会有数据存储到刚刚的表格存储里面。此时,试着运行一些设备

使它上报一条数据。如此时上报了一条22,62的数据。可以在运行状态里看到数据运行到云端,在日志里面也可以

到运行过程,即有一条数据上报,它流转了规则引擎后流转到了表格存储就是table store。

这时就可以去表格存储的数据库里寻找是否有这一条数据。刷新就会看到有了一条数据,它的时间以及两个值22,52。到此就完成了数据上报在云端流转到企业数据库的过程。

相关实践学习
消息队列+Serverless+Tablestore:实现高弹性的电商订单系统
基于消息队列以及函数计算,快速部署一个高弹性的商品订单系统,能够应对抢购场景下的高并发情况。
阿里云表格存储使用教程
表格存储(Table Store)是构建在阿里云飞天分布式系统之上的分布式NoSQL数据存储服务,根据99.99%的高可用以及11个9的数据可靠性的标准设计。表格存储通过数据分片和负载均衡技术,实现数据规模与访问并发上的无缝扩展,提供海量结构化数据的存储和实时访问。 产品详情:https://www.aliyun.com/product/ots
相关文章
|
5月前
|
传感器 JavaScript 数据可视化
开源视频联动物联网平台】Node-RED规则引擎
开源视频联动物联网平台】Node-RED规则引擎
184 1
|
2月前
|
物联网 数据管理 Apache
拥抱IoT浪潮,Apache IoTDB如何成为你的智能数据守护者?解锁物联网新纪元的数据管理秘籍!
【8月更文挑战第22天】随着物联网技术的发展,数据量激增对数据库提出新挑战。Apache IoTDB凭借其面向时间序列数据的设计,在IoT领域脱颖而出。相较于传统数据库,IoTDB采用树形数据模型高效管理实时数据,具备轻量级结构与高并发能力,并集成Hadoop/Spark支持复杂分析。在智能城市等场景下,IoTDB能处理如交通流量等数据,为决策提供支持。IoTDB还提供InfluxDB协议适配器简化迁移过程,并支持细致的权限管理确保数据安全。综上所述,IoTDB在IoT数据管理中展现出巨大潜力与竞争力。
86 1
|
2月前
|
存储 传感器 监控
理解并利用物联网(IoT)数据的技术探索
【8月更文挑战第11天】物联网数据是数字化转型的重要资源。通过深入理解物联网数据的特性和价值,并采取有效的收集、处理和分析策略,我们可以更好地利用这些数据为企业决策提供支持、优化运营效率、创造新的商业模式并推动数字化转型的深入发展。
|
3月前
|
物联网
好的资源链接,gitee全糖咖啡,B站视频转成mp4,全糖咖啡 / 物联网网关数据上传,,全糖咖啡 / springboot+百度智能车牌检测
好的资源链接,gitee全糖咖啡,B站视频转成mp4,全糖咖啡 / 物联网网关数据上传,,全糖咖啡 / springboot+百度智能车牌检测
|
3月前
|
DataWorks NoSQL 关系型数据库
DataWorks产品使用合集之如何从Tablestore同步数据到MySQL
DataWorks作为一站式的数据开发与治理平台,提供了从数据采集、清洗、开发、调度、服务化、质量监控到安全管理的全套解决方案,帮助企业构建高效、规范、安全的大数据处理体系。以下是对DataWorks产品使用合集的概述,涵盖数据处理的各个环节。
|
4月前
|
机器学习/深度学习 传感器 算法
物联网(IoT)数据与机器学习的结合
【6月更文挑战第6天】物联网和机器学习加速融合,驱动数据收集与智能分析。通过机器学习算法处理 IoT 数据,实现智能家居、工业生产的智能化。示例代码展示如何用线性回归预测温度。结合带来的优势包括实时监测、预警、资源优化,但也面临数据质量、隐私安全、算法选择等挑战。未来需强化技术创新,应对挑战,推动社会智能化发展。
147 0
|
4月前
|
存储 安全 算法
物联网中的数据加密技术
【6月更文挑战第1天】物联网中的数据加密技术
547 0
|
5月前
|
分布式计算 DataWorks API
DataWorks常见问题之按指定条件物理删除OTS中的数据失败如何解决
DataWorks是阿里云提供的一站式大数据开发与管理平台,支持数据集成、数据开发、数据治理等功能;在本汇总中,我们梳理了DataWorks产品在使用过程中经常遇到的问题及解答,以助用户在数据处理和分析工作中提高效率,降低难度。
|
5月前
|
传感器 物联网 决策智能
Node-RED 规则引擎:开启物联网时代的智能决策
Node-RED 规则引擎:开启物联网时代的智能决策
359 0
|
5月前
|
DataWorks NoSQL 关系型数据库
可以使用dataworks从tablestore同步数据到mysql吗?
可以使用dataworks从tablestore同步数据到mysql吗?
69 1

相关产品

  • 物联网平台