流数据分析|学习笔记

简介: 快速学习流数据分析

开发者学堂课程【物联网数据分析与可视化流数据分析】学习笔记,与课程紧密联系,让用户快速学习知识。

课程地址:https://developer.aliyun.com/learning/course/568/detail/7766


流数据分析


内容介绍:

一、 数据流分析创建步骤

二、 数据源的配置


通过在物联网数据分析中的流数据来解决在实际生活中出现的问题。以检测pm25浓度为例,当这个浓度达到一定规则的时候,我们认为污染已经很严重了,需要去通知相关的工作人员去采取后续的措施对于检测这个浓度。首先,我们要进入到iot物联网的物联网数据分析平台里面来。进入到管理控制台。因为这个数据是设备上传上来的


一、数据流分析创建步骤

1、第一步,去建立相关的产品和设备。点击上面管理产品创建产品高级版。

这个时候我们就创建好了一个pm25检测仪这么一个产品,但是下面其实是没有任何设备的,所以接下来我们应该去为他创建相关的设备,点击设备,点击设备添加设备选择,刚才我们所创建好的pm25检测仪,然后输入这个设备的设备名称。

image.png

2、第二步:点击进入到我们流数据分析里面,为他进行数据分析,我们可以创建一个任务,输入任务名称,描述暂时和输入名称一致,点击确定,进入查看按钮。

之后进入任务的详情页面。任务是以组件编排的方式去执行的,组件包括基础组件和高级组件,基础组件就包含一些设备输入,数据源输出,数据过滤、聚合计算等一些基础的计算,高级组件包括异常检测。

3、进入设备输入目的是为了去收集设备上传的数据,然后进行设置产品选择、设备选择、属性选择、输入节点的操作

image.png

4、下面把数据过滤的组件进来,把设备输入的输出作为数据过滤组件的一个输入。数据过滤其实是我们想要去过滤掉,我们认为不正常那些数据而留下我们认为正确数据。

image.png

5、把异常检测拉进来,组建同样以数据过滤组件的输出作为异常检测组件的输入。随后输入事先设定好的数据值。

6、异常检测是需要通过数据源输出组连要输出数据库大屏展示做准备,同样把异常检测的输出作为数据输出组件的输入。

然后为它进行一个设置,选择数据源、数据表名、在输出节点这选上时间字段、检测规则、异常数据,并分别在相应的字段描述,输出字段英文名称输入相应文字。组排完成后进行发布。

image.png


二、数据源的配置

1、数据分析下面的数据源配置。有已经建好的,叫做测试的一个数据源,点击编辑,然后就是输入域名,用户名,密码端口和数据库的一些基本信息,就能创建出一个数据可以测试下连接,能够连接成功了

image.png

2、下一步我们需要设备模拟上传一些数据,由于这个产品的实际上我们是没有实际的产品的,所以我们应该会采用虚拟产品设备数据的方式来进行上传,点击产品列表,然后我们找到书签产品,点进去。在线调试的标签选择调试设备,因为没有真实设备,需要选择虚拟真实设备。然后进行属性的调节,输入不同数据进行推送。

我们通过前端事先组建好得检测,检测他是否能够收到相关的数据看时间,这个时间规则连续三个点,超出阈值300,然后异常数据是刚才输入的400,450,460

到此为止,我们能够监测到这个pm25异常的一种情况,通过这个数据大屏就可以给到相关的工作人员展示,然后进行报警,就能够进行后续的处理。

image.png

相关实践学习
阿里云AIoT物联网开发实战
本课程将由物联网专家带你熟悉阿里云AIoT物联网领域全套云产品,7天轻松搭建基于Arduino的端到端物联网场景应用。 开始学习前,请先开通下方两个云产品,让学习更流畅: IoT物联网平台:https://iot.console.aliyun.com/ LinkWAN物联网络管理平台:https://linkwan.console.aliyun.com/service-open
相关文章
|
机器学习/深度学习 自然语言处理 算法
Python预测 数据分析与算法 学习笔记(特征工程、时间序列)2
Python预测 数据分析与算法 学习笔记(特征工程、时间序列)
277 0
|
机器学习/深度学习 算法 数据可视化
Python预测 数据分析与算法 学习笔记(特征工程、时间序列)1
Python预测 数据分析与算法 学习笔记(特征工程、时间序列)
209 0
|
存储 SQL DataWorks
阿里云数据分析常用工具介绍 | 学习笔记
快速学习阿里云数据分析常用工具介绍。
阿里云数据分析常用工具介绍 | 学习笔记
|
Prometheus 监控 Cloud Native
监控数据分析(二)| 学习笔记
快速学习监控数据分析。
监控数据分析(二)| 学习笔记
|
数据挖掘
java202302java学习笔记第十五天-打乱数据分析
java202302java学习笔记第十五天-打乱数据分析
165 0
java202302java学习笔记第十五天-打乱数据分析
|
机器学习/深度学习 数据采集 Ubuntu
Python数据分析与挖掘实战学习笔记
Python本身的数据分析功能不强,需要安装一些第三方扩展库来增强它的能力。
295 0
Python数据分析与挖掘实战学习笔记
|
数据采集 SQL 数据挖掘
数据预处理-数据解析-总结及预定数据分析|学习笔记
快速学习数据预处理-数据解析-总结及预定数据分析
197 0
数据预处理-数据解析-总结及预定数据分析|学习笔记
|
机器学习/深度学习 分布式计算 算法
数据分析方法介绍 | 学习笔记
快速学习数据分析方法介绍。
数据分析方法介绍 | 学习笔记
|
Prometheus 监控 Cloud Native
课时4:监控数据分析 | 学习笔记
快速学习课时4:监控数据分析,介绍了课时4:监控数据分析系统机制, 以及在实际应用过程中如何使用。
课时4:监控数据分析 | 学习笔记

热门文章

最新文章