阿里云物联网数据的统计分析(三)|学习笔记

简介: 快速学习阿里云物联网数据的统计分析(三)

开发者学堂课程【物联网平台实操入门阿里云物联网数据的统计分析(三)】学习笔记与课程紧密联系,让用户快速学习知识

课程地址https://developer.aliyun.com/learning/course/1031/detail/15128


阿里云物联网数据的统计分析(三)

三、过程演示

上面是系统的简单的介绍,下面会具体介绍整个演示的流程。第一个要前置一个条件购买企业的数据型实例,或者在基础的实例上做一个深配,另外要创建相关的产品和设备,同时要将设备接上来上报数据,这些都是前置部分。

第二部分是数据上来之后要有集成过程,集成是物联网平台和数据分析平台都是在一个平台内部的,所以数据集成已经做好了初始化,只需要点击备份按钮就可以完成数据集成的工作。

在下一部分是指标规范的介绍比如原子词的定义、时间修饰词、主题域等信息。指标规范是为了在做指标开发的时候有一个统一的口径,因为缺少统一的口径自己开发的指标和别人开发的指标无法进行交换,时间久了之后相应的指标没人看懂。

指标规范结束后会进入资产开发的过程就是衍生指标的定义,以及周期实例任务和回刷实例的一些展示。完成之后就是数据报表和数据API的消费的展示。接下来的文章会介绍整个过程直接在控制台进行展示。首先需要购买数据实例,购买完成后选择的形式是数据型,可以选择对应的处理单元,处理单元折算到一个CPU核和四级内存,存储空间可以根据设备的量以及上报频率进行选择。点击购买就可以进行企业型数据实例的购买,点击进去会有get页是通用的,相关的数据型指标是进行单元或者是进行突出。

image.png

还有一个前置条件,已经初始化了一个工业演示产品的产品,并且相应的物模型进行了定义,相应的设备也进行了创建,设备的上报用了平台设备模拟器进行模拟连接和上报数据,相关的属性和事件通过这样的方式上报。完成之后到数据分析平台,数据备份主要进行备份选择备份周期,最终支持100年的数据备份,理论上是阿里云公司在数据是一定会存在的。

备份完之后相应的数据就已经集成完成。备份过程中会有lodIn就是会默认回刷前一个月的数据到平台中方便用户数据的操作。增量部分的数据在源源不断只要设备在上报数据会集成到平台上。数据管理可以根据每个产品进行停止和备份,当前只有一个产品所以只有一列。进入数据资产只要做过备份相应的属性比如油压力、当前合格工件、订单数、当前工作时间、电机温度这些值都是在物模型属性里面定义的会导入到原始定义中,作为原始定义存在。

在原始定义或原始指标的基础上可以进行指标的加工即衍生指标。根据不同的域,域分为产品、设备、分组、空间、活动等几个域,几个域会有视角的展示,可以在产品上进行指标的定义相当于将整个产品的数据进行聚合举例比如温度耗电量,要统计一个产品系列的设备的耗电量,指标就应在产品的视角创建,指标就是将这个产品下的设备的耗电量进行计算。

设备视角是针对某一个设备的耗电量进行统计只处理单个设备的数据。分组的概念是圈选一批设备可能不是按照产品的力度可能是按照项目的力度或者是一幢楼的力度,当然一幢楼还有空间的视角,这些都相当于设备的缺血,设备缺血之后可以将相应的指标清洗完之后通过视角展示。模拟工业场景类似模拟模板加工设备就是一个比较大的设备可能关注的是设备本身的指标。

点击进去之后相应的原始设备会进行罗列可以查看相关的电机温度,按照折线图的方式电机温度的上报是按照曲线直接绘制出来的,可以看到一些衍生指标比如OEE中的设备综合效能4号、5号、6号、7号、8号一直到11号上报的每天生产出来的OEE的指标曲线可以很明显的看出来设备的效率的变化。

下面介绍原始指标,原子词就是衍生指标的定义的一些要素,原子词很简单比如根据自己的平均温度,平均温度就是原始指标,标识符就是英文名称,度量单位是摄氏度,数据类型是W型,口径可以随便写可能是某一幢楼的平均温度。原子词不需要太仔细,时间修饰词是最近一天到最近90天有内置的修饰词。

image.png

具体的指标加工在某一个域或者是某一个视角进行指标的加工产品、设备、分组可以选择相应的标签,比如选择设备就要选择哪个产品下哪个设备。本实体是在设备上进行指标的加工。时间修饰词选择近七天,统计近七天的的良品率,选择sum良品率是计算表达式,良品率是合格工件数除以当前的加工工件数这样的值就是良品率,点击完成,这样指标就定义完成。

接下来有两条路径第一条是回刷指标,指标便可以进行执行,周期时间每天凌晨会定时调度,6号上传的数据,7号开始进行调度,每天都会调度,如果有问题可以查询到具体某一天,查看是否成功点击可以看到执行的日志、以及状态、提交的时间和完成的时间。

image.png

指标的衍生很简单就是,但目前平台只支持设备数据的衍生,接下来着重在业务数据进行汇聚进行指标的加工,同时提供更多的加工手段。指标的加工凭主键式的方式提供给开发能力偏弱的同学使用,未来可能在secal方面进行提供。

指标加工完之后可以到数据洞察做相应的报表,加工的指标会在数据洞察数据集自动投递。

之前讲的模板的001设备,如果在产品下进行指标定义就会到产品,设备下定义的指标就会到设备一栏,分组、空间、活动以及物理表,物理表可能没有初始化过就到设备上,因为是在设备上进行的指标的运算。有一个大致的钛板可以大致的将历史数据展示出来,可以看到上面有几天的数据,数据都是模拟的与真实的可能不太一样,是对今天的演示进行的上报比如停机时间、故障类型、油液压、当前订单数、加工数,所以原始指标一行是表头,一行是具体的值,还有一栏如果是日调度的指标在指标类型日一栏选择之后就可以看到具体的衍生指标,比如最近一天加工时间的汇总、最近一天加工工件的汇总、最近一天设备率开动的指标、日平均节拍的指标、性能开动率的指标、最近一天良品率的指标以及全局效能的指标,之前刷的最近七天的良品率已经刷出可以看到。

这样就可以显出设备工厂效能的趋势的判断。将数据展示出来可以创建一个工作簿,工作簿是报表的工作台,第一步是选择一个图表,第二步是拉数据,第三步是配条件如果有的话,第四步是发布同时也可以公开链接可以被外网访问,比如被业务系统集成。这时展现一个折线图,折线图要将相应的数据集拿取进来即产品和设备,点击之后相应的指标会罗列出来,这里配置一个按日聚合的衍生指标,OEE指标放到y,8号的数据是断掉的,用柱状图可能更好一点,相应的可以展示出来,具体的就不进行操作了,有几个已经做好的报表的加工配置。

image.png

可以看到OEE的折线图可以很明显的与指标进行对比,比如OEE与性能开动率、设备开动率、良品率之间的关系可以很直观地看出,也可以以表格的方式详细的展示,公开之后链接可以分享到外网使用,相关的配置比如发动机的指标可以直接通过指标卡的方式配置出来,配置出来是实时的或者是最新值。

相应的事件可以用表格的方式展示如果想要统计停机的时长的曲线可以将停机时长的指标配置好相应的折线图配置好可以很清楚的看到哪一天的故障时长比较长,相应的去做详情的看,比如6号特别久可以看到6号是什么问题导致的故障停机时间特别久,可以看到是发动机烧毁,发动机烧毁是一个大故障就可以马上订阅到,举的例子可能不是特别恰当,发动机烧毁的时间可能不止这些时间,意思是可以通过曲线及详情列表订阅到具体问题的查看。

image.png

报表的能力只是粗略地展示,还有很多能力比如排序、重命名还有对数组类型进行格式的调整,也可以进行聚合的方式和最小值、最大值、平均值,同时也支持曲线的同环比,这样可以用报表的方式格式化分析,不再进行详细的讲解,感兴趣可以自己去看。

数据服务分为基础服务和自定义服务,基础服务是已经清洗好的一方指标,举例拿历史至今地区设备数统计。按照区域统计比如地区创建设备的占比、地区的激活设备数、地区激活设备占比、地区的在线设备数以及地区在线占比等等,做一个具体展示首先第一个参数可以看到是实例id,将实例id填进去,第二个是实体例子是产品及要展示的地方,时间填写2020年8月10号,这一天的指标会罗列出来,这就是一个指标日志,如果要在业务系统调用可以通过示例代码SDK的方式获取数据,有很多将近3页而且会扩充里面的指标,同时实时指标也马上会上线。自定义API是根据自定义指标配置一个数据API,已经配置好了一个可以直接拿来看一下,日期为20210806-20210818,相应的OEE的指标可以拉取出来,进行配置时API的名字可以按照需求来写比如叫做tpp指标获取,地址必须定义为了防止将API定义成一样的无法找到,标签需要自己打印。指标是在设备下进行创建的选择产品和设备。

完成之后可以进行概览可以看到具体的指标,这是一个衍生指标,按照自己的需求进行配置业务时间已经存在,第二个是将全局效能露出来,操作符可以取具体的某一天,如果是业务时间可以选择in,请求参数只有一个,如果有其它的参数可以自己添加。

示例值是可选的比如为了后面方便调用可以随便写。也可以选择自己要排序的字段比如按照业务时间排序是升序从小到大,完成之后可以进行保存,同时可以进行测试输入日期20210806-20210811,点击完之后相应的指标就会出现,是按照时间倒排的,配置完成后可以进行发布,发布完成之后可以拿API去pass使用SDK调用,今天的演示就是这样的。

image.png

相关实践学习
钉钉群中如何接收IoT温控器数据告警通知
本实验主要介绍如何将温控器设备以MQTT协议接入IoT物联网平台,通过云产品流转到函数计算FC,调用钉钉群机器人API,实时推送温湿度消息到钉钉群。
阿里云AIoT物联网开发实战
本课程将由物联网专家带你熟悉阿里云AIoT物联网领域全套云产品,7天轻松搭建基于Arduino的端到端物联网场景应用。 开始学习前,请先开通下方两个云产品,让学习更流畅: IoT物联网平台:https://iot.console.aliyun.com/ LinkWAN物联网络管理平台:https://linkwan.console.aliyun.com/service-open
相关文章
|
3月前
|
物联网 数据管理 Apache
拥抱IoT浪潮,Apache IoTDB如何成为你的智能数据守护者?解锁物联网新纪元的数据管理秘籍!
【8月更文挑战第22天】随着物联网技术的发展,数据量激增对数据库提出新挑战。Apache IoTDB凭借其面向时间序列数据的设计,在IoT领域脱颖而出。相较于传统数据库,IoTDB采用树形数据模型高效管理实时数据,具备轻量级结构与高并发能力,并集成Hadoop/Spark支持复杂分析。在智能城市等场景下,IoTDB能处理如交通流量等数据,为决策提供支持。IoTDB还提供InfluxDB协议适配器简化迁移过程,并支持细致的权限管理确保数据安全。综上所述,IoTDB在IoT数据管理中展现出巨大潜力与竞争力。
106 1
|
12天前
|
传感器 安全 算法
物联网发布者在数据传输过程中如何防止数据被篡改
在物联网数据传输中,为防止数据被篡改,可采用加密技术、数字签名、数据完整性校验等方法,确保数据的完整性和安全性。
|
12天前
|
存储 安全 算法
物联网发布者在发送数据时如何保证数据的安全性和完整性
数据加密、密钥管理和数据完整性验证是物联网安全的重要组成部分。对称加密(如AES)和非对称加密(如RSA)分别适用于大量数据和高安全需求的场景。密钥需安全存储并定期更新。数据完整性通过MAC(如HMAC-SHA256)和数字签名(如RSA签名)验证。通信协议如MQTT over TLS/SSL和CoAP over DTLS增强传输安全,确保数据在传输过程中的机密性和完整性。
|
1月前
|
存储 边缘计算 物联网
阿里云物联网平台:推动万物互联的智能化解决方案
随着物联网技术的快速发展,阿里云物联网平台为企业提供了一体化的解决方案,包括设备接入、数据管理和智能应用等核心功能。平台支持海量设备接入、实时数据采集与存储、边缘计算,并具备大规模设备管理、高安全性和开放生态等优势。广泛应用于智能制造、智慧城市和智能家居等领域,助力企业实现数字化转型。
170 5
|
3月前
|
存储 传感器 监控
理解并利用物联网(IoT)数据的技术探索
【8月更文挑战第11天】物联网数据是数字化转型的重要资源。通过深入理解物联网数据的特性和价值,并采取有效的收集、处理和分析策略,我们可以更好地利用这些数据为企业决策提供支持、优化运营效率、创造新的商业模式并推动数字化转型的深入发展。
|
4月前
|
存储 运维 监控
阿里云物联网平台的优势
【7月更文挑战第19天】阿里云物联网平台的优势
75 1
|
4月前
|
物联网
好的资源链接,gitee全糖咖啡,B站视频转成mp4,全糖咖啡 / 物联网网关数据上传,,全糖咖啡 / springboot+百度智能车牌检测
好的资源链接,gitee全糖咖啡,B站视频转成mp4,全糖咖啡 / 物联网网关数据上传,,全糖咖啡 / springboot+百度智能车牌检测
|
5月前
|
机器学习/深度学习 传感器 算法
物联网(IoT)数据与机器学习的结合
【6月更文挑战第6天】物联网和机器学习加速融合,驱动数据收集与智能分析。通过机器学习算法处理 IoT 数据,实现智能家居、工业生产的智能化。示例代码展示如何用线性回归预测温度。结合带来的优势包括实时监测、预警、资源优化,但也面临数据质量、隐私安全、算法选择等挑战。未来需强化技术创新,应对挑战,推动社会智能化发展。
175 0
|
8天前
|
存储 安全 物联网
政府在推动物联网技术标准和规范的统一方面可以发挥哪些作用?
政府在推动物联网技术标准和规范的统一方面可以发挥哪些作用?
79 50
|
8天前
|
安全 物联网 物联网安全
制定统一的物联网技术标准和规范的难点有哪些?
制定统一的物联网技术标准和规范的难点有哪些?
23 2

相关产品

  • 物联网平台