阿里云物联网数据的统计分析(三)|学习笔记

简介: 快速学习阿里云物联网数据的统计分析(三)

开发者学堂课程【物联网平台实操入门阿里云物联网数据的统计分析(三)】学习笔记与课程紧密联系,让用户快速学习知识

课程地址https://developer.aliyun.com/learning/course/1031/detail/15128


阿里云物联网数据的统计分析(三)

三、过程演示

上面是系统的简单的介绍,下面会具体介绍整个演示的流程。第一个要前置一个条件购买企业的数据型实例,或者在基础的实例上做一个深配,另外要创建相关的产品和设备,同时要将设备接上来上报数据,这些都是前置部分。

第二部分是数据上来之后要有集成过程,集成是物联网平台和数据分析平台都是在一个平台内部的,所以数据集成已经做好了初始化,只需要点击备份按钮就可以完成数据集成的工作。

在下一部分是指标规范的介绍比如原子词的定义、时间修饰词、主题域等信息。指标规范是为了在做指标开发的时候有一个统一的口径,因为缺少统一的口径自己开发的指标和别人开发的指标无法进行交换,时间久了之后相应的指标没人看懂。

指标规范结束后会进入资产开发的过程就是衍生指标的定义,以及周期实例任务和回刷实例的一些展示。完成之后就是数据报表和数据API的消费的展示。接下来的文章会介绍整个过程直接在控制台进行展示。首先需要购买数据实例,购买完成后选择的形式是数据型,可以选择对应的处理单元,处理单元折算到一个CPU核和四级内存,存储空间可以根据设备的量以及上报频率进行选择。点击购买就可以进行企业型数据实例的购买,点击进去会有get页是通用的,相关的数据型指标是进行单元或者是进行突出。

image.png

还有一个前置条件,已经初始化了一个工业演示产品的产品,并且相应的物模型进行了定义,相应的设备也进行了创建,设备的上报用了平台设备模拟器进行模拟连接和上报数据,相关的属性和事件通过这样的方式上报。完成之后到数据分析平台,数据备份主要进行备份选择备份周期,最终支持100年的数据备份,理论上是阿里云公司在数据是一定会存在的。

备份完之后相应的数据就已经集成完成。备份过程中会有lodIn就是会默认回刷前一个月的数据到平台中方便用户数据的操作。增量部分的数据在源源不断只要设备在上报数据会集成到平台上。数据管理可以根据每个产品进行停止和备份,当前只有一个产品所以只有一列。进入数据资产只要做过备份相应的属性比如油压力、当前合格工件、订单数、当前工作时间、电机温度这些值都是在物模型属性里面定义的会导入到原始定义中,作为原始定义存在。

在原始定义或原始指标的基础上可以进行指标的加工即衍生指标。根据不同的域,域分为产品、设备、分组、空间、活动等几个域,几个域会有视角的展示,可以在产品上进行指标的定义相当于将整个产品的数据进行聚合举例比如温度耗电量,要统计一个产品系列的设备的耗电量,指标就应在产品的视角创建,指标就是将这个产品下的设备的耗电量进行计算。

设备视角是针对某一个设备的耗电量进行统计只处理单个设备的数据。分组的概念是圈选一批设备可能不是按照产品的力度可能是按照项目的力度或者是一幢楼的力度,当然一幢楼还有空间的视角,这些都相当于设备的缺血,设备缺血之后可以将相应的指标清洗完之后通过视角展示。模拟工业场景类似模拟模板加工设备就是一个比较大的设备可能关注的是设备本身的指标。

点击进去之后相应的原始设备会进行罗列可以查看相关的电机温度,按照折线图的方式电机温度的上报是按照曲线直接绘制出来的,可以看到一些衍生指标比如OEE中的设备综合效能4号、5号、6号、7号、8号一直到11号上报的每天生产出来的OEE的指标曲线可以很明显的看出来设备的效率的变化。

下面介绍原始指标,原子词就是衍生指标的定义的一些要素,原子词很简单比如根据自己的平均温度,平均温度就是原始指标,标识符就是英文名称,度量单位是摄氏度,数据类型是W型,口径可以随便写可能是某一幢楼的平均温度。原子词不需要太仔细,时间修饰词是最近一天到最近90天有内置的修饰词。

image.png

具体的指标加工在某一个域或者是某一个视角进行指标的加工产品、设备、分组可以选择相应的标签,比如选择设备就要选择哪个产品下哪个设备。本实体是在设备上进行指标的加工。时间修饰词选择近七天,统计近七天的的良品率,选择sum良品率是计算表达式,良品率是合格工件数除以当前的加工工件数这样的值就是良品率,点击完成,这样指标就定义完成。

接下来有两条路径第一条是回刷指标,指标便可以进行执行,周期时间每天凌晨会定时调度,6号上传的数据,7号开始进行调度,每天都会调度,如果有问题可以查询到具体某一天,查看是否成功点击可以看到执行的日志、以及状态、提交的时间和完成的时间。

image.png

指标的衍生很简单就是,但目前平台只支持设备数据的衍生,接下来着重在业务数据进行汇聚进行指标的加工,同时提供更多的加工手段。指标的加工凭主键式的方式提供给开发能力偏弱的同学使用,未来可能在secal方面进行提供。

指标加工完之后可以到数据洞察做相应的报表,加工的指标会在数据洞察数据集自动投递。

之前讲的模板的001设备,如果在产品下进行指标定义就会到产品,设备下定义的指标就会到设备一栏,分组、空间、活动以及物理表,物理表可能没有初始化过就到设备上,因为是在设备上进行的指标的运算。有一个大致的钛板可以大致的将历史数据展示出来,可以看到上面有几天的数据,数据都是模拟的与真实的可能不太一样,是对今天的演示进行的上报比如停机时间、故障类型、油液压、当前订单数、加工数,所以原始指标一行是表头,一行是具体的值,还有一栏如果是日调度的指标在指标类型日一栏选择之后就可以看到具体的衍生指标,比如最近一天加工时间的汇总、最近一天加工工件的汇总、最近一天设备率开动的指标、日平均节拍的指标、性能开动率的指标、最近一天良品率的指标以及全局效能的指标,之前刷的最近七天的良品率已经刷出可以看到。

这样就可以显出设备工厂效能的趋势的判断。将数据展示出来可以创建一个工作簿,工作簿是报表的工作台,第一步是选择一个图表,第二步是拉数据,第三步是配条件如果有的话,第四步是发布同时也可以公开链接可以被外网访问,比如被业务系统集成。这时展现一个折线图,折线图要将相应的数据集拿取进来即产品和设备,点击之后相应的指标会罗列出来,这里配置一个按日聚合的衍生指标,OEE指标放到y,8号的数据是断掉的,用柱状图可能更好一点,相应的可以展示出来,具体的就不进行操作了,有几个已经做好的报表的加工配置。

image.png

可以看到OEE的折线图可以很明显的与指标进行对比,比如OEE与性能开动率、设备开动率、良品率之间的关系可以很直观地看出,也可以以表格的方式详细的展示,公开之后链接可以分享到外网使用,相关的配置比如发动机的指标可以直接通过指标卡的方式配置出来,配置出来是实时的或者是最新值。

相应的事件可以用表格的方式展示如果想要统计停机的时长的曲线可以将停机时长的指标配置好相应的折线图配置好可以很清楚的看到哪一天的故障时长比较长,相应的去做详情的看,比如6号特别久可以看到6号是什么问题导致的故障停机时间特别久,可以看到是发动机烧毁,发动机烧毁是一个大故障就可以马上订阅到,举的例子可能不是特别恰当,发动机烧毁的时间可能不止这些时间,意思是可以通过曲线及详情列表订阅到具体问题的查看。

image.png

报表的能力只是粗略地展示,还有很多能力比如排序、重命名还有对数组类型进行格式的调整,也可以进行聚合的方式和最小值、最大值、平均值,同时也支持曲线的同环比,这样可以用报表的方式格式化分析,不再进行详细的讲解,感兴趣可以自己去看。

数据服务分为基础服务和自定义服务,基础服务是已经清洗好的一方指标,举例拿历史至今地区设备数统计。按照区域统计比如地区创建设备的占比、地区的激活设备数、地区激活设备占比、地区的在线设备数以及地区在线占比等等,做一个具体展示首先第一个参数可以看到是实例id,将实例id填进去,第二个是实体例子是产品及要展示的地方,时间填写2020年8月10号,这一天的指标会罗列出来,这就是一个指标日志,如果要在业务系统调用可以通过示例代码SDK的方式获取数据,有很多将近3页而且会扩充里面的指标,同时实时指标也马上会上线。自定义API是根据自定义指标配置一个数据API,已经配置好了一个可以直接拿来看一下,日期为20210806-20210818,相应的OEE的指标可以拉取出来,进行配置时API的名字可以按照需求来写比如叫做tpp指标获取,地址必须定义为了防止将API定义成一样的无法找到,标签需要自己打印。指标是在设备下进行创建的选择产品和设备。

完成之后可以进行概览可以看到具体的指标,这是一个衍生指标,按照自己的需求进行配置业务时间已经存在,第二个是将全局效能露出来,操作符可以取具体的某一天,如果是业务时间可以选择in,请求参数只有一个,如果有其它的参数可以自己添加。

示例值是可选的比如为了后面方便调用可以随便写。也可以选择自己要排序的字段比如按照业务时间排序是升序从小到大,完成之后可以进行保存,同时可以进行测试输入日期20210806-20210811,点击完之后相应的指标就会出现,是按照时间倒排的,配置完成后可以进行发布,发布完成之后可以拿API去pass使用SDK调用,今天的演示就是这样的。

image.png

相关实践学习
钉钉群中如何接收IoT温控器数据告警通知
本实验主要介绍如何将温控器设备以MQTT协议接入IoT物联网平台,通过云产品流转到函数计算FC,调用钉钉群机器人API,实时推送温湿度消息到钉钉群。
阿里云AIoT物联网开发实战
本课程将由物联网专家带你熟悉阿里云AIoT物联网领域全套云产品,7天轻松搭建基于Arduino的端到端物联网场景应用。 开始学习前,请先开通下方两个云产品,让学习更流畅: IoT物联网平台:https://iot.console.aliyun.com/ LinkWAN物联网络管理平台:https://linkwan.console.aliyun.com/service-open
相关文章
|
1月前
|
关系型数据库 MySQL 数据挖掘
阿里云 SelectDB 携手 DTS ,一键实现 TP 数据实时入仓
DTS 作为阿里云核心的数据交互引擎,以其高效的实时数据流处理能力和广泛的数据源兼容性,为用户构建了一个安全可靠、可扩展、高可用的数据架构桥梁。阿里云数据库 SelectDB 通过与 DTS 联合,为用户提供了简单、实时、极速且低成本的事务数据分析方案。用户可以通过 DTS 数据传输服务,一键将自建 MySQL / RDS MySQL / PolarDB for MySQL 数据库,迁移或同步至阿里云数据库 SelectDB 的实例中,帮助企业在短时间内完成数据迁移或同步,并即时获得深度洞察。
阿里云 SelectDB 携手 DTS ,一键实现 TP 数据实时入仓
|
1月前
|
SQL 人工智能 数据挖掘
阿里云DMS,身边的智能化数据分析助手
生成式AI颠覆了人机交互的传统范式,赋予每个人利用AI进行低门槛数据分析的能力。Data Fabric与生成式AI的强强联合,不仅能够实现敏捷数据交付,还有效降低了数据分析门槛,让人人都能数据分析成为可能!阿里云DMS作为阿里云统一的用数平台,在2021年初就开始探索使用Data Fabric理念构建逻辑数仓来加速企业数据价值的交付,2023年推出基于大模型构建的Data Copilot,降低用数门槛,近期我们将Notebook(分析窗口)、逻辑数仓(Data Fabric)、Data Copilot(生成式AI)进行有机组合,端到端的解决用数难题,给用户带来全新的分析体验。
110133 118
阿里云DMS,身边的智能化数据分析助手
|
2月前
|
存储 数据可视化 数据管理
基于阿里云服务的数据平台架构实践
本文主要介绍基于阿里云大数据组件服务,对企业进行大数据平台建设的架构实践。
718 2
|
2月前
|
消息中间件 DataWorks 物联网
MQTT问题之接入阿里云物联网平台如何解决
MQTT接入是指将设备或应用通过MQTT协议接入到消息服务器,以实现数据的发布和订阅;本合集着眼于MQTT接入的流程、配置指导以及常见接入问题的解决方法,帮助用户实现稳定可靠的消息交换。
176 1
|
11天前
|
消息中间件 存储 JavaScript
阿里云IOC物联网异步处理基础概念
该内容介绍了异步处理基础和消息队列的相关概念。首先,同步处理指任务完成后才能执行其他操作,而异步则允许任务并行执行,不阻塞程序。异步能提高系统并发性和响应性,但也增加复杂性和资源消耗。接着,提到了消息队列,包括生产者、消费者、队列、broker和topic等概念,并指出在IoT中,设备作为生产者发送消息到特定topic,消费者从队列获取数据。最后,简要介绍了AMQP协议,它是用于应用程序间消息传递的开放标准,常用于分布式系统和物联网,如RabbitMQ和Apache Qpid。课程将以Apache Qpid为例接收IoT数据。
125 6
阿里云IOC物联网异步处理基础概念
|
1月前
|
消息中间件 编解码 运维
阿里云 Serverless 异步任务处理系统在数据分析领域的应用
本文主要介绍异步任务处理系统中的数据分析,函数计算异步任务最佳实践-Kafka ETL,函数计算异步任务最佳实践-音视频处理等。
175307 348
|
1月前
|
存储 数据采集 Apache
众安保险 CDP 平台:借助阿里云数据库 SelectDB 版内核 Apache Doris 打破数据孤岛,人群圈选提速4倍
随着业务在金融、保险和商城领域的不断扩展,众安保险建设 CDP 平台以提供自动化营销数据支持。早期 CDP 平台依赖于 Spark + Impala + Hbase + Nebula 复杂的技术组合,这不仅导致数据分析形成数据孤岛,还带来高昂的管理及维护成本。为解决该问题,众安保险引入 Apache Doris,替换了早期复杂的技术组合,不仅降低了系统的复杂性,打破了数据孤岛,更提升了数据处理的效率。
众安保险 CDP 平台:借助阿里云数据库 SelectDB 版内核 Apache Doris 打破数据孤岛,人群圈选提速4倍
|
2月前
|
消息中间件 网络协议 物联网
MQTT协议问题之阿里云物联网服务器断开如何解决
MQTT协议是一个轻量级的消息传输协议,设计用于物联网(IoT)环境中设备间的通信;本合集将详细阐述MQTT协议的基本原理、特性以及各种实际应用场景,供用户学习和参考。
130 1
|
1月前
|
Ubuntu JavaScript 关系型数据库
在阿里云Ubuntu 20.04服务器中搭建一个 Ghost 博客
在阿里云Ubuntu 20.04服务器上部署Ghost博客的步骤包括创建新用户、安装Nginx、MySQL和Node.js 18.x。首先,通过`adduser`命令创建非root用户,然后安装Nginx和MySQL。接着,设置Node.js环境,下载Nodesource GPG密钥并安装Node.js 18.x。之后,使用`npm`安装Ghost-CLI,创建Ghost安装目录并进行安装。配置过程中需提供博客URL、数据库连接信息等。最后,测试访问前台首页和后台管理页面。确保DNS设置正确,并根据提示完成Ghost博客的配置。
在阿里云Ubuntu 20.04服务器中搭建一个 Ghost 博客
|
1月前
|
存储 分布式计算 网络协议
阿里云服务器内存型r7、r8a、r8y实例区别参考
在阿里云目前的活动中,属于内存型实例规格的云服务器有内存型r7、内存型r8a、内存型r8y这几个实例规格,相比于活动内的经济型e、通用算力型u1实例来说,这些实例规格等性能更强,与计算型和通用型相比,它的内存更大,因此这些内存型实例规格主要适用于数据库、中间件和数据分析与挖掘,Hadoop、Spark集群等场景,本文为大家介绍内存型r7、r8a、r8y实例区别及最新活动价格,以供参考。
阿里云服务器内存型r7、r8a、r8y实例区别参考

相关产品

  • 物联网平台