开发者学堂课程【物联网平台实操入门：阿里云物联网数据的统计分析（二）】学习笔记与课程紧密联系，让用户快速学习知识
课程地址：https://developer.aliyun.com/learning/course/1031/detail/15128
阿里云物联网数据的统计分析（二）
二、平台介绍
接下来进入本节课的重点介绍物联网数据分析平台。图中的最左边是设备，平台的第一层是连接，连接上去有消息流转和设备管理以及运维。接下来介绍的是数据分析主要的模块有设备备份、指标管理、Topic资产管理、时序数据分析（还在建设中）以及数据API，最右边是企业的系统。
物联网的本质是将设备数字化，数字化就是设备的属性或者是事件上报之后有两个地方使用，一个是通过规则引擎流转到企业系统进行TB业务系统的开发。另外流转之后也可以存进数仓进行大数据分析，大数据分析目前平台是做了一层底座，即对大数据有建设成本可以直接使用平台来进行大数据的分析。
接下俩介绍物联网分析平台的概述，架构图不再详细展开，着重讲解几个点，第一个是依托于阿里云的飞天的系统的分布式存储系统，保障了数据的存储是一个安全性和丢失率是极低的，另外价格是非常低的，如果感兴趣可以去官网看。
另外整个架构是存储和计算分离的，并且介绍了是分布式存储的。另外还支持多模式的计算引擎。
底下平台集层是Maxcomputer的批量计算引擎，同时对一些常见的指标使用flink进行实时数据的清洗，主要是通过基础API的方式给用户使用，没有用产品化的方式进行计算主要是考虑到流计算的成本太高，，所以用一方的方式清洗，未来随着存储也可以开放。下面还有交互式查询依托于hologres交互式引擎，同时也有机器学习的模块。在数据应用方面主要是两块，第一块是可视化的能力，同时还有数据API的提供。
操作流程可以看到最左边的是数据源，数据源分成物模型的数据和设备数据，同时业务数据也在开发中。
第二项也在开发就是数据管道，接下来是数据存储，这些是物联网新起的链流，接着到数据分析和机器学习两个模块，处理完之后可以以数据资产的形式整合起来提供给数据报表和数据API去使用。这样整个物联网的数据是一个流逝的方式，大的平台是ppl提供的处理过程。
在数据源可以看到点击备份可以备份整个物联网及实例的数据，备份默认备份标准物模型的数据，同时还提供解析管道、解析任务支持用户自定义解析事件，因为事件是嵌套的所以无法跟表对齐需要有一个解析层，同时也支持用户自定义的数据的解析。备份可以支持整个实例的备份也可以单个产品备份。
数据管道是很典型的的编排方式来处理，目前提供了一个数据源定义，源定义可以选择实例、产品、设备，设备只能是针对全部设备，另外可以选择topic类型支持事件和自定义的topic。表达式和过滤器可以通过一个表达式进行数据的转换比如四则运算常用的函数进行数据的处理，另外也支持数据的过滤，物联网数据很多时候是不标准的，需要提前进行过滤达到比较好质量的数据进行后续的加工和处理。目标源会流回到具体的产品上，后续会进行具体的展示。
下一个步骤是指标定义，指标定义可以对标到阿里的OneModle的指标设计的过程，包括数据域即所谓的指标域，也有业务过程，这两层可以对应到原生指标，原生指标经过衍生会增加一个统计周期和修饰词，修饰词有时间修饰词和业务修饰词，组合之后是派生指标。很典型的指标定义过程用系统的方式最佳实践提供出来给用户使用，刚才所讲的概念在词库管理里面会有原子词的定义，原子词包括度量、数据类型和业务口径等，内置了很多时间修饰词也开放工单方式增加相关的时间修饰词。
在指标管理罗列出了相应的指标比如故障周期是原始的指标同时也像设备全局的效能tpp属于衍生指标，右侧是任务运维，指标是t+1调度的，每天调度时会生成一个周期实例，并且相关的调度的过程可以通过日志来查看，同时如果有异常或者逻辑发生改变之后可以进行存跑。
并且也支持回刷实例，回刷实例是支持具体的指标的回刷的周期可以进行手动的数据的回刷。指标生产完之后有两个出口第一个是报表系统，报表系统可以看到右边的截图就是报表，报表包括指标卡、主副指标卡、折线图、柱状图、双轴图、条形图、散点图、仪表盘、表格。当然对于专业的BI系统可能不是很全，这里相当于将物联网数据的集成、清洗、加工以及展示进行完整的闭环，如果有更高要求可以通过数据API进行数据的拉取。
在自己的大屏或者报表获取定时化的展示，数据API也分为两部分一部分是基础服务API，这是之前介绍的会将一些通用的指标进行清洗并且以一方的指标提供在基础服务API上露出，目前有2、3组的预设的指标API，可以看到任意一天的联网分布、历史品类分布、任意一天的品类分布排行等等都是针对设备域的分析沉淀下来的指标，这样就免用户数据清洗或开发的过程。在自定义数据API里面可以根据用户的要求自己定义API的形式，定义过程之后会着重介绍，能力主要包括API的测试。
在开放之前要进行测试，可以在工作台直接进行测试，测试的时候有日志的返回，返回的数据结构的展示。同时调用示例也就是代码，展示的是Java代码调用的的示例代码，用户可以直接将相关的代码demo代码拷出去就可以调用API。另外有相关的入参和出参的说明，最基础的信息会在最顶部展示。
另外对新建的产品提供了原始数据的接口，这样用户可以将上报的数据通过批量的分页的方式拉取，这就是自定义API的过程。定义完之后可以用相关的SDK方式调用。
