Predix Asset Service深度分析

简介:

前言

在IIOT领域,面临着保存海量数据的挑战,具体到Asset层面,则要保存物理对象,逻辑对象,复杂的关系,并支持对象间的组合,分类,标签和高效查询。总结来说,可以归纳为如下几种需求:

 

  1. 灵活的建模风格:支持不同业务领域业务对象

  2. 支持自定义属性:可以是简单的字符串,也可以是对象

  3. 支持对象间关系:层次或图关系

  4. 支持对象间组合:如电机由线圈和转子组成

  5. 支持分类:对对象做宏观分类并保存公共属性

  6. 支持标签:方便用户查询

  7. 支持灵活和高性能查询:支持针对属性,针对关系,层次等查询。

  8. 操作历史:操作日志和审计

  9. 业务能力扩展:脚本

架构

Predix架构如下所示:

 

  • REST API layer

Client应用可以通过REST API服务获取asset数据。这些接口提供了JSON形式的接口,用户可以通过POST形式传递这些数据。为了使用这些API,应用程序发送HTTPS请求并解析响应。可以使用任何web端开发语言解析。

  • Representation layer

Representation Layer将数据由JSON转换为内部图形式表示,也负责完成相反的过程。

  • Query engine

Query engine允许开发者使用JSON AND Graph Expression(GEL)来获取Asset Data Store中保存的任意对象或对象属性的数据。

  • Audit History Service

提供API用来获取Asset Service库中REST请求的历史信息。

  • Script engine

使用户能够将定制的业务逻辑绑定到Asset Service的REST API上。

  • Cassandra graph database

Assert Service将数据保存于Apache Cassandra Nosql数据库中

数据模型

asset

Asset模型可以理解为物理设备在虚拟世界的映射,Asset不但包含设备本身,也包含该设备如何组织和关联的信息。

classification

对asset进行分类,并保存其公共信息。

custom modeling object

自定义的模型,用来进一步进行描述,如生产商等。

API Category Description
Assets 典型的,我们采用层次结构定义asset,由parent asset和一个或多个child asset组成。我们可以将asset与一个classification或任意数目的custom modeling object关联。Asset可以包含任意多个用户自定义属性(custom-defined attribute)。

一个asset也可独立存在于系统中,不与任何的其他建模元素关联。
Classifications

采用树状结构组织,并了一种对asset进行分组和跟踪公共属性的手段。一个classification可以指向多个asset。classification的任意层次上均可以指定attribute。

Custom modeling objects

定制模型对象(custom modeling object)是层次化的,我们可以使用它为asset提供更多的信息。例如,我们可以为asset location,manufactureer等创建单独的对象。一个location可以与多个asset关联,类似的,一个asset也可以关联多个location。

模型示例

Fleets Sample JSON

{

"uri":"/fleets/up-1",

"name":"Union Pacific Fleet 1",

"customer":"/customers/union-pacific"

},

Manufacturers Sample JSON

"uri":"/manufacturers/GE",

"name":"General Electric Transportation",

"year_founded":"1892",

"hqLatLng":{

        "lat":41.881138, 

        "lng":-87.640666}

}

Engines Sample Data

{

"uri":"/engines/v12-1",

"type":"7FDL",

"horsepower":"4400",

"stroke":"230",

"bore":"220",

"RPM":"2400",

"manufacturer":"/manufacturers/GE"

}

Locomotives Sample JSON

{

"uri":"/locomotives/1",

"type":"Diesel-electric",

"model":"ES44AC",

"serial_no":"001",

"emission_tier":"0+",

"fleet":"/fleets/up-1",

"manufacturer":"/manufacturers/GE",

"engine":"/engines/v12-1",

"installedOn":"01/12/2005",

"dateIso":"2005-12-01T13:15:31Z",

"hqLatLng":{

"lat":33.914605,

"lng":-117.253374

}

}

从上面的例子可以看出模型是如何组织的。

存储分析

Asset的存储要考虑两个部分,json-schema和json。json-schema是json的校验标准,任何对存储系统的修改都需要使用json-schema校验。更加抽象的思考,json-schema类似于面向对象的类,而json则是类的实现:对象。只是这种实例化是由RESTAPI触发的,且合法性由json-schema保证。

 

由于工业领域需要面对海量对象,海量关系及多种结构的数据对象(blob value,,picture, log)等,传统的SQL数据库必然无法满足这些需求,且对于JSON来说,最适合应用key-value数据库类型,当然该数据库需要提供良好的性能及可扩展性。

 

经过近些年的发展,cassandra与hbase在不同领域内的应用出现了分化,hbase纪玉hadoop,支持mapreduce,更加适合于大数据计算的场景;而cassandra除了在范围查询性能落后与hbase之外,在易用性,可扩展性,健壮性(无管理节点),以及在大多数的性能应用场景上对hbase存在优势,因此考虑使用cassandra作为asset的存储。

 

具体的,使用cassandra要满足如下的要求:

 

  • 良好的横向扩展性

  • 良好的可维护性

  • 高性能

  • 支持历史记录存储

  • 能够扩展关系存储及查询

可扩展性

Predix提供了Javascript语言支持更多的自定义应用。

 

JS支持是JDK自带的功能,而Predix将此功能应用在REST API上,能够在REST API的执行前后运行JS脚本,实现功能的扩展。其中REST API既可以是资源的CRUD API,也可以是自定义API。其执行逻辑为:开始--->(JS代码)--->REST API--->(JS代码)-->系统通知

 

也即JS代码可以选择在REST API执行前后执行,如果JS代码在REST API执行前,则可用于输入数据校验等,如果在REST API执行后,则可进行通知发送等应用。为了更加灵活的使用JS代码,JS代码中可以引用已经定义的工具方法(Predix提供),也可以调用其他REST API接口。

 

JS代码执行时工业云应用必备的部分,如SCADA系统和Thingwrox均提供了JS代码执行功能。但Thingwrox的JS执行依附于Thing本身(自定义方法)及订阅,而Predix则基于对已有REST API的封装(当然也支持自定义的REST API),总的来说Thingwrox实现的功能,predix也能实现。

 

例如:

        1. 调用系统方法(predix和thingwrox均提供了系统方法)

        2. 调用asset的属性(均可,thingwrox可以在脚本中通过this.引用)

        3. 调用asset的方法(thingwrox可以,predix不明)

        4. 调用其他asset的属性(predix通过restapi查询)

        5. 调用其他asset的方法(可以实现,只要是REST API形式暴露)

        6. 执行结果返回(predix可以通过消息队列返回数据)

        

关键技术

JSON-SCHEMA

http://json-schema.org/,

 

用以描述JSON的数据结构并做验证,JSON-SCHEMA是静态JSON描述,本身不具有任何约束力,需要在实现中加以限制:如执行新增操作时必须验证SCHEMA。

 

CASSANDRA

CASSANDRA是一个key-value数据库,具有高性能,高可靠性,去中心化等特性,并支持GRAPH扩展。

 

http://www.cnblogs.com/loveis715/p/5299495.html 

GEL

如果数据只能存储而不能查询,那就没有任何意义。predix定义了GEL语言用于查询Asset数据,该查询语言是灵活的,支持分页,过滤,正则表达式及关系查询。Asset服务就是要存储所有的模型数据,因此不能针对具体需求做针对性的开发。

 

在Asset  Service中,专门存在查询引擎(Graph Expression Lanauge Query Engine)完成这一功能,这也是工业云平台开发中所必须的。

 

业界比对

这里主要与Thingwrox做比对,Thingworx更是一个物联网平台,而Predix是工业云平台,定位不同,决定了这两个平台在设计上的取舍不同。

 

从建模进行比较,Thingworx弱化了多租户概念,并且基于对类-对象的抽象,给出了Thing-ThingTemplate-ThingShape的模型,能够对每一物理/逻辑实体进行建模。如一个泵,或者是以datasource;而Predix更偏重与处理工业领域的物理实体映射,并不试图建立一个包含一切的建模环境,这种取舍,在工业领域是可以理解的。








      本文转自zsdnr  51CTO博客,原文链接:http://blog.51cto.com/12942149/1932740,如需转载请自行联系原作者


相关实践学习
云数据库HBase版使用教程
  相关的阿里云产品:云数据库 HBase 版 面向大数据领域的一站式NoSQL服务,100%兼容开源HBase并深度扩展,支持海量数据下的实时存储、高并发吞吐、轻SQL分析、全文检索、时序时空查询等能力,是风控、推荐、广告、物联网、车联网、Feeds流、数据大屏等场景首选数据库,是为淘宝、支付宝、菜鸟等众多阿里核心业务提供关键支撑的数据库。 了解产品详情: https://cn.aliyun.com/product/hbase   ------------------------------------------------------------------------- 阿里云数据库体验:数据库上云实战 开发者云会免费提供一台带自建MySQL的源数据库 ECS 实例和一台目标数据库 RDS实例。跟着指引,您可以一步步实现将ECS自建数据库迁移到目标数据库RDS。 点击下方链接,领取免费ECS&RDS资源,30分钟完成数据库上云实战!https://developer.aliyun.com/adc/scenario/51eefbd1894e42f6bb9acacadd3f9121?spm=a2c6h.13788135.J_3257954370.9.4ba85f24utseFl
相关文章
|
canal 关系型数据库 MySQL
java利用canal监听数据库
java利用canal监听数据库
381 0
|
11月前
|
人工智能 搜索推荐 API
智能家居:AI让生活更便捷
【7月更文第18天】在如今这个科技飞速发展的时代,智能家居已经不再是科幻电影里的桥段,而是真真切切走进了千家万户,让我们的日常生活变得既酷炫又贴心。AI,这个听起来有点神秘的词,其实正在悄悄改变我们的小日子,让“智能”成为家庭生活的新常态。下面,我们就来聊聊AI在智能家居中的几个应用场景,看看它是如何让生活变得更加便捷的。
254 1
|
8月前
|
存储 安全 API
NFS 的版本
【10月更文挑战第13天】
420 62
|
9月前
|
Java 数据库连接 API
解锁高效开发秘籍:深入探究 Hibernate 如何优雅处理一对多与多对多关系,让数据映射再无烦恼!
【9月更文挑战第3天】Hibernate 是 Java 领域中最流行的 ORM 框架之一,广泛用于处理实体对象与数据库表之间的映射。尤其在处理复杂关系如一对多和多对多时,Hibernate 提供了丰富的 API 和配置选项。本文通过具体代码示例,展示如何使用 `@OneToMany`、`@JoinColumn`、`@ManyToMany` 和 `@JoinTable` 等注解优雅地实现这些关系,帮助开发者保持代码简洁的同时确保数据一致性。
162 4
|
8月前
|
关系型数据库 MySQL 数据库
深入浅出MySQL索引优化:提升数据库性能的关键
在这个数据驱动的时代,数据库性能的优劣直接关系到应用的响应速度和用户体验。MySQL作为广泛使用的数据库之一,其索引优化是提升查询性能的关键。本文将带你一探MySQL索引的内部机制,分析索引的类型及其适用场景,并通过实际案例演示如何诊断和优化索引,以实现数据库性能的飞跃。
|
10月前
|
机器学习/深度学习 人工智能 自然语言处理
卷积神经网络(CNN):视觉识别的革命先锋
卷积神经网络(CNN)作为人工智能领域的一颗璀璨明珠,在计算机视觉中发挥着核心作用。CNN的发展历程展现了从生物学灵感到技术创新的转变,历经LeNet-5至AlexNet、VGGNet、ResNet等里程碑式的进步。其独特结构包括卷积层、池化层及全连接层,能够层层递进地提取特征并作出决策。CNN不仅在图像分类、目标检测等领域表现卓越,还在人脸识别、医学影像分析等方面展现出巨大潜力。尽管存在局限性,如对序列数据处理能力有限及解释性问题,但通过引入注意力机制、自监督学习等方法,CNN将持续演进,引领人工智能技术走向更加精彩的未来。
565 2
|
存储 固态存储
硬盘对拷(硬盘复制)操作指南
硬盘对拷是将一硬盘所有数据、设置及系统文件完全复制到另一硬盘的过程,确保信息完整传递。此操作不仅涉及复制,更注重数据的准确性和完整性。该技巧常用于数据恢复、系统迁移和备份。使用工具如DiskGenius可高效完成,但需注意备份目标盘数据,正确选择源盘和目标盘,避免数据损失。操作包括选择源盘和目标盘,选择数据传输模式,然后确认并执行拷贝过程。
|
前端开发 Java 应用服务中间件
选择 Spring Boot 进行微服务开发的 7 大理由
选择 Spring Boot 进行微服务开发的 7 大理由
182 1
|
存储 关系型数据库 MySQL
MySQL中使用UUID做主键时需要注意的两个坑(译文)
在InnoDB中使用UUID作为主键需要考虑两个问题
501 0
|
安全 算法 编译器
C++中=delete的巧妙用法
C++中=delete的巧妙用法
377 0