IoT高级设备检索

简介: 本文介绍主要阿里云物联网平台从设备管理、设备运维2个角度来打造设备的搜索产品,除作为检索产品应该具备的低RT、高Qps、高稳定性外,“IoT设备搜索”产品还需为用户提供了完备的设备数据、尽可能短的可见时延、灵活的查询。

场景特性

     每个业务场景都有自己特有数据特性,IoT也不例外。单纯从设备检索的角度切入来看,IoT的设备检索特性如下:

           1. 亿级数据

           2. 数据高频变更

           3. 时序特性

           4. 无冷热特征

           5. 结构松散

           6. 数据异构

数据Dump层

     整体思路和多数检索场景类似:全量数据+增量数据。由于底层用了多套云检索引擎,因此整个Dump层天然具备云原生的能力,与此同时,我们采用了影子库、主备集群、读写分离、配置化、全链路监控等手段,来保障数据的吞吐、时延、稳定、高效。

AB50B995-1011-49F0-ABB7-0A441D0CA3A4.png

物模型检索

      物模型是物理空间中的实体(如传感器、车载装置、楼宇、工厂等)在云端的数字化表示,从属性、服务和事件三个维度,分别描述了该实体是什么、能做什么、可以对外提供哪些信息。因此相对于设备的元数据(名称等),物模型数据的检索是极其重要的一部分。然而,虽然单个设备的物模型属性数量是有限的,但是不同的设备的物模型属性数是完全不一样的,这就导致最终最终设备的物模型的属性是不可穷尽的,但是我们的索引表的宽度是有限的。因此,就需要用有限的索引列存储无限的物模型数据。

       通过结合物模型的特点:数据定义明确、整体数量不可穷尽、单设备可穷尽,将单设备的物模型信息与索引进行映射,多设备复用相同索引,实现物模型数据的检索。

C6608870-0156-4EB1-9CEB-5AA0D29079F2.png

SQL-Like检索能力

     云上的产品ToB的比重更高,使用我们云平台的大多数用户都有一定技术背景,SQL在技术人员普及度又极高,为了降低用户的使用成本,我们提供了SQL-Like的检索能力,用户能够像查询数据库一样来检索数据。与此同时,我们底层用了多套检索引擎,因此我们希望在上层使用SQL检索的方式来屏蔽底层引擎的差异。简而言之,上层使用SQL语法,下层适配多套检索引擎。

为此,我们设计了一套:适配多引擎、业务自定义、SQL检索框架。整体架构上,参考了Apache Calcite

SQL-Helper:我们提供了SQL拼装工具,用户可以像写JAVA那样完成SQL书写,防止SQL拼写错误带来的调试效率问题;

Adapter:适配层模块,基于底层引擎进行适配、路由;

Parser:SQL解析模块;

Completer:语句补全、替换等;

Validater:语句校验模块;

Tanslator:语句转义为底层引擎请求,并进行参数优化;

7EB50980-8A96-49BC-828F-896695A597FA.png

使用文档

   https://help.aliyun.com/document_detail/185713.html?spm=a2c4g.11174283.6.712.2d924c07H2j7X7


相关文章
|
1月前
|
传感器 物联网 网络架构
ENS、IoT设备、X86、ARM
ENS(Enterprise Name Service)是企业名称服务,是一种为物联网设备提供命名和寻址服务的技术。ENS通过为物联网设备分配唯一的名称和地址,使得物联网设备可以被网络中的其他设备和服务所识别和访问。 IoT设备(Internet of Things device)是连接到互联网的物理设备,可以收集和共享数据,用于监测、控制和优化各种业务流程和操作。IoT设备包括各种传感器、执行器、网关和路由器等。
55 2
|
1月前
|
网络协议 物联网 5G
K3S 系列文章 -5G IoT 网关设备 POD 访问报错 DNS 'i/o timeout' 分析与解决
K3S 系列文章 -5G IoT 网关设备 POD 访问报错 DNS 'i/o timeout' 分析与解决
|
28天前
|
安全 物联网 测试技术
构建未来:Android与IoT设备的无缝交互深入探索软件自动化测试的未来趋势
【5月更文挑战第30天】在物联网(IoT)技术快速发展的当下,Android系统因其开放性和广泛的用户基础成为了连接智能设备的首选平台。本文将探讨如何通过现代Android开发技术实现智能手机与IoT设备的高效、稳定连接,并分析其中的挑战和解决方案。我们将深入挖掘Android系统的底层通信机制,提出创新的交互模式,并通过实例演示如何在Android应用中集成IoT控制功能,旨在为开发者提供一套可行的指导方案,促进IoT生态系统的进一步发展。
|
1月前
|
安全 物联网 Android开发
构建未来:Android与IoT设备的无缝集成
【5月更文挑战第10天】 在数字化时代的浪潮中,智能设备与互联网的结合日益紧密。本文深入探讨了Android系统如何通过其开放性和灵活性成为连接物联网(IoT)设备的关键枢纽。我们将分析Android平台与IoT设备集成的技术途径,探索它们如何共同塑造智能家居、可穿戴技术以及工业自动化等领域的未来。文中不仅阐述了当前的发展状况,还展望了未来的发展趋势,特别是安全性和隐私保护方面的挑战及对策。
22 1
|
1月前
|
消息中间件 弹性计算 物联网
【阿里云弹性计算】阿里云ECS在IoT领域的应用:支撑大规模设备连接与数据处理
【5月更文挑战第26天】阿里云ECS是弹性计算服务,支持IoT设备的连接与数据处理。通过MQTT协议实现设备快速接入,配合消息队列处理异构实时数据。ECS可用于部署数据处理工具、应用服务,如智能家居控制系统,通过弹性伸缩适应负载变化。结合阿里云其他服务,ECS为IoT提供完整解决方案,助力企业数字化转型。
45 0
|
1月前
|
新零售 JSON 物联网
振南技术干货集:制冷设备大型IoT监测项目研发纪实(7)
振南技术干货集:制冷设备大型IoT监测项目研发纪实(7)
|
9月前
|
网络协议 物联网 大数据
|
9月前
|
安全 物联网 网络性能优化
|
9月前
|
网络协议 物联网 网络性能优化
|
9月前
|
安全 物联网 物联网安全

热门文章

最新文章