IoT高级设备检索

简介: 本文介绍主要阿里云物联网平台从设备管理、设备运维2个角度来打造设备的搜索产品,除作为检索产品应该具备的低RT、高Qps、高稳定性外,“IoT设备搜索”产品还需为用户提供了完备的设备数据、尽可能短的可见时延、灵活的查询。

场景特性

     每个业务场景都有自己特有数据特性,IoT也不例外。单纯从设备检索的角度切入来看,IoT的设备检索特性如下:

           1. 亿级数据

           2. 数据高频变更

           3. 时序特性

           4. 无冷热特征

           5. 结构松散

           6. 数据异构

数据Dump层

     整体思路和多数检索场景类似:全量数据+增量数据。由于底层用了多套云检索引擎,因此整个Dump层天然具备云原生的能力,与此同时,我们采用了影子库、主备集群、读写分离、配置化、全链路监控等手段,来保障数据的吞吐、时延、稳定、高效。

AB50B995-1011-49F0-ABB7-0A441D0CA3A4.png

物模型检索

      物模型是物理空间中的实体(如传感器、车载装置、楼宇、工厂等)在云端的数字化表示,从属性、服务和事件三个维度,分别描述了该实体是什么、能做什么、可以对外提供哪些信息。因此相对于设备的元数据(名称等),物模型数据的检索是极其重要的一部分。然而,虽然单个设备的物模型属性数量是有限的,但是不同的设备的物模型属性数是完全不一样的,这就导致最终最终设备的物模型的属性是不可穷尽的,但是我们的索引表的宽度是有限的。因此,就需要用有限的索引列存储无限的物模型数据。

       通过结合物模型的特点:数据定义明确、整体数量不可穷尽、单设备可穷尽,将单设备的物模型信息与索引进行映射,多设备复用相同索引,实现物模型数据的检索。

C6608870-0156-4EB1-9CEB-5AA0D29079F2.png

SQL-Like检索能力

     云上的产品ToB的比重更高,使用我们云平台的大多数用户都有一定技术背景,SQL在技术人员普及度又极高,为了降低用户的使用成本,我们提供了SQL-Like的检索能力,用户能够像查询数据库一样来检索数据。与此同时,我们底层用了多套检索引擎,因此我们希望在上层使用SQL检索的方式来屏蔽底层引擎的差异。简而言之,上层使用SQL语法,下层适配多套检索引擎。

为此,我们设计了一套:适配多引擎、业务自定义、SQL检索框架。整体架构上,参考了Apache Calcite

SQL-Helper:我们提供了SQL拼装工具,用户可以像写JAVA那样完成SQL书写,防止SQL拼写错误带来的调试效率问题;

Adapter:适配层模块,基于底层引擎进行适配、路由;

Parser:SQL解析模块;

Completer:语句补全、替换等;

Validater:语句校验模块;

Tanslator:语句转义为底层引擎请求,并进行参数优化;

7EB50980-8A96-49BC-828F-896695A597FA.png

使用文档

   https://help.aliyun.com/document_detail/185713.html?spm=a2c4g.11174283.6.712.2d924c07H2j7X7


相关文章
|
7月前
|
网络协议 物联网 5G
K3S 系列文章 -5G IoT 网关设备 POD 访问报错 DNS 'i/o timeout' 分析与解决
K3S 系列文章 -5G IoT 网关设备 POD 访问报错 DNS 'i/o timeout' 分析与解决
|
2月前
|
人工智能 安全 物联网
|
4月前
|
存储 监控 安全
使用IoT设备优化家庭生活的技术探索
【8月更文挑战第4天】IoT设备以其智能化、便捷性和高效性,正逐步成为现代家庭不可或缺的一部分。从智能照明到智能安防,从智能恒温器到智能厨房,再到智能语音助手,这些设备不仅优化了我们的家庭生活,还提升了我们的生活质量和幸福感。随着技术的不断进步和应用场景的不断拓展,我们有理由相信,未来的智能家居将会更加智能、更加人性化,为我们的生活带来更多惊喜和便利。
|
3月前
|
机器学习/深度学习 人工智能 算法
物联网(IoT)就像是一个大型派对,无数的设备都在欢快地交流着信息
【9月更文挑战第4天】在这个万物互联的时代,物联网(IoT)犹如一场盛大的派对,各类设备欢聚一堂。然而,如何让这些设备互相理解并协同工作呢?这就需要机器学习与人工智能的助力。例如,智能空调通过学习你的使用习惯来调节温度,使你更加舒适;智能安防系统则能识别异常行为并及时报警,保障家庭安全。此外,智能农业、交通等领域也因机器学习和人工智能的应用变得更加高效。下面通过一个简单的温度预测代码示例,展示机器学习在物联网中的实际应用,让我们一起感受其强大潜力。
69 0
|
4月前
|
存储 SQL JSON
【Azure IoT Hub】从设备端如何向IOT发送海量数据,可以使用从设备到IoT连接的直接传输吗?如何把IoT Hub中的数据存储到Azure Storage中?
【Azure IoT Hub】从设备端如何向IOT发送海量数据,可以使用从设备到IoT连接的直接传输吗?如何把IoT Hub中的数据存储到Azure Storage中?
|
6月前
|
传感器 安全 物联网
物联网(IoT)设备的硬件选型与集成技术博文
【6月更文挑战第28天】物联网设备硬件选型与集成聚焦关键要素:功能匹配、性能稳定性、兼容扩展及成本效益。嵌入式系统、通信协议、数据处理和安全性技术确保集成效果,支撑高效、智能的IoT系统,驱动家居、城市与工业自动化变革。
|
7月前
|
安全 物联网 测试技术
构建未来:Android与IoT设备的无缝交互深入探索软件自动化测试的未来趋势
【5月更文挑战第30天】在物联网(IoT)技术快速发展的当下,Android系统因其开放性和广泛的用户基础成为了连接智能设备的首选平台。本文将探讨如何通过现代Android开发技术实现智能手机与IoT设备的高效、稳定连接,并分析其中的挑战和解决方案。我们将深入挖掘Android系统的底层通信机制,提出创新的交互模式,并通过实例演示如何在Android应用中集成IoT控制功能,旨在为开发者提供一套可行的指导方案,促进IoT生态系统的进一步发展。
|
7月前
|
安全 物联网 Android开发
构建未来:Android与IoT设备的无缝集成
【5月更文挑战第10天】 在数字化时代的浪潮中,智能设备与互联网的结合日益紧密。本文深入探讨了Android系统如何通过其开放性和灵活性成为连接物联网(IoT)设备的关键枢纽。我们将分析Android平台与IoT设备集成的技术途径,探索它们如何共同塑造智能家居、可穿戴技术以及工业自动化等领域的未来。文中不仅阐述了当前的发展状况,还展望了未来的发展趋势,特别是安全性和隐私保护方面的挑战及对策。
158 1
|
7月前
|
消息中间件 弹性计算 物联网
【阿里云弹性计算】阿里云ECS在IoT领域的应用:支撑大规模设备连接与数据处理
【5月更文挑战第26天】阿里云ECS是弹性计算服务,支持IoT设备的连接与数据处理。通过MQTT协议实现设备快速接入,配合消息队列处理异构实时数据。ECS可用于部署数据处理工具、应用服务,如智能家居控制系统,通过弹性伸缩适应负载变化。结合阿里云其他服务,ECS为IoT提供完整解决方案,助力企业数字化转型。
104 0
|
7月前
|
新零售 JSON 物联网
振南技术干货集:制冷设备大型IoT监测项目研发纪实(7)
振南技术干货集:制冷设备大型IoT监测项目研发纪实(7)
下一篇
DataWorks