「物联网架构」为您的物联网系统选择合适的数据库的4个步骤

简介: 「物联网架构」为您的物联网系统选择合适的数据库的4个步骤


为物联网解决方案选择正确的数据库平台是一项艰巨的任务。首先,物联网解决方案可以跨地理区域分布。与集中式的基于云的解决方案相反,更多的解决方案正在采用边缘雾计算和云计算的组合。因此,您的数据库平台必须为您提供在边缘处理数据以及在边缘服务器和云之间进行同步的灵活性。

其次,根据您的物联网使用情况,您需要的数据库功能可能包括实时数据流、数据过滤和聚合、接近零延迟的读取操作、即时分析、高可用性、地理分布、模式灵活性等等。本文介绍了为物联网解决方案选择正确的数据库平台的四个步骤:

步骤1 确定解决方案的数据需求

物联网解决方案依赖于从联网设备中收集和处理数据,做出智能决策,如触发通知或动作,计算实时分析,从历史数据中收集模式,等等。

为了便于讨论,在通用的物联网解决方案中,可以在整个企业中安装传感器和执行器。成千上万的传感器和执行器与一台edge服务器相连。物联网解决方案不断从所有传感器收集数据,做出实时决策来控制传感器和执行器,向系统监视器发出异常活动警报,并为最终用户提供分析的历史视图。


在决定使用哪些服务和与之配套的数据库之前,有必要清楚地了解如何使用数据以及在何处使用数据。一些问题可以帮助理解和优先考虑你的数据需求:

  • 哪些数据处理和决策被委托给边缘服务器?
  • 云解决方案是部署在一个地区,还是分散在多个地区?
  • 从设备到边缘服务器和从边缘服务器到中央服务器传输的数据量是多少?估计的峰值容量是多少?
  • 物联网解决方案是否控制设备或致动器?如果是,它们需要实时响应吗?
  • 从历史数据中获得的业务洞察力是什么?

步骤2 将解决方案分解为独立的软件服务

在此步骤中,您将设计执行独立的特定任务的软件服务或组件。

当将前面描述的样例物联网解决方案分解为独立的服务时,可以得到图2所示的设计。物联网解决方案本身是地理分布的,其中一些组件部署在边缘网络,其余组件在一个集中位置。


现在让我们将架构分解为服务,并分析它们的职责和数据需求:

数据摄取

目的:收集和存储设备日志和消息。

数据库需求:支持高速写操作,因为数据可能以突发的方式到达,确保数据在不寻常的情况下不会丢失。

边缘分析

用途:对输入数据执行数据转换、分类、聚合、过滤和功能。它负责在边缘进行实时决策。

数据库需求:支持高速读写与亚毫秒延迟;提供工具和命令来对数据执行复杂的分析计算

设备管理器

用途:向设备传递信息。

数据库需求:以最小的延迟访问和向设备发送消息。

系统分析

目的:从边缘服务器收集数据,执行数据转换和分析操作。

数据库需求:提供对数据执行分析计算的命令,并根据分析引擎的需要长时间存储数据。

C&C (命令和控制)仪表板

目的:提供物联网生态系统当前状态的可视化表示。

数据库需求:保持数据的当前和准确,读取数据的延迟小于毫秒。

商业智能

用途:从历史数据运行报告、查询和推断。

数据库需求:长时间存储数据,节约成本;提供查询和分析数据的工具。

物联网数据流出口

用途:将数据规范化为一种通用格式,并将其推送给订阅服务器。

数据库需求:高效执行数据转换操作的能力;支持发布和订阅功能。

步骤3:根据数据需求对服务进行分组,并选择正确的数据库

下一步是根据每个服务的数据选择正确的数据库。图3将我们的物联网示例中的服务连接到图中,根据数据在数据库中停留的时间和服务所需的数据读/写速度对它们进行分类。

您将看到数据不断进出数据摄取服务器,在数据库中停留的时间非常短。同时,数据的到达量大,速度快。因此,我们需要一个具有低延迟的高速数据库来保存用于摄入服务的数据。另一方面,商业智能服务依赖于历史数据。


下一步是对具有类似数据访问特征的服务进行分组,目标是限制数据库的数量(多余的数据库和不符合您需求的数据库),从而减少操作开销。


在图4中,我们将示例服务分组到两个主数据库中—一个热数据库和一个冷数据库。保存热数据的数据库部署在靠近物联网设备的位置,以最小化网络延迟。热数据和冷数据的数据库选择是:

热数据库:由于RAM的成本越来越便宜,内存中的数据库通常是一个不错的选择。内存中的数据库以最小的延迟交付数据读写能力。当选择一个热数据库时,这些额外的功能和能力将帮助您缩小选择范围:

  • 数据格式的灵活性——帮助您支持广泛的设备和通信格式
  • 查询功能——使您能够实时运行高效的查询
  • 消息传递和排队——驱动通信和数据交换
  • 分层内存模型-提供一个经济有效的内存模型,但高性能
  • 高可用性和灾难恢复-帮助您保持业务的所有时间
  • 地理分布-服务地理分布的物联网部署
  • 二进制安全-帮助您保存二进制数据

冷数据库:物联网解决方案的历史数据可能增长到多个tb,在某些情况下可能超过一个pb。存储历史数据的流行选择包括在普通硬件上存储解决方案。查询通常遵循map-reduce模式。通常,历史数据也会在搜索引擎中建立索引,用于模式匹配和数据聚合。如果您要将数据存储在云中,请与您的云服务提供商联系,在您所在的地区,哪种数据存储方案最划算。

第四步:评估成本、资源效率

将数据库分为热数据库和冷数据库有助于缩小数据库选择范围。对于大多数物联网用例,一个高速数据库可以满足热数据库的所有需求。对于冷数据库,选项可能从关系数据库到数据湖。设计人员经常犯的一个错误是为每个服务创建具有专门数据库的多语言体系结构。这增加了应用程序堆栈的复杂性以及操作开销和成本。

拥有一个数据库的总成本是许多参数的函数。数据库本身的成本只是成本的一小部分。以下是一些费用:

  • 数据库许可证成本:该成本可能与cpu数量、集群中的碎片数量、数据库大小、吞吐量(每秒最大操作数量)、时间(年、月、小时等)、高可用性和恢复特性、云的多个区域的可用性等有关。如果您使用的数据库可以作为开放源码软件使用,根据许可证的类型,数据库成本甚至可能为零。
  • 基础设施成本:基础设施成本取决于数据库的资源效率。例如,一个轻量级、线程安全的数据库可能只使用两个商用服务器每秒执行100万次读/写操作,而传统数据库可能需要更多的服务器才能得到相同的结果。除了数据库效率,硬件成本还取决于吞吐量、cpu数量、RAM、数据大小、闪存、网卡等。用于高可用性的数据库体系结构也发挥了作用。例如,基于仲裁的故障转移架构将只需要一个备用服务器副本,但非基于仲裁的架构将需要两个数据副本,以避免分裂大脑。
  • 数据丢失成本:为数据丢失提供适当的保险是极其重要的,特别是对于商用物联网解决方案。您丢失数据的总成本为:亏损的业务数据丢失的概率*恢复数据的成本

您可以使用数据库供应商提供的适当SLA来抵消部分成本。

  • 操作开销:自动化是成功的咒语。如果数据库提供控制来自动化部署、配置、故障转移、扩展、数据分区、备份和恢复、监视和警报等操作,那么将有助于高效地操作。

结论

当为下一代物联网解决方案选择正确的数据库时,很容易迷失在现有的大量数据库中。但是,如果将解决方案分解为组件服务并理解它们的数据库需求,就可以有效地缩小数据库选择范围。大多数物联网解决方案都依赖于热数据库进行实时数据收集、处理、消息传递、分析,而冷数据库用于存储历史数据和收集商业智能。这将使架构简单、精简和健壮

最后需要说明的是,Redis实验室赞助的开源内存数据库Redis是物联网解决方案的热门数据库。它被物联网解决方案广泛用于数据摄取、实时分析、消息传递、缓存和许多其他用例。


相关实践学习
阿里云AIoT物联网开发实战
本课程将由物联网专家带你熟悉阿里云AIoT物联网领域全套云产品,7天轻松搭建基于Arduino的端到端物联网场景应用。 开始学习前,请先开通下方两个云产品,让学习更流畅: IoT物联网平台:https://iot.console.aliyun.com/ LinkWAN物联网络管理平台:https://linkwan.console.aliyun.com/service-open
相关文章
|
7月前
|
负载均衡 算法 关系型数据库
大数据大厂之MySQL数据库课程设计:揭秘MySQL集群架构负载均衡核心算法:从理论到Java代码实战,让你的数据库性能飙升!
本文聚焦 MySQL 集群架构中的负载均衡算法,阐述其重要性。详细介绍轮询、加权轮询、最少连接、加权最少连接、随机、源地址哈希等常用算法,分析各自优缺点及适用场景。并提供 Java 语言代码实现示例,助力直观理解。文章结构清晰,语言通俗易懂,对理解和应用负载均衡算法具有实用价值和参考价值。
大数据大厂之MySQL数据库课程设计:揭秘MySQL集群架构负载均衡核心算法:从理论到Java代码实战,让你的数据库性能飙升!
|
5月前
|
Ubuntu 编译器 C语言
在Ubuntu22.04平台上交叉编译针对Rv1126架构的GCC13.2.0编译器的步骤。
遵循上述步骤,您应该能够在Ubuntu 22.04平台上成功交叉编译适用于RISC-V架构RV1126的GCC 13.2.0编译器,允许您为目标硬件构建应用程序和操作系统组件。
273 10
|
6月前
|
存储 关系型数据库 数据库
高性能云盘:一文解析RDS数据库存储架构升级
性能、成本、弹性,是客户实际使用数据库过程中关注的三个重要方面。RDS业界率先推出的高性能云盘(原通用云盘),是PaaS层和IaaS层的深度融合的技术最佳实践,通过使用不同的存储介质,为客户提供同时满足低成本、低延迟、高持久性的体验。
|
7月前
|
存储 Cloud Native 关系型数据库
PolarDB开源:云原生数据库的架构革命
本文围绕开源核心价值、社区运营实践和技术演进路线展开。首先解读存算分离架构的三大突破,包括基于RDMA的分布式存储、计算节点扩展及存储池扩容机制,并强调与MySQL的高兼容性。其次分享阿里巴巴开源治理模式,涵盖技术决策、版本发布和贡献者成长体系,同时展示企业应用案例。最后展望技术路线图,如3.0版本的多写多读架构、智能调优引擎等特性,以及开发者生态建设举措,推荐使用PolarDB-Operator实现高效部署。
397 3
|
8月前
|
负载均衡 算法 关系型数据库
大数据新视界--大数据大厂之MySQL数据库课程设计:MySQL集群架构负载均衡故障排除与解决方案
本文深入探讨 MySQL 集群架构负载均衡的常见故障及排除方法。涵盖请求分配不均、节点无法响应、负载均衡器故障等现象,介绍多种负载均衡算法及故障排除步骤,包括检查负载均衡器状态、调整算法、诊断修复节点故障等。还阐述了预防措施与确保系统稳定性的方法,如定期监控维护、备份恢复策略、团队协作与知识管理等。为确保 MySQL 数据库系统高可用性提供全面指导。
|
10月前
|
人工智能 JavaScript 安全
【01】Java+若依+vue.js技术栈实现钱包积分管理系统项目-商业级电玩城积分系统商业项目实战-需求改为思维导图-设计数据库-确定基础架构和设计-优雅草卓伊凡商业项目实战
【01】Java+若依+vue.js技术栈实现钱包积分管理系统项目-商业级电玩城积分系统商业项目实战-需求改为思维导图-设计数据库-确定基础架构和设计-优雅草卓伊凡商业项目实战
469 13
【01】Java+若依+vue.js技术栈实现钱包积分管理系统项目-商业级电玩城积分系统商业项目实战-需求改为思维导图-设计数据库-确定基础架构和设计-优雅草卓伊凡商业项目实战
|
10月前
|
SQL 弹性计算 安全
【上云基础系列04】基于标准架构的数据库升级
本文回顾了业务上云从基础到进阶的理念,涵盖基础版和全栈版架构。在“入门级:上云标准弹性架构基础版”的基础上,本文针对数据库升级,重点介绍了高可用数据库架构的升级方案,确保数据安全和业务连续性。最后,附有详细的“上云标准弹性架构”演进说明,帮助用户选择合适的架构方案。
|
9月前
|
存储 SQL 并行计算
【赵渝强老师】达梦数据库MPP集群的架构
达梦数据库提供大规模并行处理(MPP)架构,以低成本实现高性能并行计算,满足海量数据存储和复杂查询需求。DM MPP采用完全对等无共享体系,消除主节点瓶颈,通过多节点并行执行提升性能。其执行流程包括主EP生成计划、分发任务、各EP并行处理及结果汇总返回。为确保高可用性,建议结合数据守护部署。
287 0
|
11月前
|
前端开发 Java 数据库连接
Java后端开发-使用springboot进行Mybatis连接数据库步骤
本文介绍了使用Java和IDEA进行数据库操作的详细步骤,涵盖从数据库准备到测试类编写及运行的全过程。主要内容包括: 1. **数据库准备**:创建数据库和表。 2. **查询数据库**:验证数据库是否可用。 3. **IDEA代码配置**:构建实体类并配置数据库连接。 4. **测试类编写**:编写并运行测试类以确保一切正常。
503 2
|
12月前
|
SQL 存储 运维
从建模到运维:联犀如何完美融入时序数据库 TDengine 实现物联网数据流畅管理
本篇文章是“2024,我想和 TDengine 谈谈”征文活动的三等奖作品。文章从一个具体的业务场景出发,分析了企业在面对海量时序数据时的挑战,并提出了利用 TDengine 高效处理和存储数据的方法,帮助企业解决在数据采集、存储、分析等方面的痛点。通过这篇文章,作者不仅展示了自己对数据处理技术的理解,还进一步阐释了时序数据库在行业中的潜力与应用价值,为读者提供了很多实际的操作思路和技术选型的参考。
352 1

相关产品

  • 物联网平台