《云计算:原理与范式》一3.11 云集成的传感器架构[3]

简介: 本节书摘来自华章出版社《云计算:原理与范式》一书中的第3章,第3.11节,作者 (澳)Rajkumar Buyya James Broberg Andrzej Goscinski,更多章节内容可以访问云栖社区“华章计算机”公众号查看

3.11 云集成的传感器架构[3]

在过去几年中,无线传感器网络(WSN)受到极大关注[3]。因为其潜能在众多领域富有新颖性和吸引力的解决方案,如工业自动化、环境监测、运输业务、卫生保健等领域。如果将传感器得出的数据添加到各种基于Web的社会化网络或虚拟社区、博客等,我们身边将会有非常完美转换。
随着微纳米技术的快速采用,生活用品也注定在它们的业务和产品方面变成数字授权和智能化。因此,其目标是连接智能材料、设备、器件、联合消息中间件、企业信息系统和包、无所不在的服务、手持设备和彼此巧妙建立的传感器,以及保持完美、充满魅力的催化式情景感知应用。云已成为集中式、紧凑型和有能力的基础设施,为众多内在品质的用户提供以人为本和上下文感知的服务。这一长期目标需要在云和所有这些无所不在的微小系统间存在一个完美的连接和针对性的交互。本节阐述了一个强大的、有弹性的架构,对传感器网络集成到云进行了探索。不过,该架构面临许多挑战。此架构的作者提出了一个基于发布—订阅(pub-sub)的模式,从而简化了传感器网络与基于社区为中心的应用集成。另外,还需要网际互联云供应商,以防止违反用户服务水平协议。
由团队的研究人员组成的虚拟社区一起解决这个复杂的问题,他们需要提供数据存储、计算能力和安全性。例如,这个团队正在通过人口移动研究一种新型病毒的爆发。这不只需要Wiki或其他社会化组织工具。他们在患者体内放置生物传感器,以持续监控患者的病情并使用该数据大规模模拟以跟踪病毒变异和可能治愈的感染扩散。这可能需要计算资源和一个共享数据和结果的平台,但团队不能立即使用这些结果。
在这种情况下可以使用传统的HPC方法,如传感器网格(Sensor-Grid)模型,设置基础设施以部署该模型,以便在这种环境下不容易快速向外扩展基础设施。不过,云计算范式是一个很好的举措。然而,遗憾的是,目前的云服务供应商并未解决传感器网络与云应用集成的问题,因而没有基础设施支持这一方案。虚拟组织(VO)需要有一个可以与社交网络和协作工具快速部署的地方,其他专门的应用程序和工具可以组成传感器数据,并根据其订阅将其传播到VO用户。
在这里,研究人员需要登记他们的兴趣,从生物传感器中得到各种病人的状态(血压、体温、脉率等)进行大规模并行分析,并分享彼此的信息,以找到有用的问题解决方案。因此,这需要在订阅的基础上汇总、处理和传播传感器数据。另一方面,由于传感器数据需要大量的计算能力和存储,因此一个云服务供应商可能无法处理这个需求。
这需要坚持并探讨与其他云服务供应商动态合作。该架构解决了上述问题,并提供可行的解决方案。
为了使传感器网络集成到云中,这些作者提出了一个基于内容的发布-订阅模式。一个发布-订阅系统将传感器数据封装成事件,并为系统实体间的异步数据交换提供事件发布和订阅服务。MQTT-S是一个开放的基于主题的发布-订阅协议,它隐藏传感器网络的拓扑结构,并允许数据基于兴趣而不是各个设备地址传递。它允许在WSN和传统网络间,甚至不同的WSN间进行透明的数据交换。
在该架构中,像MQTT那样,系统的所有复杂性驻留在代理(broker)一端,但它与MQTT-S不同,因为它使用基于内容的发布-订阅代理,而不是基于主题的适合于应用程序的方案。发布完事件后,它从发布者传送到一个或多个订阅者,发布者无需将消息传递给任何特定的订阅者。WSN环境以外的发布-订阅代理完成匹配。在基于内容的发布-订阅系统中,必须用元数据增强传感器数据以识别不同的数据字段。例如,传感器值(也称事件)的一个元数据可以是体温、血压等。
为了将发布的传感器数据或事件提供给用户,发布订阅代理需要有一个高效、可扩展的事件匹配算法。此事件匹配算法在于适合应用场景的一系列谓词,当谓词数量急剧增加时,它也是高效、可扩展的。该架构如图3.10所示。在该架构中,传感器数据通过网关到一个发布-订阅代理。系统中的发布-订阅代理为SaaS应用程序的消费者提供信息是非常必要的,因为整个网络是非常动态的(系统)。在WSN端,传感器或执行器(SA)设备可能会随时更改它们的网络地址。无线连接很可能会失败。此外,SA节点还可能在任何时候出现故障而不是被修复,这些节点将会被新的节点替换。另外,可以将不同的SaaS应用程序托管、运行在云系统的机器的任何地方。在这种情形下,在SA设备和应用程序之间使用网络地址的传统方法作为通信手段可能会有问题,这与它们的动态性和暂时性有关。

image

而且,一些SaaS应用程序可能会对相同的传感器数据感兴趣,但其目的有所不同。在这种情况下,SA节点需要管理和维护多个并行应用程序的通信手段。这可能会超过简单、低成本SA设备的有限能力。因此,发布-订阅代理是必要的,并且基于其在带宽和能力方面具有较高性能而位于云服务端。它由如下四个部分组成。
流监测和处理组件(SMPC)。传感器流有许多不同的形式。在某种情况下,它是必须捕获、过滤和实时分析的原始数据;在其他情况下,它是存储或缓存的数据。计算风格还取决于流的本性。因此,运行在云上的SMPC组件监测事件流并调用正确的分析方法。根据不同的数据传输速率和所需的加工量,SMP管理云中的并行执行框架。
注册组件(Registry Component,RC)。不同的SaaS应用程序为社区用户所需的各种传感器数据注册发布-订阅代理。对于每个应用程序,该应用程序的注册组件存储应用程序感兴趣的用户订阅和传感器的数据类型(温度、光照、压力等)。随着用于事件传递的应用程序ID到传播者组件,它还发送所有用户订阅。
分析器组件(Analyzer Component,AC)。传感器数据或事件加入发布-订阅代理后,分析器组件确定它们属于哪些应用程序,是否需要定期或紧急提供。然后,这些事件传递给传播者组件,以通过SaaS应用程序提供适当的用户。
传播者组件(Disseminator Component,DC)。对于每一个SaaS应用程序,它使用事件匹配算法为订阅用户散布传感器数据或事件。它利用云服务的并行执行框架快速传递事件。框架中的发布-订阅组件工作流程如下。
用户注册信息和各种SaaS应用订阅,然后将所有这些信息转移到发布-订阅代理注册。传感器数据由网关到达系统后,发布-订阅代理中的事件流监测和处理组件决定是否需要处理或者只是定期存储或立即交付。如果传感器数据需要定期紧急交付,分析器确定事件属于哪些SaaS应用程序,然后通过事件以及应用程序ID传递给传播者。使用事件匹配算法的传播者为每个应用程序找到适当的订阅者,并提供使用的事件。
除了发布-订阅代理外,作者还提到了其他三个组成部分:传感器云框架中的中介者(Mediator)、策略库(PR)和合作者代理(CA),配置管理器(provisioning manager)、监测和测量,以及服务注册(service registry),以使主要的云服务供应商基于VO动态合作,以防止突发的资源需求违反SLA。在创建一个新VO时,这三个组成部分共同为给定的CLP充当一个“网关”。这三个组成部分如下。
中介者(Mediator)。(资源)中介者是VO内的策略驱动实体,以确保各个参与实体能够适应改变的立场,并能够在一个动态和不确定的环境中实现它们的目标。一旦VO建立,中介者控制哪些资源与CLP合作,如何作决定并采用哪些策略。执行自动合作后,中介者会直接在谈判过程、策略管理和调度中做出任何决策。中介者为VO创建保持最初的策略,与当地合作代理一起发现外部资源并与其他CLP谈判。
策略库(Policy Repository,PR)。PR虚拟化VO内地所有策略。它包括中介者策略、VO创建策略以及由于合作安排而委托给VO的任意资源策略。这些策略有一套规则管理并控制访问VO资源。面对复杂的技术,它们提供了管理这些组件的一种方法。
合作代理(Collaborating Agent,CA)。CA是一个用于VO创建的策略驱动资源发现模块,它用做中介者与其他CLP交换策略和资源信息的管道。主要的CLP用来发现合作CLP(外部)资源,以及在中介者实际谈判开始之前让它们了解当地的政策和服务要求。
最后,交付发布的传感器数据或云应用的适当用户的事件,提出并利用一个称为SGIM(Statistical Group Index Matching)的高效、可扩展的事件匹配算法。作者还评估了其性能,并与云服务中基于无处不在的卫生保健应用场景的现有算法进行了比较。作者在研究论文中清楚地说明了与该框架同步的这一算法使传感器云连接,以便为各种下一代以社区为中心的遥感应用利用不断扩大的传感器数据。由此可以看出,这需要启动各种计算工具。这种探索比传统的HPC方法或网格方法更适合构建数据中心云计算模型。作者嵌入了基于内容的发布-订阅模型以启用该框架。

相关文章
|
2月前
|
存储 监控 算法
园区导航系统技术架构实现与原理解构
本文聚焦园区导航场景中室内外定位精度不足、车辆调度路径规划低效、数据孤岛难以支撑决策等技术痛点,从架构设计到技术原理,对该系统从定位到数据中台进行技术拆解。
84 0
园区导航系统技术架构实现与原理解构
|
3月前
|
存储 消息中间件 canal
zk基础—2.架构原理和使用场景
ZooKeeper(ZK)是一个分布式协调服务,广泛应用于分布式系统中。它提供了分布式锁、元数据管理、Master选举及分布式协调等功能,适用于如Kafka、HDFS、Canal等开源分布式系统。ZK集群采用主从架构,具有顺序一致性、高性能、高可用和高并发等特点。其核心机制包括ZAB协议(保证数据一致性)、Watcher监听回调机制(实现通知功能)、以及基于临时顺序节点的分布式锁实现。ZK适合小规模集群部署,主要用于读多写少的场景。
|
4月前
|
存储 人工智能 自然语言处理
为什么混合专家模型(MoE)如此高效:从架构原理到技术实现全解析
本文深入探讨了混合专家(MoE)架构在大型语言模型中的应用与技术原理。MoE通过稀疏激活机制,在保持模型高效性的同时实现参数规模的大幅扩展,已成为LLM发展的关键趋势。文章分析了MoE的核心组件,包括专家网络与路由机制,并对比了密集与稀疏MoE的特点。同时,详细介绍了Mixtral、Grok、DBRX和DeepSeek等代表性模型的技术特点及创新。MoE不仅解决了传统模型扩展成本高昂的问题,还展现出专业化与适应性强的优势,未来有望推动AI工具更广泛的应用。
1409 4
为什么混合专家模型(MoE)如此高效:从架构原理到技术实现全解析
|
2月前
|
存储 安全 虚拟化
全面解析服务器虚拟化:云计算时代的核心技术架构
服务器虚拟化是云计算的核心技术,通过资源池化提升IT效率。本文详解其原理、部署优势及在数字化转型中的关键作用,涵盖技术架构、应用场景与选型指南,助力企业构建高效灵活的云环境。
307 0
|
4月前
|
机器学习/深度学习 算法 测试技术
图神经网络在信息检索重排序中的应用:原理、架构与Python代码解析
本文探讨了基于图的重排序方法在信息检索领域的应用与前景。传统两阶段检索架构中,初始检索速度快但结果可能含噪声,重排序阶段通过强大语言模型提升精度,但仍面临复杂需求挑战
125 0
图神经网络在信息检索重排序中的应用:原理、架构与Python代码解析
|
5月前
|
消息中间件 存储 设计模式
RocketMQ原理—5.高可用+高并发+高性能架构
本文主要从高可用架构、高并发架构、高性能架构三个方面来介绍RocketMQ的原理。
1200 21
RocketMQ原理—5.高可用+高并发+高性能架构
|
4月前
|
Java 开发者 Spring
Spring框架 - 深度揭秘Spring框架的基础架构与工作原理
所以,当你进入这个Spring的世界,看似一片混乱,但细看之下,你会发现这里有个牢固的结构支撑,一切皆有可能。不论你要建设的是一座宏大的城堡,还是个小巧的花园,只要你的工具箱里有Spring,你就能轻松搞定。
184 9
|
5月前
|
人工智能 自然语言处理 安全
基于LlamaIndex实现CodeAct Agent:代码执行工作流的技术架构与原理
CodeAct是一种先进的AI辅助系统范式,深度融合自然语言处理与代码执行能力。通过自定义代码执行代理,开发者可精准控制代码生成、执行及管理流程。本文基于LlamaIndex框架构建CodeAct Agent,解析其技术架构,包括代码执行环境、工作流定义系统、提示工程机制和状态管理系统。同时探讨安全性考量及应用场景,如软件开发、数据科学和教育领域。未来发展方向涵盖更精细的代码生成、多语言支持及更强的安全隔离机制,推动AI辅助编程边界拓展。
241 3
基于LlamaIndex实现CodeAct Agent:代码执行工作流的技术架构与原理
|
6月前
|
机器学习/深度学习 缓存 自然语言处理
深入解析Tiktokenizer:大语言模型中核心分词技术的原理与架构
Tiktokenizer 是一款现代分词工具,旨在高效、智能地将文本转换为机器可处理的离散单元(token)。它不仅超越了传统的空格分割和正则表达式匹配方法,还结合了上下文感知能力,适应复杂语言结构。Tiktokenizer 的核心特性包括自适应 token 分割、高效编码能力和出色的可扩展性,使其适用于从聊天机器人到大规模文本分析等多种应用场景。通过模块化设计,Tiktokenizer 确保了代码的可重用性和维护性,并在分词精度、处理效率和灵活性方面表现出色。此外,它支持多语言处理、表情符号识别和领域特定文本处理,能够应对各种复杂的文本输入需求。
768 6
深入解析Tiktokenizer:大语言模型中核心分词技术的原理与架构

热门文章

最新文章