《边缘云技术演进与发展白皮书》——五、边缘云分布式云管系统技术演进——02 多维协同—— 1.边边协同

简介: 《边缘云技术演进与发展白皮书》——五、边缘云分布式云管系统技术演进——02 多维协同—— 1.边边协同

02 多维协同

边缘云协同大体可分为“边边协同”和“云边协同”两类边边协同,主要是面向边缘云节点集群

间的计算、网络和存储等技术的资源协同。云边协同,主要是面向边缘云管控与边缘云节点集群间

的管控协同。


边边协同


边边协同技术,主要包括协同计算、协同网络和协同存储边缘云节点规模通常较小,资源规格受

限,不将资源部署的物理位置作为交付属性,而是按网络时延和服务质量等评估指标来交付资源,

这就要求边缘节点资源能够被管控系统“统管统调”。节点资源通过边边资源协调,实现“资源

池”化,边缘云资源池是资源管控的基础。

边缘云节点提供的是小型云的算网存资源,且算网存资源使用水位相互依赖,从技术上看单一节

点或单一集群里的资源容易跑满、造成同节点的其他资源无法再分配,边缘云边边协同管控需要能

够在边缘云节点和集群间进行多维资源的协同调度,调度策略的执行也正是基于边边资源协同来实

现的。

从业务高质量和资源高可用角度看,通过边边协同可以实现边缘云的高可用性保证通过边缘云单

节点或单集群内软硬件多路互备的技术方案实现系统高可用研发成本较高且效果未经验证,而依托

分布式云管的多级协同、边边协同和多点协同实现高可用,可以提供更高的性价比实现高可用,即

单点不可用时,由其他节点或集群来补位。

以边缘云的“协同存储”技术方案为例,阐述边边资源协同的技术实现。

协同存储管控的核心设计包括云边协同管控、全网智能调度、边缘自治管控等,是边缘云云边协同

以及跨节点协同的重要组成。

用户在使用对象存储时,针对海量数据,提出了大流量、就近、低延迟的要求,边缘云在这些方面

具备天然优势。但边缘云的对象存储在使用方式和体验上存在明显不足。边缘云由很多分布式边缘

云节点组成,如果每个边缘云节点独立进行对象存储服务,用户使用时将面临节点资源管理、资源

读写调度、单节点可用性运维等诸多复杂问题。

image.png图12 分布式存储示意图


边缘计算提供了位置无感的协同存储服务,通过中心管控和多个边缘节点进行协同,将分布在各地

的边缘节点的物理存储资源,组成一个逻辑统一的对象存储资源池。用户不需关心读写位置和单节

点可用性带来的运维和调度问题,即可得到与使用公有云对象存储一致的接口体验,以及由于数量

众多的边缘存储资源整合而带来的大容量、高弹性的存储资源池。

image.png图13 位置无感的分布式存储


协同存储核心包含中心管控与边缘节点两部分,其中,中心管控包含以下管理模块:


1684831619478.jpg

image.png图14 协同存储管控架构


协同存储的云边协同管控、全网智能调度、边缘自治管控等,是边缘云边边协同以及跨节点协同的

经典案例。

相关文章
|
18天前
|
机器学习/深度学习 存储 运维
分布式机器学习系统:设计原理、优化策略与实践经验
本文详细探讨了分布式机器学习系统的发展现状与挑战,重点分析了数据并行、模型并行等核心训练范式,以及参数服务器、优化器等关键组件的设计与实现。文章还深入讨论了混合精度训练、梯度累积、ZeRO优化器等高级特性,旨在提供一套全面的技术解决方案,以应对超大规模模型训练中的计算、存储及通信挑战。
48 4
|
1月前
|
存储 运维 负载均衡
构建高可用性GraphRAG系统:分布式部署与容错机制
【10月更文挑战第28天】作为一名数据科学家和系统架构师,我在构建和维护大规模分布式系统方面有着丰富的经验。最近,我负责了一个基于GraphRAG(Graph Retrieval-Augmented Generation)模型的项目,该模型用于构建一个高可用性的问答系统。在这个过程中,我深刻体会到分布式部署和容错机制的重要性。本文将详细介绍如何在生产环境中构建一个高可用性的GraphRAG系统,包括分布式部署方案、负载均衡、故障检测与恢复机制等方面的内容。
106 4
构建高可用性GraphRAG系统:分布式部署与容错机制
|
24天前
|
机器学习/深度学习 人工智能 分布式计算
【AI系统】分布式通信与 NVLink
进入大模型时代后,AI的核心转向大模型发展,训练这类模型需克服大量GPU资源及长时间的需求。面对单个GPU内存限制,跨多个GPU的分布式训练成为必要,这涉及到分布式通信和NVLink技术的应用。分布式通信允许多个节点协作完成任务,而NVLink则是一种高速、低延迟的通信技术,用于连接GPU或GPU与其它设备,以实现高性能计算。随着大模型的参数、数据规模扩大及算力需求增长,分布式并行策略,如数据并行和模型并行,变得至关重要。这些策略通过将模型或数据分割在多个GPU上处理,提高了训练效率。此外,NVLink和NVSwitch技术的持续演进,为GPU间的高效通信提供了更强的支持,推动了大模型训练的快
38 0
|
2月前
|
消息中间件 中间件 数据库
NServiceBus:打造企业级服务总线的利器——深度解析这一面向消息中间件如何革新分布式应用开发与提升系统可靠性
【10月更文挑战第9天】NServiceBus 是一个面向消息的中间件,专为构建分布式应用程序设计,特别适用于企业级服务总线(ESB)。它通过消息队列实现服务间的解耦,提高系统的可扩展性和容错性。在 .NET 生态中,NServiceBus 提供了强大的功能,支持多种传输方式如 RabbitMQ 和 Azure Service Bus。通过异步消息传递模式,各组件可以独立运作,即使某部分出现故障也不会影响整体系统。 示例代码展示了如何使用 NServiceBus 发送和接收消息,简化了系统的设计和维护。
62 3
|
2月前
|
传感器 边缘计算 自动驾驶
|
2月前
|
存储 开发框架 .NET
C#语言如何搭建分布式文件存储系统
C#语言如何搭建分布式文件存储系统
86 2
|
2月前
|
消息中间件 存储 监控
消息队列系统中的确认机制在分布式系统中如何实现?
消息队列系统中的确认机制在分布式系统中如何实现?
|
2月前
|
存储 分布式计算 监控
C# 创建一个分布式文件存储系统需要怎么设计??
C# 创建一个分布式文件存储系统需要怎么设计??
42 0
|
2月前
|
NoSQL Java Redis
太惨痛: Redis 分布式锁 5个大坑,又大又深, 如何才能 避开 ?
Redis分布式锁在高并发场景下是重要的技术手段,但其实现过程中常遇到五大深坑:**原子性问题**、**连接耗尽问题**、**锁过期问题**、**锁失效问题**以及**锁分段问题**。这些问题不仅影响系统的稳定性和性能,还可能导致数据不一致。尼恩在实际项目中总结了这些坑,并提供了详细的解决方案,包括使用Lua脚本保证原子性、设置合理的锁过期时间和使用看门狗机制、以及通过锁分段提升性能。这些经验和技巧对面试和实际开发都有很大帮助,值得深入学习和实践。
太惨痛: Redis 分布式锁 5个大坑,又大又深, 如何才能 避开 ?
|
18天前
|
存储 NoSQL Java
使用lock4j-redis-template-spring-boot-starter实现redis分布式锁
通过使用 `lock4j-redis-template-spring-boot-starter`,我们可以轻松实现 Redis 分布式锁,从而解决分布式系统中多个实例并发访问共享资源的问题。合理配置和使用分布式锁,可以有效提高系统的稳定性和数据的一致性。希望本文对你在实际项目中使用 Redis 分布式锁有所帮助。
47 5
下一篇
DataWorks