《边缘云技术演进与发展白皮书》——五、边缘云分布式云管系统技术演进——02 多维协同—— 2.云边协同

简介: 《边缘云技术演进与发展白皮书》——五、边缘云分布式云管系统技术演进——02 多维协同—— 2.云边协同

云边协同

云边协同通道,可以看做是边缘云计算场景下的消息中间件,它主要解决边缘云计算过程中的中

心云-边缘云节点间的管控信令通信问题。相比传统中心云,边缘云计算作为一种分布式系统,其

节点间的信息交互不再局限于单一机房、单一城市或者有限的若干城市,而是需要在全球范围内具

备可靠的消息通信链路,这条链路很难直接使用互联网IP,原因如下:

第一,场景受限。不是所有的场景都是边缘云主动请求到中心的,今天在边缘云管控系统中,中心

会有大量的管控请求主动请求到边缘,单一场景远不能满足业务诉求。

第二,安全受限。边缘云节点是依托ISP网络之上的,由于ACL,安全管控策略等原因,在边缘云

节点内一直遵守着只出不入的原则,确保节点在物理上不会被外部网络直接访问,保证一定的安全

性。

第三,资源/运维受限。在IPv4资源越来越紧张的今天,若按每个业务都申请分配VIP-Server,在

资源上无法满足未来的需求,另一方面,运维成本也相当大,耗费人力和物力,造成重复建设与资

源浪费。

边缘云系统中的云边协同通道应具备以下能力:


类似传统消息中间件,解耦消息生产者和消费者,实现系统间的异步调用;

提供高可用性和稳定性的保障,具备一定的异常处理能力。全球范围内的网络链路是不可靠

的,云边协同通道需要在不可靠的物理信道中构建可靠的信息通路,统一解决分布式通信的疑

难问题;

解决数据安全问题,提供统一的ACL模型,对消息的各个参与方进行身份验证和数据权限,精确

控制每个端的安全策略;

管理消息收发管控策略,根据业务优先级设置不同的消息QOS,保障重要业务的消息可达率。

协同管控,相较于传统数据中心的管控方案,边缘云管控平台需要管理更大规模的分布式边缘云节

点。中心云管与边缘云节点间的连接通常是基于不可靠的互联网链路建立的,在此物理环境下,

为了应对日益扩大的边缘云节点资源规模的需求、支持边缘云业务在断网、弱网状态下可持续运

行,“云边协同管控”和“边缘云节点有限自治”方案就成为了管控技术发展的必然选择。

云边协同管控的主要挑战在于如下:

第一

管理节点数量多,资源规模大。随着边缘云节点数量持续增加,如何有效应对资源规模化增长带来

的中心管控压力,成为了中心管控亟待解决的问题。

第二

云边弱网,连接不可靠。在云边管控通道不稳定时,边缘节点依然需要持续提供服务,如何解决云

边失联情况下数据一致性的问题是第二个技术难点。

第三

带宽成本高,分发效率低。如何快速分发系统镜像到边缘节点并支持大规模并发,以同时提升数据

分发和业务创建效率,也是云边协同重点要解决的问题。

为了解决上述问题,云边协同应具备以下技术方案和能力:

云边两级管控架构

将部分管控能力下沉至边缘,收敛云边交互,降低回传到云的数据压力,可以有效降低因节点数量

增加给中心管控带来的并发压力。

云边状态感知

中心和边缘两级管控架构中,增加云边状态感知能力:在云边失联时,边缘云节点进入自治状态,

边缘业务可持续运行;当云边连接恢复时,边缘云节点能够退出自治状态,并与中心同步,保持数

据一致性。

云边数据协同

通过引入边边网络加速能力,建立云边协同的数据服务系统,既提升了性能,降低了互联网带宽成

本,又能确保服务的高可靠性。

image.png

图15 云边系统管控架构

相关文章
|
11月前
|
存储 算法 安全
“卧槽,系统又崩了!”——别慌,这也许是你看过最通俗易懂的分布式入门
本文深入解析分布式系统核心机制:数据分片与冗余副本实现扩展与高可用,租约、多数派及Gossip协议保障一致性与容错。探讨节点故障、网络延迟等挑战,揭示CFT/BFT容错原理,剖析规模与性能关系,为构建可靠分布式系统提供理论支撑。
496 2
|
11月前
|
机器学习/深度学习 算法 安全
新型电力系统下多分布式电源接入配电网承载力评估方法研究(Matlab代码实现)
新型电力系统下多分布式电源接入配电网承载力评估方法研究(Matlab代码实现)
321 3
|
数据采集 缓存 NoSQL
分布式新闻数据采集系统的同步效率优化实战
本文介绍了一个针对高频新闻站点的分布式爬虫系统优化方案。通过引入异步任务机制、本地缓存池、Redis pipeline 批量写入及身份池策略,系统采集效率提升近两倍,数据同步延迟显著降低,实现了分钟级热点追踪能力,为实时舆情监控与分析提供了高效、稳定的数据支持。
557 1
分布式新闻数据采集系统的同步效率优化实战
|
Kubernetes 大数据 调度
Airflow vs Argo Workflows:分布式任务调度系统的“华山论剑”
本文对比了Apache Airflow与Argo Workflows两大分布式任务调度系统。两者均支持复杂的DAG任务编排、社区支持及任务调度功能,且具备优秀的用户界面。Airflow以Python为核心语言,适合数据科学家使用,拥有丰富的Operator库和云服务集成能力;而Argo Workflows基于Kubernetes设计,支持YAML和Python双语定义工作流,具备轻量化、高性能并发调度的优势,并通过Kubernetes的RBAC机制实现多用户隔离。在大数据和AI场景中,Airflow擅长结合云厂商服务,Argo则更适配Kubernetes生态下的深度集成。
1438 34
|
存储 运维 安全
盘古分布式存储系统的稳定性实践
本文介绍了阿里云飞天盘古分布式存储系统的稳定性实践。盘古作为阿里云的核心组件,支撑了阿里巴巴集团的众多业务,确保数据高可靠性、系统高可用性和安全生产运维是其关键目标。文章详细探讨了数据不丢不错、系统高可用性的实现方法,以及通过故障演练、自动化发布和健康检查等手段保障生产安全。总结指出,稳定性是一项系统工程,需要持续迭代演进,盘古经过十年以上的线上锤炼,积累了丰富的实践经验。
1530 7
|
存储 分布式计算 Hadoop
基于Java的Hadoop文件处理系统:高效分布式数据解析与存储
本文介绍了如何借鉴Hadoop的设计思想,使用Java实现其核心功能MapReduce,解决海量数据处理问题。通过类比图书馆管理系统,详细解释了Hadoop的两大组件:HDFS(分布式文件系统)和MapReduce(分布式计算模型)。具体实现了单词统计任务,并扩展支持CSV和JSON格式的数据解析。为了提升性能,引入了Combiner减少中间数据传输,以及自定义Partitioner解决数据倾斜问题。最后总结了Hadoop在大数据处理中的重要性,鼓励Java开发者学习Hadoop以拓展技术边界。
627 7
|
机器学习/深度学习 存储 运维
分布式机器学习系统:设计原理、优化策略与实践经验
本文详细探讨了分布式机器学习系统的发展现状与挑战,重点分析了数据并行、模型并行等核心训练范式,以及参数服务器、优化器等关键组件的设计与实现。文章还深入讨论了混合精度训练、梯度累积、ZeRO优化器等高级特性,旨在提供一套全面的技术解决方案,以应对超大规模模型训练中的计算、存储及通信挑战。
999 4
|
11月前
|
缓存 NoSQL 关系型数据库
Redis缓存和分布式锁
Redis 是一种高性能的键值存储系统,广泛用于缓存、消息队列和内存数据库。其典型应用包括缓解关系型数据库压力,通过缓存热点数据提高查询效率,支持高并发访问。此外,Redis 还可用于实现分布式锁,解决分布式系统中的资源竞争问题。文章还探讨了缓存的更新策略、缓存穿透与雪崩的解决方案,以及 Redlock 算法等关键技术。
|
11月前
|
NoSQL Java 调度
分布式锁与分布式锁使用 Redis 和 Spring Boot 进行调度锁(不带 ShedLock)
分布式锁是分布式系统中用于同步多节点访问共享资源的机制,防止并发操作带来的冲突。本文介绍了基于Spring Boot和Redis实现分布式锁的技术方案,涵盖锁的获取与释放、Redis配置、服务调度及多实例运行等内容,通过Docker Compose搭建环境,验证了锁的有效性与互斥特性。
895 0
分布式锁与分布式锁使用 Redis 和 Spring Boot 进行调度锁(不带 ShedLock)
|
12月前
|
存储 负载均衡 NoSQL
【赵渝强老师】Redis Cluster分布式集群
Redis Cluster是Redis的分布式存储解决方案,通过哈希槽(slot)实现数据分片,支持水平扩展,具备高可用性和负载均衡能力,适用于大规模数据场景。
786 2

热门文章

最新文章