《边缘云技术演进与发展白皮书》——五、边缘云分布式云管系统技术演进——02 多维协同—— 2.云边协同

简介: 《边缘云技术演进与发展白皮书》——五、边缘云分布式云管系统技术演进——02 多维协同—— 2.云边协同

云边协同

云边协同通道,可以看做是边缘云计算场景下的消息中间件,它主要解决边缘云计算过程中的中

心云-边缘云节点间的管控信令通信问题。相比传统中心云,边缘云计算作为一种分布式系统,其

节点间的信息交互不再局限于单一机房、单一城市或者有限的若干城市,而是需要在全球范围内具

备可靠的消息通信链路,这条链路很难直接使用互联网IP,原因如下:

第一,场景受限。不是所有的场景都是边缘云主动请求到中心的,今天在边缘云管控系统中,中心

会有大量的管控请求主动请求到边缘,单一场景远不能满足业务诉求。

第二,安全受限。边缘云节点是依托ISP网络之上的,由于ACL,安全管控策略等原因,在边缘云

节点内一直遵守着只出不入的原则,确保节点在物理上不会被外部网络直接访问,保证一定的安全

性。

第三,资源/运维受限。在IPv4资源越来越紧张的今天,若按每个业务都申请分配VIP-Server,在

资源上无法满足未来的需求,另一方面,运维成本也相当大,耗费人力和物力,造成重复建设与资

源浪费。

边缘云系统中的云边协同通道应具备以下能力:


类似传统消息中间件,解耦消息生产者和消费者,实现系统间的异步调用;

提供高可用性和稳定性的保障,具备一定的异常处理能力。全球范围内的网络链路是不可靠

的,云边协同通道需要在不可靠的物理信道中构建可靠的信息通路,统一解决分布式通信的疑

难问题;

解决数据安全问题,提供统一的ACL模型,对消息的各个参与方进行身份验证和数据权限,精确

控制每个端的安全策略;

管理消息收发管控策略,根据业务优先级设置不同的消息QOS,保障重要业务的消息可达率。

协同管控,相较于传统数据中心的管控方案,边缘云管控平台需要管理更大规模的分布式边缘云节

点。中心云管与边缘云节点间的连接通常是基于不可靠的互联网链路建立的,在此物理环境下,

为了应对日益扩大的边缘云节点资源规模的需求、支持边缘云业务在断网、弱网状态下可持续运

行,“云边协同管控”和“边缘云节点有限自治”方案就成为了管控技术发展的必然选择。

云边协同管控的主要挑战在于如下:

第一

管理节点数量多,资源规模大。随着边缘云节点数量持续增加,如何有效应对资源规模化增长带来

的中心管控压力,成为了中心管控亟待解决的问题。

第二

云边弱网,连接不可靠。在云边管控通道不稳定时,边缘节点依然需要持续提供服务,如何解决云

边失联情况下数据一致性的问题是第二个技术难点。

第三

带宽成本高,分发效率低。如何快速分发系统镜像到边缘节点并支持大规模并发,以同时提升数据

分发和业务创建效率,也是云边协同重点要解决的问题。

为了解决上述问题,云边协同应具备以下技术方案和能力:

云边两级管控架构

将部分管控能力下沉至边缘,收敛云边交互,降低回传到云的数据压力,可以有效降低因节点数量

增加给中心管控带来的并发压力。

云边状态感知

中心和边缘两级管控架构中,增加云边状态感知能力:在云边失联时,边缘云节点进入自治状态,

边缘业务可持续运行;当云边连接恢复时,边缘云节点能够退出自治状态,并与中心同步,保持数

据一致性。

云边数据协同

通过引入边边网络加速能力,建立云边协同的数据服务系统,既提升了性能,降低了互联网带宽成

本,又能确保服务的高可靠性。

image.png

图15 云边系统管控架构

相关文章
|
11月前
|
Kubernetes 大数据 调度
Airflow vs Argo Workflows:分布式任务调度系统的“华山论剑”
本文对比了Apache Airflow与Argo Workflows两大分布式任务调度系统。两者均支持复杂的DAG任务编排、社区支持及任务调度功能,且具备优秀的用户界面。Airflow以Python为核心语言,适合数据科学家使用,拥有丰富的Operator库和云服务集成能力;而Argo Workflows基于Kubernetes设计,支持YAML和Python双语定义工作流,具备轻量化、高性能并发调度的优势,并通过Kubernetes的RBAC机制实现多用户隔离。在大数据和AI场景中,Airflow擅长结合云厂商服务,Argo则更适配Kubernetes生态下的深度集成。
1244 34
|
7月前
|
机器学习/深度学习 人工智能 前端开发
边缘云系统的灵活可变速率图像特征压缩——论文阅读
本文提出一种面向边缘云系统的灵活可变速率图像特征压缩方法,通过联合优化率-精度-复杂度三重权衡,实现单模型多比特率自适应。该方法引入速率参数嵌入与条件归一化机制,在ResNet、ConvNeXt等架构上验证了高效性,显著优于固定速率方案,兼顾低延迟与高精度,适用于资源受限的视觉任务。
343 13
边缘云系统的灵活可变速率图像特征压缩——论文阅读
|
7月前
|
存储 算法 安全
“卧槽,系统又崩了!”——别慌,这也许是你看过最通俗易懂的分布式入门
本文深入解析分布式系统核心机制:数据分片与冗余副本实现扩展与高可用,租约、多数派及Gossip协议保障一致性与容错。探讨节点故障、网络延迟等挑战,揭示CFT/BFT容错原理,剖析规模与性能关系,为构建可靠分布式系统提供理论支撑。
343 2
|
7月前
|
机器学习/深度学习 算法 安全
新型电力系统下多分布式电源接入配电网承载力评估方法研究(Matlab代码实现)
新型电力系统下多分布式电源接入配电网承载力评估方法研究(Matlab代码实现)
240 3
|
9月前
|
数据采集 缓存 NoSQL
分布式新闻数据采集系统的同步效率优化实战
本文介绍了一个针对高频新闻站点的分布式爬虫系统优化方案。通过引入异步任务机制、本地缓存池、Redis pipeline 批量写入及身份池策略,系统采集效率提升近两倍,数据同步延迟显著降低,实现了分钟级热点追踪能力,为实时舆情监控与分析提供了高效、稳定的数据支持。
387 1
分布式新闻数据采集系统的同步效率优化实战
|
存储 运维 安全
盘古分布式存储系统的稳定性实践
本文介绍了阿里云飞天盘古分布式存储系统的稳定性实践。盘古作为阿里云的核心组件,支撑了阿里巴巴集团的众多业务,确保数据高可靠性、系统高可用性和安全生产运维是其关键目标。文章详细探讨了数据不丢不错、系统高可用性的实现方法,以及通过故障演练、自动化发布和健康检查等手段保障生产安全。总结指出,稳定性是一项系统工程,需要持续迭代演进,盘古经过十年以上的线上锤炼,积累了丰富的实践经验。
1231 7
|
存储 分布式计算 Hadoop
基于Java的Hadoop文件处理系统:高效分布式数据解析与存储
本文介绍了如何借鉴Hadoop的设计思想,使用Java实现其核心功能MapReduce,解决海量数据处理问题。通过类比图书馆管理系统,详细解释了Hadoop的两大组件:HDFS(分布式文件系统)和MapReduce(分布式计算模型)。具体实现了单词统计任务,并扩展支持CSV和JSON格式的数据解析。为了提升性能,引入了Combiner减少中间数据传输,以及自定义Partitioner解决数据倾斜问题。最后总结了Hadoop在大数据处理中的重要性,鼓励Java开发者学习Hadoop以拓展技术边界。
517 7
|
存储 人工智能 边缘计算
AI时代下, 边缘云上的技术演进与场景创新
本文介绍了AI时代下边缘云的技术演进与场景创新。主要内容分为三部分:一是边缘云算力形态的多元化演进,强调阿里云边缘节点服务(ENS)在全球600多个节点的部署,提供低时延、本地化和小型化的价值;二是边缘AI推理的创新发展与实践,涵盖低时延、资源广分布、本地化及弹性需求等优势;三是云游戏在边缘承载的技术演进,探讨云游戏对边缘计算的依赖及其技术方案,如多开技术、云存储和网络架构优化,以提升用户体验并降低成本。文章展示了边缘云在未来智能化、实时化解决方案中的重要性。
703 3
|
8月前
|
存储 负载均衡 NoSQL
【赵渝强老师】Redis Cluster分布式集群
Redis Cluster是Redis的分布式存储解决方案,通过哈希槽(slot)实现数据分片,支持水平扩展,具备高可用性和负载均衡能力,适用于大规模数据场景。
554 2
|
8月前
|
存储 缓存 NoSQL
【📕分布式锁通关指南 12】源码剖析redisson如何利用Redis数据结构实现Semaphore和CountDownLatch
本文解析 Redisson 如何通过 Redis 实现分布式信号量(RSemaphore)与倒数闩(RCountDownLatch),利用 Lua 脚本与原子操作保障分布式环境下的同步控制,帮助开发者更好地理解其原理与应用。
607 6