《边缘云技术演进与发展白皮书》——五、边缘云分布式云管系统技术演进——02 多维协同—— 2.云边协同

简介: 《边缘云技术演进与发展白皮书》——五、边缘云分布式云管系统技术演进——02 多维协同—— 2.云边协同

云边协同

云边协同通道,可以看做是边缘云计算场景下的消息中间件,它主要解决边缘云计算过程中的中

心云-边缘云节点间的管控信令通信问题。相比传统中心云,边缘云计算作为一种分布式系统,其

节点间的信息交互不再局限于单一机房、单一城市或者有限的若干城市,而是需要在全球范围内具

备可靠的消息通信链路,这条链路很难直接使用互联网IP,原因如下:

第一,场景受限。不是所有的场景都是边缘云主动请求到中心的,今天在边缘云管控系统中,中心

会有大量的管控请求主动请求到边缘,单一场景远不能满足业务诉求。

第二,安全受限。边缘云节点是依托ISP网络之上的,由于ACL,安全管控策略等原因,在边缘云

节点内一直遵守着只出不入的原则,确保节点在物理上不会被外部网络直接访问,保证一定的安全

性。

第三,资源/运维受限。在IPv4资源越来越紧张的今天,若按每个业务都申请分配VIP-Server,在

资源上无法满足未来的需求,另一方面,运维成本也相当大,耗费人力和物力,造成重复建设与资

源浪费。

边缘云系统中的云边协同通道应具备以下能力:


类似传统消息中间件,解耦消息生产者和消费者,实现系统间的异步调用;

提供高可用性和稳定性的保障,具备一定的异常处理能力。全球范围内的网络链路是不可靠

的,云边协同通道需要在不可靠的物理信道中构建可靠的信息通路,统一解决分布式通信的疑

难问题;

解决数据安全问题,提供统一的ACL模型,对消息的各个参与方进行身份验证和数据权限,精确

控制每个端的安全策略;

管理消息收发管控策略,根据业务优先级设置不同的消息QOS,保障重要业务的消息可达率。

协同管控,相较于传统数据中心的管控方案,边缘云管控平台需要管理更大规模的分布式边缘云节

点。中心云管与边缘云节点间的连接通常是基于不可靠的互联网链路建立的,在此物理环境下,

为了应对日益扩大的边缘云节点资源规模的需求、支持边缘云业务在断网、弱网状态下可持续运

行,“云边协同管控”和“边缘云节点有限自治”方案就成为了管控技术发展的必然选择。

云边协同管控的主要挑战在于如下:

第一

管理节点数量多,资源规模大。随着边缘云节点数量持续增加,如何有效应对资源规模化增长带来

的中心管控压力,成为了中心管控亟待解决的问题。

第二

云边弱网,连接不可靠。在云边管控通道不稳定时,边缘节点依然需要持续提供服务,如何解决云

边失联情况下数据一致性的问题是第二个技术难点。

第三

带宽成本高,分发效率低。如何快速分发系统镜像到边缘节点并支持大规模并发,以同时提升数据

分发和业务创建效率,也是云边协同重点要解决的问题。

为了解决上述问题,云边协同应具备以下技术方案和能力:

云边两级管控架构

将部分管控能力下沉至边缘,收敛云边交互,降低回传到云的数据压力,可以有效降低因节点数量

增加给中心管控带来的并发压力。

云边状态感知

中心和边缘两级管控架构中,增加云边状态感知能力:在云边失联时,边缘云节点进入自治状态,

边缘业务可持续运行;当云边连接恢复时,边缘云节点能够退出自治状态,并与中心同步,保持数

据一致性。

云边数据协同

通过引入边边网络加速能力,建立云边协同的数据服务系统,既提升了性能,降低了互联网带宽成

本,又能确保服务的高可靠性。

image.png

图15 云边系统管控架构

相关文章
|
10月前
|
负载均衡 测试技术 调度
大模型分布式推理:张量并行与流水线并行技术
本文深入探讨大语言模型分布式推理的核心技术——张量并行与流水线并行。通过分析单GPU内存限制下的模型部署挑战,详细解析张量并行的矩阵分片策略、流水线并行的阶段划分机制,以及二者的混合并行架构。文章包含完整的分布式推理框架实现、通信优化策略和性能调优指南,为千亿参数大模型的分布式部署提供全面解决方案。
2757 4
|
Kubernetes 大数据 调度
Airflow vs Argo Workflows:分布式任务调度系统的“华山论剑”
本文对比了Apache Airflow与Argo Workflows两大分布式任务调度系统。两者均支持复杂的DAG任务编排、社区支持及任务调度功能,且具备优秀的用户界面。Airflow以Python为核心语言,适合数据科学家使用,拥有丰富的Operator库和云服务集成能力;而Argo Workflows基于Kubernetes设计,支持YAML和Python双语定义工作流,具备轻量化、高性能并发调度的优势,并通过Kubernetes的RBAC机制实现多用户隔离。在大数据和AI场景中,Airflow擅长结合云厂商服务,Argo则更适配Kubernetes生态下的深度集成。
1439 34
|
11月前
|
存储 算法 安全
“卧槽,系统又崩了!”——别慌,这也许是你看过最通俗易懂的分布式入门
本文深入解析分布式系统核心机制:数据分片与冗余副本实现扩展与高可用,租约、多数派及Gossip协议保障一致性与容错。探讨节点故障、网络延迟等挑战,揭示CFT/BFT容错原理,剖析规模与性能关系,为构建可靠分布式系统提供理论支撑。
499 2
|
11月前
|
消息中间件 监控 Java
Apache Kafka 分布式流处理平台技术详解与实践指南
本文档全面介绍 Apache Kafka 分布式流处理平台的核心概念、架构设计和实践应用。作为高吞吐量、低延迟的分布式消息系统,Kafka 已成为现代数据管道和流处理应用的事实标准。本文将深入探讨其生产者-消费者模型、主题分区机制、副本复制、流处理API等核心机制,帮助开发者构建可靠、可扩展的实时数据流处理系统。
901 4
|
11月前
|
机器学习/深度学习 算法 安全
新型电力系统下多分布式电源接入配电网承载力评估方法研究(Matlab代码实现)
新型电力系统下多分布式电源接入配电网承载力评估方法研究(Matlab代码实现)
321 3
|
数据采集 缓存 NoSQL
分布式新闻数据采集系统的同步效率优化实战
本文介绍了一个针对高频新闻站点的分布式爬虫系统优化方案。通过引入异步任务机制、本地缓存池、Redis pipeline 批量写入及身份池策略,系统采集效率提升近两倍,数据同步延迟显著降低,实现了分钟级热点追踪能力,为实时舆情监控与分析提供了高效、稳定的数据支持。
558 1
分布式新闻数据采集系统的同步效率优化实战
|
10月前
|
机器学习/深度学习 监控 PyTorch
68_分布式训练技术:DDP与Horovod
随着大型语言模型(LLM)规模的不断扩大,从早期的BERT(数亿参数)到如今的GPT-4(万亿级参数),单卡训练已经成为不可能完成的任务。分布式训练技术应运而生,成为大模型开发的核心基础设施。2025年,分布式训练技术已经发展到相当成熟的阶段,各种优化策略和框架不断涌现,为大模型训练提供了强大的支持。
1135 0
|
11月前
|
JSON 监控 Java
Elasticsearch 分布式搜索与分析引擎技术详解与实践指南
本文档全面介绍 Elasticsearch 分布式搜索与分析引擎的核心概念、架构设计和实践应用。作为基于 Lucene 的分布式搜索引擎,Elasticsearch 提供了近实时的搜索能力、强大的数据分析功能和可扩展的分布式架构。本文将深入探讨其索引机制、查询 DSL、集群管理、性能优化以及与各种应用场景的集成,帮助开发者构建高性能的搜索和分析系统。
659 0
|
安全 JavaScript 前端开发
HarmonyOS NEXT~HarmonyOS 语言仓颉:下一代分布式开发语言的技术解析与应用实践
HarmonyOS语言仓颉是华为专为HarmonyOS生态系统设计的新型编程语言,旨在解决分布式环境下的开发挑战。它以“编码创造”为理念,具备分布式原生、高性能与高效率、安全可靠三大核心特性。仓颉语言通过内置分布式能力简化跨设备开发,提供统一的编程模型和开发体验。文章从语言基础、关键特性、开发实践及未来展望四个方面剖析其技术优势,助力开发者掌握这一新兴工具,构建全场景分布式应用。
1198 35
|
边缘计算 弹性计算 人工智能
魔搭社区大模型一键部署到阿里云边缘云(ENS)
随着大模型技术的快速发展,业界的关注点正逐步从模型训练往模型推理 转变。这一转变不仅反映了大模型在实际业务中的广泛应用需求,也体现了技术优化和工程化落地的趋势。
1454 7

热门文章

最新文章