众核/多核处理的软件架构

简介: 众核/多核处理的软件架构

摘要:当与分布式微内核操作系统结合使用时,当今的高效众核处理器可以赋予自治系统类似人类的技能。

 

今天的自主机器和先进的工业自动化越来越被期望执行人类特别擅长的功能,例如对象识别、上下文感知和决策制定,其中的许多被归类为能够独立捕获、过滤、分级、使用或丢弃大量信息的边缘设备。最大限度地减少与云交换的数据有助于降低带宽成本并保护时间关键流程免受延迟的不利影响。

在自动驾驶系统、工业机器人和精密工业自动化等应用中,通常需要确定性的实时性能,以确保控制回路的可靠性。另一方面,电源限制通常很严格,通常是因为系统由电池供电,或者从尺寸或重量的角度 (SWaP) 来看,不希望使用大而笨重的电源。一些应用,例如汽车系统、无人机或移动机器人,需要考虑所有这些因素。

尽管我们正在寻找这些系统来复制人类的能力,但人脑本身在能源效率方面设定了很高的标准。其庞大的技能范围和实时多任务处理能力代表了相当于 10Tera-FLOPS (10^12) 和 10Yotta FLOPS (10^25) 之间的处理性能,而仅消耗约 20 瓦。

传统的 CPU、DSP、GPU 和包括混合处理器在内的多核还没有接近大脑的高性能和低功耗组合。例如,Nvidia K80 (GK210) 等领先的 GPU 的最高功耗约为 1.87TFLOPS,尽管功耗为 300W。但是 GPU 只能运行特定的专用算法,它不能将计算和通用软件结合起来。

 

大规模并行单芯片

我们今天拥有的最好的是新兴的分布式众核处理器,其中包含大量独立内核和紧密耦合的内存,通过高速片上网络 (NOC) 基础设施互连。这种方法正在成为专业数据中心系统的主流。在嵌入式空间中也有效的一个例子是KalrayCoolidge™ 智能处理器。这是 Kalray 的第三代 MPPA®(大规模并行处理器阵列)设备。MPPA 架构确保了确定性,并使在单个芯片上制造的处理器能够运行不同的应用程序和软件环境。Coolidge 拥有 80 个独立内核,每个内核都相当于当今手机中的现代计算内核,其性能高达 25 TOPS,典型功耗为 25 瓦。

Coolidge 被认为是一种智能处理器,通常适应边缘计算的需求,尤其是高度聚合的汽车计算。它不仅能够处理 AI 算法,还可以同时执行各种工作负载,例如数学算法、信号处理以及网络或存储软件堆栈。

除了高性能和能效之外,安全和安保也是工业和汽车边缘应用的关键要求。系统中不同模块之间的免干扰(FFI)是功能安全(FuSa)设计中的一个重要原则,以及空间和时间隔离,以防止模块相互影响,并确保异常程序不会削弱其他程序的性能。

 

Go Multikernel to Unleash Multicore

为了最大限度地提高新兴异构众核处理器的性能,同时通过隔离和保护 (FFI) 确保安全性,需要一种新的软件方法 - 特别是汇集各种计算元素的操作系统 (OS) 架构。

多内核架构,也可以描述为“分布式微内核”的排列——与微内核操作系统不同——使这些目标触手可及。它为系统系统提供了一个平台,包含一个基于消息的单核内核网络,如图 1 所示。轻量级消息传递允许在操作系统级别进行快速、确定性的通信。

 

daad3de923614a4db0269313dfc197cf_640_wx_fmt=png&wxfrom=5&wx_lazy=1&wx_co=1.png

图 1. eMCOS“多内核”设计最大化异构多核架构

 

这种架构的一个关键特性是,任何给定内核上的内核实例都不能阻塞另一个内核上的内核实例。这同时确保了内核和应用程序级别的更好的并行性、并发性和确定性。

eSOL 的eMCOS®是一种分布式微内核操作系统,现在可以在众核处理器的每个内核上运行独立的微内核,同时为高速消息传递和其他功能提供统一的平台。图 2 说明了底层结构以及处理硬实时和软实时工作负载的能力。

 

4aa2e7f40e7195687f012f3eb8a87385_640_wx_fmt=png&wxfrom=5&wx_lazy=1&wx_co=1.png

图 2. eMCOS 使单个独立的微内核能够在每个内核上运行

 

此外,eMCOS POSIX 是一种多进程 RTOS,它提供扩展的 POSIX 支持并允许在一个或多个单独的处理器或 SoC 上进行多集群组织。来自同一进程的线程可以在集群内的任何核心组合上运行,同时与本地或远程跨集群的其他线程通信。

这种方法的一个优点是,这使得内核在设计上非常可移植。因此,它能够服务于小型内核类型,如瑞萨电子 RH850、英飞凌 Aurix™ TCxx 或基于 Cortex®-R 的 SoC,但可以适应更大的系统,如 Cortex-A SoC 或 Kalray MPPA 处理器。

将 eMCOS POSIX 和 Kalray 的 Coolidge 第三代 MPPA 处理器结合在一起,作为视觉和激光雷达处理等应用的多加速器,为先进的自动驾驶系统(包括对象跟踪和路径规划)创建了一个高性能平台。高级工业用例也触手可及,例如利用计算机视觉的视觉检查和托管在同一平台上的 AI 算法。

这种方法还可以灵活地为现有系统增加性能,作为视觉等特定功能的加速器,如图 3 所示。

8c727acf291f1161438840c41a57ec34_640_wx_fmt=png&wxfrom=5&wx_lazy=1&wx_co=1.png

图 3. 使用 eMCOS 和 MPPA 加速旧系统的性能

 

eMCOS 和 eMCOS POSIX 专注于聚合和可扩展性,支持混合关键性系统,如图 4 所示。

 

5632fa6ffee0cf40c40d7293f206d53a_640_wx_fmt=png&wxfrom=5&wx_lazy=1&wx_co=1.png

图 4. 具有混合关键性的嵌入式系统的组合

 

这种分布式微内核操作系统 eMCOS 的增量可扩展性使开发人员能够灵活地通过完全优化的新架构进行创新,同时还可以利用其现有平台的最佳性能方面。

相关文章
|
5月前
|
关系型数据库 分布式数据库 数据库
|
机器学习/深度学习 人工智能 并行计算
GPU如何成为AI的加速器
GPU如何成为AI的加速器
426 0
|
7月前
|
自然语言处理 前端开发 语音技术
《虚拟即真实:数字人驱动技术在React Native社交中的涅槃》
本文探讨了React Native与数字人驱动技术结合在社交应用中塑造智能客服与虚拟主播自然交互的可能性。React Native作为跨平台开发框架,具备高效开发、丰富组件和强大社区支持的优势,为社交应用提供了流畅体验。数字人技术通过计算机视觉、语音识别和自然语言处理等实现逼真互动,使虚拟形象能实时响应用户表情与动作。两者融合可打造个性化、沉浸式的交互体验,例如智能客服能根据用户情绪调整回应,虚拟主播则通过实时互动提升直播效果,显著提高用户满意度和应用活跃度。
156 14
|
3月前
|
安全 物联网
零压力了解 LoRA 微调原理
`LoRA` 全称为 `Low-Rank Adaptation`,翻译成中文就是`低秩适配`。⊙﹏⊙ 是不是一头雾水?没关系,相信我,看完下文你就会明白个大概了
293 0
零压力了解 LoRA 微调原理
|
存储 搜索推荐 固态存储
考研408笔记总结~
考研408笔记总结~
394 1
|
存储 缓存 弹性计算
重新审视 CXL 时代下的分布式内存
从以太网到 RDMA 再到 CXL,标志着互连技术的重大突破。
|
安全 编译器 异构计算
在CPU设计中,为了提高能效比并减少能源消耗,采用了多种节能技术
【10月更文挑战第2天】在CPU设计中,为了提高能效比并减少能源消耗,采用了多种节能技术
400 5
|
存储 机器学习/深度学习 自然语言处理
大模型Prompt-Tuning技术进阶
近年来,随着Prompt-Tuning技术的崛起,研究者们发现,在拥有超过10亿参数的大规模模型上,采用Prompt-Tuning相较于传统的Fine-tuning方法能带来显著的性能提升。特别是在小样本甚至零样本学习场景下,Prompt-Tuning能够极大地激发模型的潜力。这一成就的取得主要归功于三个关键因素:模型庞大的参数量、训练过程中使用的海量语料,以及精心设计的预训练任务。
|
前端开发 UED
「前端游戏开发体验」我用react实现网页游戏的全过程(包括规则设计)
用技术实现梦想,用梦想打开创意之门。游戏开发体验挺新奇的,我用react实现网页游戏的全过程(包括规则设计)。
1081 1
|
存储 机器学习/深度学习 人工智能
存内计算的应用:存算一体芯片的发展与挑战
存内计算的应用:存算一体芯片的发展与挑战
2194 4

热门文章

最新文章