超融合架构如何抹平物理硬件差异?

简介:

“通过引入OpenStack这一中间层,实现了云平台统一的管理调度支配向上交付,解决了业务的灵活性问题。但是在抹平下层物理硬件差异的问题上,还不够彻底。”UnitedStack有云产品副总裁袁冬表示,“OpenStack配合超融合架构,就彻底解决了硬件的灵活性问题,很好的实现了通过标准的服务器和通用网络设备交付所有资源的目标。”

超融合架构解决了什么问题?

与传统架构相比,超融合架构最大的特点是所有节点的硬件是完全对等的。这样带来的好处是性能上实现线性扩展,服务能够持续更新。“除了IT资源的数量上的变化,更重要的是在业务增长的过程中,要求资源的形式也会发生变化。”袁冬说,“在这种情况下,超融合架构的价值会得到更大体现。” 通过超融合架构抹平所有物理硬件之间的差异之后,用户就可以从必须关注每一台物理设备变为只需要在虚拟机出问题的时候,中止问题虚机新建虚机就可以了。

OpenStack联合超融合架构,好处归结起来有三点:开源、开放、低成本。因为采用开源软件、通用硬件、第三方厂商,可以让用户对系统取得更大的自主可控能力;同时在采购成本、运维成本和替换成本方面都优于传统IT架构;但是在实施周期、扩容周期和更新周期等时间成本方面却要优于传统架构。

统一存储带来的惊喜

当通用硬件成为基本选择的时候,软件就变成系统差异的核心。比如,UnitedStack有云通过两年多的时间,打磨出一套由操作系统CentOS、计算KVM、存储Ceph、网络Neutron+OVS,以及Puppet自动化部署的系统——UOS云平台。

每一个技术的选择与应用,都经过了UnitedStack有云的思考和优化。以统一存储为例,通过将Ceph统一作为Nova/Glance/Cinder的存储后端,基于COW的卷创建和快照操作,实现了虚机的秒级创建。同时提供全SSD的Ceph存储,以及1毫秒延迟的极速性能。统一存储池方面,忽略QoS,单个虚拟硬盘的最高IOPS(每秒进行读写操作的次数)可达 50,000,吞吐率可达 1000MB/s。而且这样的IOPS并非是在主机做缓存,而是直接使用本地硬盘,真实落地到三个机柜存储环境的。

通过SDN构建完整网络服务

SDN正在重新定义网络,在UnitedStack有云的SDN方案中,有两种实现途径。

1、初级方案

这种方案中,所有节点不是全部是对等的,而是分为计算节点和网络节点。其中网络节点有三块网卡,一块走存储、一块走内网、一块走外网,计算节点只有两块网卡,一块走存储,一块走内网。

在这个方案中,所有内网化的计算节点获得一个VLAN号,外网连接只有网络节点有,然后由Neutron和OVS控制做路由转换。

2、分布式SDN网络

这种方案中,每一个节点既连接内网,也连接外网,都是计算节点同时也可以作为网络输入节点,这样做的好处是没有任何单点的瓶颈和故障的顾虑。在比较极端的情况下,当某一个节点上的网络出现问题的时候,这个方案可以把所有网络全部迁移到其他节点上。

初级方案的成本较低,但是分布式SDN网络在极端故障情况的处理上更胜一筹。

对于单个节点来说,一个物理节点的最底层包括内网和外网两个网卡,处于中间层的Linux内核通过OVS提供路由服务以及防火墙等功能,上层的Neutron通过二层和三层代理,控制所有内核模块,最终实现控制所有网络。

这个架构看起来非常简单,但是几乎能实现所有可以想见的网络方面服务。这也是OpenStack强大之处。其中,Service VM是UnitedStack有云即将发布的新功能。Service VM设计的基础是很多专业做防火墙或者网络设备的厂商把原来的软件抽象出来,直接放在云平台。技术实现是通过把网络做成动态的方式,实现Service VM的可插拔设计,根据业务需求动态调整网络路径。简单路径只通过必要的VM,复杂路径可以选择通过多个VM,这些VM可以来自不同厂商的不同应用,而这些功能是与他们在专有硬件上没有任何区别的。

重点问题:通过隔离解决资源争抢

“做超融合架构最难的或者说最关键的一点解决资源争抢的问题,也就是应用在同一个空间下不能让打架。”袁冬说,“他们要抢CPU抢网络抢内存抢硬件怎么办呢?隔离。”

在UnitedStack有云的超融合架构中,实现了多层次的资源隔离,从而确保服务性能。服务隔离方面,通过网卡、VLAN实现了网络的隔离,而物理机上的服务通过cgroup与物理机上其他服务隔离;业务隔离方面,基于QEMU的QoS,实现对带宽和IOPS 进行限制,同时IOBrust让QoS更加符合用户的实际应用场景;故障与业务的隔离方面,在故障恢复过程中优先保证数据的恢复,可以通过配置满足调整故障恢复I/O与业务I/O的占比。

在这个快速变化的时代,业务的数量和类型也正在快速改变,一个卖点事件就可能爆发一个业务。正因如此,这是一个超融合架构受到更多关注的时代,因为超融合架构能够很好的服务于业务需求的变化,真正实现云计算来支撑业务。


本文作者:佚名

来源:51CTO

相关文章
|
数据采集 运维 数据可视化
AR 运维系统与 MES、EMA、IoT 系统的融合架构与实践
AR运维系统融合IoT、EMA、MES数据,构建“感知-分析-决策-执行”闭环。通过AR终端实现设备数据可视化,实时呈现温度、工单等信息,提升运维效率与生产可靠性。(238字)
|
机器学习/深度学习 人工智能 并行计算
AI部署架构:A100、H100、A800、H800、H20的差异以及如何选型?开发、测试、生产环境如何进行AI大模型部署架构?
AI部署架构:A100、H100、A800、H800、H20的差异以及如何选型?开发、测试、生产环境如何进行AI大模型部署架构?
AI部署架构:A100、H100、A800、H800、H20的差异以及如何选型?开发、测试、生产环境如何进行AI大模型部署架构?
|
JSON 供应链 监控
1688商品详情API技术深度解析:从接口架构到数据融合实战
1688商品详情API(item_get接口)可通过商品ID获取标题、价格、库存、SKU等核心数据,适用于价格监控、供应链管理等场景。支持JSON格式返回,需企业认证。Python示例展示如何调用接口获取商品信息。
|
存储 人工智能 关系型数据库
阿里云AnalyticDB for PostgreSQL 入选VLDB 2025:统一架构破局HTAP,Beam+Laser引擎赋能Data+AI融合新范式
在数据驱动与人工智能深度融合的时代,企业对数据仓库的需求早已超越“查得快”这一基础能力。面对传统数仓挑战,阿里云瑶池数据库AnalyticDB for PostgreSQL(简称ADB-PG)创新性地构建了统一架构下的Shared-Nothing与Shared-Storage双模融合体系,并自主研发Beam混合存储引擎与Laser向量化执行引擎,全面解决HTAP场景下性能、弹性、成本与实时性的矛盾。 近日,相关研究成果发表于在英国伦敦召开的数据库领域顶级会议 VLDB 2025,标志着中国自研云数仓技术再次登上国际舞台。
1566 1
|
机器学习/深度学习 人工智能 Java
Java 技术支撑下 AI 与 ML 技术融合的架构设计与落地案例分析
摘要: Java与AI/ML技术的融合为智能化应用提供了强大支持。通过选用Deeplearning4j、DJL等框架解决技术适配问题,并结合Spring生态和JVM优化提升性能。在金融风控、智能制造、医疗影像等领域实现了显著效果,如审批效率提升3倍、设备停机减少41%、医疗诊断延迟降低80%。这种技术融合推动了多行业的智能化升级,展现了广阔的应用前景。
873 0
|
存储 边缘计算 数据处理
面向智能医疗的边缘计算与云计算融合架构的设计与实现
边缘+云混合部署架构正在为AIoT与医疗领域带来前所未有的技术变革。通过这种架构,能够实现对海量数据的实时处理和深度分析,提升业务响应速度和效率,同时在保障数据安全的基础上,优化系统的可扩展性和可靠性。随着技术的发展,边缘+云架构的应用场景将愈发广泛,未来必将在更多领域内发挥巨大的潜力。
|
并行计算 PyTorch 算法框架/工具
融合AMD与NVIDIA GPU集群的MLOps:异构计算环境中的分布式训练架构实践
本文探讨了如何通过技术手段混合使用AMD与NVIDIA GPU集群以支持PyTorch分布式训练。面对CUDA与ROCm框架互操作性不足的问题,文章提出利用UCC和UCX等统一通信框架实现高效数据传输,并在异构Kubernetes集群中部署任务。通过解决轻度与强度异构环境下的挑战,如计算能力不平衡、内存容量差异及通信性能优化,文章展示了如何无需重构代码即可充分利用异构硬件资源。尽管存在RDMA验证不足、通信性能次优等局限性,但该方案为最大化GPU资源利用率、降低供应商锁定提供了可行路径。源代码已公开,供读者参考实践。
1735 3
融合AMD与NVIDIA GPU集群的MLOps:异构计算环境中的分布式训练架构实践
|
机器学习/深度学习 测试技术 网络架构
FANformer:融合傅里叶分析网络的大语言模型基础架构
近期大语言模型(LLM)的基准测试结果显示,OpenAI的GPT-4.5在某些关键评测中表现不如规模较小的模型,如DeepSeek-V3。这引发了对现有LLM架构扩展性的思考。研究人员提出了FANformer架构,通过将傅里叶分析网络整合到Transformer的注意力机制中,显著提升了模型性能。实验表明,FANformer在处理周期性模式和数学推理任务上表现出色,仅用较少参数和训练数据即可超越传统Transformer。这一创新为解决LLM扩展性挑战提供了新方向。
599 5
FANformer:融合傅里叶分析网络的大语言模型基础架构
|
运维 供应链 前端开发
中小医院云HIS系统源码,系统融合HIS与EMR功能,采用B/S架构与SaaS模式,快速交付并简化运维
这是一套专为中小医院和乡镇卫生院设计的云HIS系统源码,基于云端部署,采用B/S架构与SaaS模式,快速交付并简化运维。系统融合HIS与EMR功能,涵盖门诊挂号、预约管理、一体化电子病历、医生护士工作站、收费财务、药品进销存及统计分析等模块。技术栈包括前端Angular+Nginx,后端Java+Spring系列框架,数据库使用MySQL+MyCat。该系统实现患者管理、医嘱处理、费用结算、药品管控等核心业务全流程数字化,助力医疗机构提升效率和服务质量。
1048 4
|
机器学习/深度学习 算法 数据可视化
基于深度混合架构的智能量化交易系统研究: 融合SSDA与LSTM自编码器的特征提取与决策优化方法
本文探讨了在量化交易中结合时序特征和静态特征的混合建模方法。通过整合堆叠稀疏降噪自编码器(SSDA)和基于LSTM的自编码器(LSTM-AE),构建了一个能够全面捕捉市场动态特性的交易系统。SSDA通过降噪技术提取股票数据的鲁棒表示,LSTM-AE则专注于捕捉市场的时序依赖关系。系统采用A2C算法进行强化学习,通过多维度的奖励计算机制,实现了在可接受的风险水平下最大化收益的目标。实验结果显示,该系统在不同波动特征的股票上表现出差异化的适应能力,特别是在存在明确市场趋势的情况下,决策准确性较高。
891 5
基于深度混合架构的智能量化交易系统研究: 融合SSDA与LSTM自编码器的特征提取与决策优化方法