带你读《2022龙蜥社区全景白皮书》——6.2.3 龙蜥社区助力阿里数据中心大幅降低成本

本文涉及的产品
Serverless 应用引擎免费试用套餐包,4320000 CU,有效期3个月
任务调度 XXL-JOB 版免费试用,400 元额度,开发版规格
注册配置 MSE Nacos/ZooKeeper,118元/月
简介: 带你读《2022龙蜥社区全景白皮书》——6.2.3 龙蜥社区助力阿里数据中心大幅降低成本

6.2.3 龙蜥社区助力阿里数据中心大幅降低成本


每年双十一创造奇迹的背后,是巨大的成本投入。为了完成对流量峰值的支撑,我们需要大量的计算资源,而在平时,这些资源往 往又是空闲的。另一方面,为了在极端情况下,如机房整体断电等还能保障阿里巴巴的业务不受损失,也需要在全国各地建立冗余 资源。而且就算是一天当中,在线服务的负载也是不一样的,白天一般情况下要比凌晨高得多。根据盖特纳和麦肯锡前几年的调研 数据,全球的服务器的CPU利用率只有6%到12%。即使通过虚拟化技术优化,利用率还是只有7%-17%,而阿里巴巴的在线服务整 体日均利用率也在10%左右。


另一方面,全球从IT时代全面走向了DT时代,现在又在向更深入的AI时代迈进。各各样的大数据处理框架不断涌现,从Hadoop到 Spark,从Jstorm到Flink,甚至包括深度学习框架 Tensorflow 的出现,成千上万的数据分析背后是大量的计算任务,占用了大量的 计算资源。由于计算任务占用的计算量很高,CPU水位通常在50%-60%以上,不同于在线服务,计算任务的峰值通常出现在凌晨, 水位甚至能达到70%以上。所以我们往往就会建立独立的计算任务集群。


image.png


混部能产生这么大的帮助,可是业界能使用在生产的没有几家公司,其原因也非常简单,第一个是规模,第二个是技术门槛。当你 机器规模不够大的时候,显然意义不大。而在技术上,计算型任务通常都可以把利用率跑到很高,如果计算型任务和在线型业务运 行在同一台机器上,怎么避免计算型任务的运行不会对在线型业务的响应时间等关键指标不产生太大的影响呢,这个需要在技术上 有全方位的突破,而阿里巴巴从无到有,花了4年多的时间才让这项技术在电商域得以大规模落地。

相关实践学习
CentOS 8迁移Anolis OS 8
Anolis OS 8在做出差异性开发同时,在生态上和依赖管理上保持跟CentOS 8.x兼容,本文为您介绍如何通过AOMS迁移工具实现CentOS 8.x到Anolis OS 8的迁移。
相关文章
|
IDE 小程序 开发工具
【社区每周】商家平台数据中心功能升级;IDE 3.4.1 Beta 版本上线(1月第一期)
【社区每周】商家平台数据中心功能升级;IDE 3.4.1 Beta 版本上线(1月第一期)
151 11
|
人工智能 运维 新能源
阿里公布碳中和目标 阿里云数据中心助力2030绿色云
绿电交易+绿色科技+智能平台,阿里云数据中心助力2030绿色云~
阿里公布碳中和目标  阿里云数据中心助力2030绿色云
|
运维 机器人 双11
2021双11|央视财经走进阿里数据中心,探秘“买买买”背后的绿色科技
服务器能“泡澡”散热,机器人能值班接替近30%的重复性工作。 先进技术不仅做到高效运维,还能助力节能减排。
2021双11|央视财经走进阿里数据中心,探秘“买买买”背后的绿色科技
阿里数据中心数字孪生可视化
IDC 数字孪生产品的系统性解决方案。
阿里数据中心数字孪生可视化
|
达摩院 数据中心
阿里云集齐五大超级数据中心
位于南通、杭州和乌兰察布的三座超级数据中心正式落成,将新增超百万台服务器,辐射京津冀、长三角、粤港澳三大经济带。
1874 1
阿里云集齐五大超级数据中心
|
新零售 Java 测试技术
独家揭秘!阿里大规模数据中心的性能分析
数据中心已成为支撑大规模互联网服务的标准基础设施。随着数据中心的规模越来越大,数据中心里每一次软件(如 JVM)或硬件(如 CPU)的升级改造都会带来高昂的成本。合理的性能分析有助于数据中心的优化升级和成本节约,而错误的分析可能误导决策、甚至造成巨大的成本损耗。
6442 0
|
新零售 Java 测试技术
独家解密:阿里大规模数据中心性能分析
数据中心已成为支撑大规模互联网服务的标准基础设施。随着数据中心的规模越来越大,数据中心里每一次软件(如 JVM)或硬件(如 CPU)的升级改造都会带来高昂的成本。合理的性能分析有助于数据中心的优化升级和成本节约,而错误的分析可能误导决策、甚至造成巨大的成本损耗。
4090 0
|
3月前
|
存储 双11 数据中心
数据中心网络关键技术,技术发明一等奖!
近日,阿里云联合清华大学与中国移动申报的“性能可预期的大规模数据中心网络关键技术与应用”项目荣获中国电子学会技术发明一等奖。该项目通过端网融合架构,实现数据中心网络性能的可预期性,在带宽保障、时延控制和故障恢复速度上取得重大突破,显著提升服务质量。成果已应用于阿里云多项产品及重大社会活动中,如巴黎奥运会直播、“双十一”购物节等,展现出国际领先水平。
|
11月前
|
机器学习/深度学习 存储 监控
利用机器学习技术优化数据中心能效
【7月更文挑战第36天】在数据中心管理和运营中,能源效率已成为关键性能指标之一。随着能源成本的不断上升以及环境保护意识的增强,开发智能化、自动化的解决方案以降低能耗和提高能源利用率变得尤为重要。本文探讨了如何应用机器学习技术对数据中心的能源消耗进行建模、预测和优化,提出了一个基于机器学习的框架来动态调整资源分配和工作负载管理,以达到节能的目的。通过实验验证,该框架能够有效减少数据中心的能耗,同时保持服务质量。